No uz aby tu bylo neco za rozumne ceny pro mensi firmy. 1Gb je cekarna, z 10Gb+ je snad pouzitelny infiniband a to na kratke vzdalenosti P2P se silenym kabelem. Aktivni prvky jakekoli 10Gb+ technologie jsou drahe.
+1
0
-1
Je komentář přínosný?
No uz aby tu bylo neco za
Martin Kolar https://diit.cz/profil/mikasp
20. 8. 2013 - 12:45https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseNo uz aby tu bylo neco za rozumne ceny pro mensi firmy. 1Gb je cekarna, z 10Gb+ je snad pouzitelny infiniband a to na kratke vzdalenosti P2P se silenym kabelem. Aktivni prvky jakekoli 10Gb+ technologie jsou drahe.https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664863
+
10 GbE aktivní prvky jsou drahé? Dvouadaptérová RJ 45 10 GbE síťová karta pro servery za $ 700 je drahá?
Ani s 10 GbE přepínačema to není taková hrůza.
+1
0
-1
Je komentář přínosný?
10 GbE aktivní prvky jsou
JP01 https://diit.cz/profil/jp01
20. 8. 2013 - 22:02https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse10 GbE aktivní prvky jsou drahé? Dvouadaptérová RJ 45 10 GbE síťová karta pro servery za $ 700 je drahá?
Ani s 10 GbE přepínačema to není taková hrůza.https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664926
+
Jednoportová 10 GbE síťovka (X540) stojí $ 400. To mi nepřijde zas taková pálka, na to že je to serverová karta.
Broadcom už něco podobného nabízí, sice se mi nepodařilo najít cenu, ale určitě bude příznivější než u Intelu.
No a potom taková consumers 10 GbE síťovka by mohla být klidně i pod $ 200. Záleží, kdo se toho první chytne a začne do luxusnějších MB cpát 10 GbE. A pak už je jen otázkou času, kdy firmy jako Belkin, TP-Link (a podobní) začnou nabízet cenově dostupné přepínače.
36 000 za 24 portů a s podporou VLAN, to mi nepřijde zas taková pálka. Teď záleží na tom, jestli to je jenom tabulková cena nebo konečná reálná cena pro větší zákazníky.
Vždyť 24portový Catalyst vyjde třeba ještě dráž a spoustu funkcí stejně nevyužiju. :D
Na roli core switche nebo distribučního switche zase tak kriticky nepotřebuju managovatelný switch, hlavně když bude umět VLANy. ACL tam nepotřebuju, to se pořeší na acces switchích, ověřování proti RADIUS serveru tam taky není potřeba, stejně jako port security a VTP, DTP, CDP (a různé variace na něj) jsou spíš na škodu, takže se stejně vypínají. No a zbytek vyřeším pomocí VLAN, stačí když bude mít zařízení připojené do toho switche síťovku s podporou VLAN (aby uměla pracovat v modu Trunk) a to jsou skoro všechny serverové (to dokonce umí i moje síťovka v NB :D ).
Optika je pořád šíleně drahá, takže já vkládám velké naděje do metalického 10 GbE. Stačí jenom, aby se někdo chytl a začal cpát 10 GbE do základních desek a do NB. Consumers síťovky tolik topit nebudou, takže tady problém nebude.
Routování - Teď jsem se docela divil, že i Cisco SMB switche umí statické routování a nebyly to drahé switche. HP to taky umí (u většiny modelů bohužel jenom IPv4 routing, takže do budoucna je to dost nešikovné) a Catalysty řady C2960X už dokonce umí dynamické routování s 32 (nebo 64 aresami, teď nevím jistě).
Ale stejně je lepší to vyřešit jinak, třeba s pomocí VLAN a ACL (pokud mi jde o bezpečnost) a pokud mi jde o směrování mezi spoustou rozsáhlých sítí, kde není jiná možnost, tak tam holt budu muset ten router použít. Ale kolik firem potřebuje routovat 10 Gb/s?
+1
-4
-1
Je komentář přínosný?
Jednoportová 10 GbE síťovka
JP01 https://diit.cz/profil/jp01
21. 8. 2013 - 09:20https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseJednoportová 10 GbE síťovka (X540) stojí $ 400. To mi nepřijde zas taková pálka, na to že je to serverová karta.
Broadcom už něco podobného nabízí, sice se mi nepodařilo najít cenu, ale určitě bude příznivější než u Intelu.
No a potom taková consumers 10 GbE síťovka by mohla být klidně i pod $ 200. Záleží, kdo se toho první chytne a začne do luxusnějších MB cpát 10 GbE. A pak už je jen otázkou času, kdy firmy jako Belkin, TP-Link (a podobní) začnou nabízet cenově dostupné přepínače.
36 000 za 24 portů a s podporou VLAN, to mi nepřijde zas taková pálka. Teď záleží na tom, jestli to je jenom tabulková cena nebo konečná reálná cena pro větší zákazníky.
Vždyť 24portový Catalyst vyjde třeba ještě dráž a spoustu funkcí stejně nevyužiju. :D
Na roli core switche nebo distribučního switche zase tak kriticky nepotřebuju managovatelný switch, hlavně když bude umět VLANy. ACL tam nepotřebuju, to se pořeší na acces switchích, ověřování proti RADIUS serveru tam taky není potřeba, stejně jako port security a VTP, DTP, CDP (a různé variace na něj) jsou spíš na škodu, takže se stejně vypínají. No a zbytek vyřeším pomocí VLAN, stačí když bude mít zařízení připojené do toho switche síťovku s podporou VLAN (aby uměla pracovat v modu Trunk) a to jsou skoro všechny serverové (to dokonce umí i moje síťovka v NB :D ).
Optika je pořád šíleně drahá, takže já vkládám velké naděje do metalického 10 GbE. Stačí jenom, aby se někdo chytl a začal cpát 10 GbE do základních desek a do NB. Consumers síťovky tolik topit nebudou, takže tady problém nebude.
Routování - Teď jsem se docela divil, že i Cisco SMB switche umí statické routování a nebyly to drahé switche. HP to taky umí (u většiny modelů bohužel jenom IPv4 routing, takže do budoucna je to dost nešikovné) a Catalysty řady C2960X už dokonce umí dynamické routování s 32 (nebo 64 aresami, teď nevím jistě).
Ale stejně je lepší to vyřešit jinak, třeba s pomocí VLAN a ACL (pokud mi jde o bezpečnost) a pokud mi jde o směrování mezi spoustou rozsáhlých sítí, kde není jiná možnost, tak tam holt budu muset ten router použít. Ale kolik firem potřebuje routovat 10 Gb/s?https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664963
+
Souhlas. I s tim, co píšete o L2-L3, VLAN atd.
Jak dělat inter-VLAN routing na 10G, to je fakt oříšek - bastlem "router on the stick" třeba na BSD to už moc nepůjde, to je jisté :-)
Jojo, Cisco zlevňuje, nevídané. L3 (i když na urovni ipbase nebo míň) v c2960 řadě, teda kdo to kdy viděl, žejo.
Doba zlomu 10GBaseT se bliží kvapem, tak do roka je to tady.
Šváby na konzumní karty bude snad dělat nebo už dělá Broadcom. Takže je jen otazka chvile než to bude na desktop boardech. Pak se hned objeví lacine unmanaged switche za hubičku.
Ale už dneska je ten Netgear za 36kKč - jenže jsem se spletl, není to 24 port ale jen 12x 10GBaseT + 2x uplink SFP+ 10GbE (nebo maji dalsi model 8 port + 1 trunk uplink SFP+ za cca 23kKč).
Unmanaged, ale s web nastavením VLAN, trunk portu, LACP, dokonce to umí dynamicke VLANy (vazane na MAC klienta), takže asi dle 802.1x extenze, ne pres VTP. Takze to ma asi i tu autentizaci.
Mám pár kousků objednaných, tak uvidím, až to přijde.
+1
-1
-1
Je komentář přínosný?
Souhlas. I s tim, co píšete o
kvolaa https://diit.cz/profil/kvolaa
21. 8. 2013 - 10:10https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseSouhlas. I s tim, co píšete o L2-L3, VLAN atd.
Jak dělat inter-VLAN routing na 10G, to je fakt oříšek - bastlem "router on the stick" třeba na BSD to už moc nepůjde, to je jisté :-)
Jojo, Cisco zlevňuje, nevídané. L3 (i když na urovni ipbase nebo míň) v c2960 řadě, teda kdo to kdy viděl, žejo.
Doba zlomu 10GBaseT se bliží kvapem, tak do roka je to tady.
Šváby na konzumní karty bude snad dělat nebo už dělá Broadcom. Takže je jen otazka chvile než to bude na desktop boardech. Pak se hned objeví lacine unmanaged switche za hubičku.
Ale už dneska je ten Netgear za 36kKč - jenže jsem se spletl, není to 24 port ale jen 12x 10GBaseT + 2x uplink SFP+ 10GbE (nebo maji dalsi model 8 port + 1 trunk uplink SFP+ za cca 23kKč).
Unmanaged, ale s web nastavením VLAN, trunk portu, LACP, dokonce to umí dynamicke VLANy (vazane na MAC klienta), takže asi dle 802.1x extenze, ne pres VTP. Takze to ma asi i tu autentizaci.
Mám pár kousků objednaných, tak uvidím, až to přijde. https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664974
+
A ještě jednou, jenom jsem chtěl dodat, že 10GBaseT metalika, ačkoliv je to velmi očekávaná technologie, tak neřeší problémy v serverovně - tedy tím myslím ty core serverové věci, spojení mezi filery a hypervizory, náhradu/integraci SAN atd.
Už jenom proto, že ten "konvergovaný ethernet" je teprve v počátcích a většinou to skončí jen na FCoE a to hned narazíte na průšvih s FC (proprietary extenze).
Zatímco na Infinibandu tyhle věci šlapou jak víno už dlouho. A v rámci hnízda serverů mezi několika racky je ta max. vzdálenost (v pasivním kabelu na metalice CX4 - jo ty tlusté "dráty") 10m. Což většinou stačí, jinak se musí vzít optika (drahá, v těch QSFP/WQSFP/... předrahá).
Prostě, serverová konvergovaná síť je něco jiného než core (backbone), distribution, access levels. Což bude doména 10GBaseT, jakmile se to rozjede, což je za rohem.
+1
+5
-1
Je komentář přínosný?
A ještě jednou, jenom jsem
kvolaa https://diit.cz/profil/kvolaa
21. 8. 2013 - 10:32https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseA ještě jednou, jenom jsem chtěl dodat, že 10GBaseT metalika, ačkoliv je to velmi očekávaná technologie, tak neřeší problémy v serverovně - tedy tím myslím ty core serverové věci, spojení mezi filery a hypervizory, náhradu/integraci SAN atd.
Už jenom proto, že ten "konvergovaný ethernet" je teprve v počátcích a většinou to skončí jen na FCoE a to hned narazíte na průšvih s FC (proprietary extenze).
Zatímco na Infinibandu tyhle věci šlapou jak víno už dlouho. A v rámci hnízda serverů mezi několika racky je ta max. vzdálenost (v pasivním kabelu na metalice CX4 - jo ty tlusté "dráty") 10m. Což většinou stačí, jinak se musí vzít optika (drahá, v těch QSFP/WQSFP/... předrahá).
Prostě, serverová konvergovaná síť je něco jiného než core (backbone), distribution, access levels. Což bude doména 10GBaseT, jakmile se to rozjede, což je za rohem. https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664976
+
Jo, jo, Cisco zlevňuje a taky hlavně distributoři pochopili, že za takové ceny, jako dávají jim to nikdo nekoupí a radši uteče k HP. I když HP mě teď pěkně naštvalo. Management některých switchů se dělá pouze přes aplikaci nebo přes webové rozhraní. Z příkazové řádky to nejde. :(
Přepínače s L3 funkcemi jsou hodně fajn, ale pořád to není ten výkon, co dávají lepší routery. Směrovací kapacita je sice obrovská, ale směrovací rychlost zase tak vysoká není.
Starší Catalysty zas nejsou tak drahé a když se povede nějaký sehnat z Aukra, tak je to docela fajn na blbnutí. A po absolvování Cisco Academy jsou na Cisco produkty obrovské slevy.
Ale osobně taky nevidím důvod všude cpát Catalysty. Oproti SMB mají o něco lepší bezpečnostní funkce a myslím, že se doporučují do redundantních sítí, kde je ethernet zapojen do kruhu a některé trasy jsou blokovány RSTP.
Ale jinak mají SMB klasické bezpečnostní funkce, můžou být s L3 funkcemi a můžou být stohovatelné.
I když je za 36 000 jen 12 portový switch, tak to jsou pořád pěkné peníze, vzhledem k tomu, že 24 portový SFP+ switch stojí dvojnásobek a to tam ještě nejsou SFP+ moduly. Je fajn, že to umí LACP (byla by ostuda, kdyby ne), ale myslím, že většině bude stačit jedna linka.
Zařazení do VLANy podle MAC adresy moc neuznávám, protože to je potencionální díra v systému (MAC se dá podvrhnout). Radši mám VLANy přiřazené k portu a nebo ověřování proti RADIUS serveru.
Jinak jak to myslíte s tím přiřazováním pomocí VTP? To jako, že se to ověří a pak se to přes VTP nastaví? U VTP je problém s bezpečností a taky VTP neprochází přes router, takže routování v podnikové síti by muselo být přes router on stick nebo by se to muselo nějak složitě tunelovat.
Já jsem se setkal jen s RADIUSem podle 802.1x.
Když si vzpomenete, tak se potom podělte o zkušenosti. Docela by mě to zajímalo. Asi to nebude umět ACL, co? :(
DTP, CDP (nebo jeho open variace) a VTP by mi nechyběly. Buď je to bezpečnostní díra nebo s tím jsou problémy nebo obojí.
VTP jde snadno nahradit tím, že budu používat předpřipravené konfigurační skripty nebo to prostě ty VLANy nastavím ručně.
Jinak, k tomu zapojení router on the stick. Já jsem s tím naštěstí problémy neměl a pomohlo mi to ušetřit spoustu portů.
Zkušenosti s FC nebo IB nemám. Zatím vždy stačil Ethernet (kabel nebo SFP+ direct attach) . Disková pole přes iSCSI (FCeO jsem ještě nezkoušel) nebo NFS.
Taky se těším na 10 GbE. Až se to rozšíří, bude to smrt pro Thunderbolt.
+1
+1
-1
Je komentář přínosný?
Jo, jo, Cisco zlevňuje a taky
JP01 https://diit.cz/profil/jp01
21. 8. 2013 - 11:52https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseJo, jo, Cisco zlevňuje a taky hlavně distributoři pochopili, že za takové ceny, jako dávají jim to nikdo nekoupí a radši uteče k HP. I když HP mě teď pěkně naštvalo. Management některých switchů se dělá pouze přes aplikaci nebo přes webové rozhraní. Z příkazové řádky to nejde. :(
Přepínače s L3 funkcemi jsou hodně fajn, ale pořád to není ten výkon, co dávají lepší routery. Směrovací kapacita je sice obrovská, ale směrovací rychlost zase tak vysoká není.
Starší Catalysty zas nejsou tak drahé a když se povede nějaký sehnat z Aukra, tak je to docela fajn na blbnutí. A po absolvování Cisco Academy jsou na Cisco produkty obrovské slevy.
Ale osobně taky nevidím důvod všude cpát Catalysty. Oproti SMB mají o něco lepší bezpečnostní funkce a myslím, že se doporučují do redundantních sítí, kde je ethernet zapojen do kruhu a některé trasy jsou blokovány RSTP.
Ale jinak mají SMB klasické bezpečnostní funkce, můžou být s L3 funkcemi a můžou být stohovatelné.
I když je za 36 000 jen 12 portový switch, tak to jsou pořád pěkné peníze, vzhledem k tomu, že 24 portový SFP+ switch stojí dvojnásobek a to tam ještě nejsou SFP+ moduly. Je fajn, že to umí LACP (byla by ostuda, kdyby ne), ale myslím, že většině bude stačit jedna linka.
Zařazení do VLANy podle MAC adresy moc neuznávám, protože to je potencionální díra v systému (MAC se dá podvrhnout). Radši mám VLANy přiřazené k portu a nebo ověřování proti RADIUS serveru.
Jinak jak to myslíte s tím přiřazováním pomocí VTP? To jako, že se to ověří a pak se to přes VTP nastaví? U VTP je problém s bezpečností a taky VTP neprochází přes router, takže routování v podnikové síti by muselo být přes router on stick nebo by se to muselo nějak složitě tunelovat.
Já jsem se setkal jen s RADIUSem podle 802.1x.
Když si vzpomenete, tak se potom podělte o zkušenosti. Docela by mě to zajímalo. Asi to nebude umět ACL, co? :(
DTP, CDP (nebo jeho open variace) a VTP by mi nechyběly. Buď je to bezpečnostní díra nebo s tím jsou problémy nebo obojí.
VTP jde snadno nahradit tím, že budu používat předpřipravené konfigurační skripty nebo to prostě ty VLANy nastavím ručně.
Jinak, k tomu zapojení router on the stick. Já jsem s tím naštěstí problémy neměl a pomohlo mi to ušetřit spoustu portů.
Zkušenosti s FC nebo IB nemám. Zatím vždy stačil Ethernet (kabel nebo SFP+ direct attach) . Disková pole přes iSCSI (FCeO jsem ještě nezkoušel) nebo NFS.
Taky se těším na 10 GbE. Až se to rozšíří, bude to smrt pro Thunderbolt.https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664982
+
Přesně tak, to zlevňování proti ofiko cenám dělají všichni, pověstný je tím třeba Dell, HP.
60% sleva není žádná vyjímka (když toho berete více, třeba core switche, k tomu RAID pole a server).
Kdysi jsem si při studiu na CNA vždy kupoval Catalysty na ebay a pak je zase prodával, dneska dost věcí pokryje GNS3, IOU, PacketTracer. Ale ve finále to chce železo, protože často o výsledku zkoušky rozhoduje, zda znáte chyby/zvláštnosti/rozdíly jednotlivých verzí IOSu a co na jakém bazmeku je v jaké verzi implementováno a co tam prostě nefunguje nebo vůbec není.
Jenže dneska fungují výborně rack-on-rental služby, takže si může každý okamžitě zaplatit přímo na danou zkoušku rack a přes net to všechno testovat.
No ale i tak, železo je železo. Ceny na ebay jsou vážně přijemné.
Občas dělám i to, že zákazníkovi koupíme Catalysty na ebay, klidně si pak může dovolit redundantní konfiguraci s RSTP+ autorekonfigurací, obchozími cestami atd.
Stačí mu to ukázat nasimulované v PacketTraceru a když vidí, jak se oranžové tečky mění v zelené (rozložení zátěže na redundantní cesty), tak je většinou rozhodnuto.
Rozdíl v ceně je prostě až moc šílený. Cisco má ty ceny přepálené již dlouho. Takže lepší super konfigurace z bazaru s redundancí než jim platit ty šílené sumy (to je jako si koupit před lety nové auto, které po odjezdu z autosalonu šlo prodat jen za 40% ceny).
Ty zbývající věci - jak jsem to myslel s tím 802.1x versus VTP (a VTPD), to napíšu snad odpoledne, teď je nějak fofr.
Jinak ten laciný switch snad ACL umí, mám někde pdf podívám se. Ale je to spíš obchodnické pdf, tak nevím, co tam bude a nebude.
+1
-4
-1
Je komentář přínosný?
Přesně tak, to zlevňování
kvolaa https://diit.cz/profil/kvolaa
21. 8. 2013 - 13:28https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskusePřesně tak, to zlevňování proti ofiko cenám dělají všichni, pověstný je tím třeba Dell, HP.
60% sleva není žádná vyjímka (když toho berete více, třeba core switche, k tomu RAID pole a server).
Kdysi jsem si při studiu na CNA vždy kupoval Catalysty na ebay a pak je zase prodával, dneska dost věcí pokryje GNS3, IOU, PacketTracer. Ale ve finále to chce železo, protože často o výsledku zkoušky rozhoduje, zda znáte chyby/zvláštnosti/rozdíly jednotlivých verzí IOSu a co na jakém bazmeku je v jaké verzi implementováno a co tam prostě nefunguje nebo vůbec není.
Jenže dneska fungují výborně rack-on-rental služby, takže si může každý okamžitě zaplatit přímo na danou zkoušku rack a přes net to všechno testovat.
No ale i tak, železo je železo. Ceny na ebay jsou vážně přijemné.
Občas dělám i to, že zákazníkovi koupíme Catalysty na ebay, klidně si pak může dovolit redundantní konfiguraci s RSTP+ autorekonfigurací, obchozími cestami atd.
Stačí mu to ukázat nasimulované v PacketTraceru a když vidí, jak se oranžové tečky mění v zelené (rozložení zátěže na redundantní cesty), tak je většinou rozhodnuto.
Rozdíl v ceně je prostě až moc šílený. Cisco má ty ceny přepálené již dlouho. Takže lepší super konfigurace z bazaru s redundancí než jim platit ty šílené sumy (to je jako si koupit před lety nové auto, které po odjezdu z autosalonu šlo prodat jen za 40% ceny).
Ty zbývající věci - jak jsem to myslel s tím 802.1x versus VTP (a VTPD), to napíšu snad odpoledne, teď je nějak fofr.
Jinak ten laciný switch snad ACL umí, mám někde pdf podívám se. Ale je to spíš obchodnické pdf, tak nevím, co tam bude a nebude. https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664997
+
K tomu "zatím vždy stačil Ethernet (kabel nebo SFP+ direct attach) ...".
10GBaseT má asi 25x vyšší latence než 10GbE po optice, asi 10x než 10GbE po DAC. A asi 100x vice než IB. Kromě toho tam zatím není definováno něco jako na RDMA založený protokol - ani to v podstatě nejde, protože fyzická/linková vrstva nemá zabezpečení.
Takže to vždy prolézá přes nějaky stack, i když je TCP implementováno železem (latence, handshaking, ...).
Další věc je, že po Ethernetu je iSCSI nebo NFS, CIFS honěno přes IP vrstvu, tím jsou dané latence jak kráva a nízká průchodnost, protože to žere procesor a dělá interrupt storm. A další věc je často dost příšerná implementace, třeba iSCSI target je použitelný jen ten ze Solarisu (Illumos, ...), další dvě implementace třeba na linuxu mají max. 70% výkon a četné chybky - třeba nejde přidat target bez restartování démonu (tj. bez přerušení služby), což je ve virtualizačním env. dost obtěžující chyba.
To se týká i klientů, např. NFS na ESXi 5.1 je katastrofa, čeká se s nadějemi na ESXi (vSphere) 6. Bude to tam nebo nebude ? Myslim samozřejmě NFSv.4.1 alias pNFS.
A další zásadní věc je RDMA podpora. Po IB to zcela obchází stacky, takže NFS, iSCSI, CIFS nejede přes IP, ale rovnou na bazální úrovni přes RDMA.
Vubec to tim padem nezatěžuje procesor ani nevyvolava moře interruptů.
Celkově se dá říct, že dělat SAN přes ethernet je náramná zoufalost.
+1
-4
-1
Je komentář přínosný?
K tomu "zatím vždy stačil
kvolaa https://diit.cz/profil/kvolaa
21. 8. 2013 - 14:12https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseK tomu "zatím vždy stačil Ethernet (kabel nebo SFP+ direct attach) ...".
10GBaseT má asi 25x vyšší latence než 10GbE po optice, asi 10x než 10GbE po DAC. A asi 100x vice než IB. Kromě toho tam zatím není definováno něco jako na RDMA založený protokol - ani to v podstatě nejde, protože fyzická/linková vrstva nemá zabezpečení.
Takže to vždy prolézá přes nějaky stack, i když je TCP implementováno železem (latence, handshaking, ...).
Další věc je, že po Ethernetu je iSCSI nebo NFS, CIFS honěno přes IP vrstvu, tím jsou dané latence jak kráva a nízká průchodnost, protože to žere procesor a dělá interrupt storm. A další věc je často dost příšerná implementace, třeba iSCSI target je použitelný jen ten ze Solarisu (Illumos, ...), další dvě implementace třeba na linuxu mají max. 70% výkon a četné chybky - třeba nejde přidat target bez restartování démonu (tj. bez přerušení služby), což je ve virtualizačním env. dost obtěžující chyba.
To se týká i klientů, např. NFS na ESXi 5.1 je katastrofa, čeká se s nadějemi na ESXi (vSphere) 6. Bude to tam nebo nebude ? Myslim samozřejmě NFSv.4.1 alias pNFS.
A další zásadní věc je RDMA podpora. Po IB to zcela obchází stacky, takže NFS, iSCSI, CIFS nejede přes IP, ale rovnou na bazální úrovni přes RDMA.
Vubec to tim padem nezatěžuje procesor ani nevyvolava moře interruptů.
Celkově se dá říct, že dělat SAN přes ethernet je náramná zoufalost. https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-665010
+
Ale z druhe strany, ethernet je všude, když bude chodit 10x rychleji, pojede všechno rychleji. A ta rychlost, latence, zátěž procesoru atd. je něco, na co jsme zvyklí - prostě je to kompromis a když to bude levný kompromis, je to skvělé.
Takže to zase nevidím tak negativně.
Jde jen to to, že pokud bych volil technologii pro server core síť, nezvolil bych (dneska) ethernet 10/40Gbit, ale přímo IB nebo VPI (nakonec ten Eth. jde vždy odbočit, tunelovat, vytahnout atd.).
Jsem si jist, že ty věci, co to dneska neumí, tj. aby to byl fakt ten Konvergovaný ethernet (CE), se tam časem dostanou. Ale zatím to zvíře "CE" ještě běhá po lese a nikdy ho ještě neviděl ani tedy nechytil :-)
+1
+5
-1
Je komentář přínosný?
Ale z druhe strany, ethernet
kvolaa https://diit.cz/profil/kvolaa
21. 8. 2013 - 14:25https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseAle z druhe strany, ethernet je všude, když bude chodit 10x rychleji, pojede všechno rychleji. A ta rychlost, latence, zátěž procesoru atd. je něco, na co jsme zvyklí - prostě je to kompromis a když to bude levný kompromis, je to skvělé.
Takže to zase nevidím tak negativně.
Jde jen to to, že pokud bych volil technologii pro server core síť, nezvolil bych (dneska) ethernet 10/40Gbit, ale přímo IB nebo VPI (nakonec ten Eth. jde vždy odbočit, tunelovat, vytahnout atd.).
Jsem si jist, že ty věci, co to dneska neumí, tj. aby to byl fakt ten Konvergovaný ethernet (CE), se tam časem dostanou. Ale zatím to zvíře "CE" ještě běhá po lese a nikdy ho ještě neviděl ani tedy nechytil :-)https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-665017
+
CE je něco jako BigFoot nebo Sněžný muž :-)
Infiniband nebo VPI je skutečné. Drahé, to je fakt :-(
+1
0
-1
Je komentář přínosný?
CE je něco jako BigFoot nebo
kvolaa https://diit.cz/profil/kvolaa
21. 8. 2013 - 14:37https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseCE je něco jako BigFoot nebo Sněžný muž :-)
Infiniband nebo VPI je skutečné. Drahé, to je fakt :-(https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-665022
+
"protože fyzická/linková vrstva nemá zabezpečení."
Nemá, ale lze to řešit izolací vyhrazené paměti pomocí VT-d.
Jinak, myslím, že by nebyl problém tam procpat něco, co by to hlídalo.
+1
0
-1
Je komentář přínosný?
"protože fyzická/linková
JP01 https://diit.cz/profil/jp01
21. 8. 2013 - 14:46https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse"protože fyzická/linková vrstva nemá zabezpečení."
Nemá, ale lze to řešit izolací vyhrazené paměti pomocí VT-d.
Jinak, myslím, že by nebyl problém tam procpat něco, co by to hlídalo.https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-665025
+
To jsme si nerozumněli. Co píšete (tj. bezpečnost v rámci mašiny, aby do vyhrazené paměti nemohl vlézt někdo jiný je samozřejmě řešeno standardně izolací paměti, ve virtualizačním prostředí třeba i pomocí IO-MMU jednotky, alias VT-d alias AMD-IOMMU nebo nově AMD-D).
Myslel jsem to tak, že pod IB je přenos dat zajištěn fyzicky na fyzické úrovni pomocí ECC redundantních Hammingových kódů, padne na to 20% přenosové kapacity - proto taky třeba DDR IB jede v 20Gbit fyzicky, datově 16Gbit.
Prostě, z jedné strany do toho nacpete data a ony z druhé strany vylezou zaručeně stejná. Stará se o to vysokorychlostně železo nějakým ASICem.
Proto se tam dá dělat RDMA přenos - aplikace vrzne data do dohodnuté oblasti paměti, a ono se to skoro okamžitě (dobře, pár desítek nanosekund to trvá) objeví na druhé straně, v jiném počítači v nějaké oblasti paměti, odkud se to vyžere další aplikací.
No a to Ethernet neumí.
+1
0
-1
Je komentář přínosný?
To jsme si nerozumněli. Co
kvolaa https://diit.cz/profil/kvolaa
21. 8. 2013 - 15:23https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseTo jsme si nerozumněli. Co píšete (tj. bezpečnost v rámci mašiny, aby do vyhrazené paměti nemohl vlézt někdo jiný je samozřejmě řešeno standardně izolací paměti, ve virtualizačním prostředí třeba i pomocí IO-MMU jednotky, alias VT-d alias AMD-IOMMU nebo nově AMD-D).
Myslel jsem to tak, že pod IB je přenos dat zajištěn fyzicky na fyzické úrovni pomocí ECC redundantních Hammingových kódů, padne na to 20% přenosové kapacity - proto taky třeba DDR IB jede v 20Gbit fyzicky, datově 16Gbit.
Prostě, z jedné strany do toho nacpete data a ony z druhé strany vylezou zaručeně stejná. Stará se o to vysokorychlostně železo nějakým ASICem.
Proto se tam dá dělat RDMA přenos - aplikace vrzne data do dohodnuté oblasti paměti, a ono se to skoro okamžitě (dobře, pár desítek nanosekund to trvá) objeví na druhé straně, v jiném počítači v nějaké oblasti paměti, odkud se to vyžere další aplikací.
No a to Ethernet neumí. https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-665034
+
Pro SMB mi pripada 24 portu moc, take v routovani smysl nevidim. Pro propojeni serverove infrastruktury 8 portu staci.
+1
0
-1
Je komentář přínosný?
Pro SMB mi pripada 24 portu
Martin Kolar https://diit.cz/profil/mikasp
21. 8. 2013 - 12:12https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskusePro SMB mi pripada 24 portu moc, take v routovani smysl nevidim. Pro propojeni serverove infrastruktury 8 portu staci. https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664984
+
Tak hlavně záleží na tom, jak moc je ten Bussiness Small. :D A taky, co tam dělají. Pro firmu se 100 zaměstnanci bych to tak viděl na cca 250 GbE portů a 20 10 GbE portů + nějaká záloha.
+1
0
-1
Je komentář přínosný?
Tak hlavně záleží na tom, jak
JP01 https://diit.cz/profil/jp01
21. 8. 2013 - 12:21https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseTak hlavně záleží na tom, jak moc je ten Bussiness Small. :D A taky, co tam dělají. Pro firmu se 100 zaměstnanci bych to tak viděl na cca 250 GbE portů a 20 10 GbE portů + nějaká záloha.https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664985
+
Urcite zalezi na odvetvi, ale myslim, ze podstatnou cast aplikaci pokryje 3-5 vykonnych serveru s virtuaizaci, diskove uloziste. Pocet portu je nejaky velky, v perspektive spis bude nutna rozvinutejsi bezdratova infrastruktura pro tablety, notebooky, telefony atd. A
+1
-1
-1
Je komentář přínosný?
Urcite zalezi na odvetvi, ale
Martin Kolar https://diit.cz/profil/mikasp
21. 8. 2013 - 12:58https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseUrcite zalezi na odvetvi, ale myslim, ze podstatnou cast aplikaci pokryje 3-5 vykonnych serveru s virtuaizaci, diskove uloziste. Pocet portu je nejaky velky, v perspektive spis bude nutna rozvinutejsi bezdratova infrastruktura pro tablety, notebooky, telefony atd. Ahttps://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664992
+
Tak samozřejmě, že část zásuvek je nevyužitá, protože lidi se třeba přesouvají no a něco je jako rezerva.
Někdy se linky agregují kvůli redundanci, takže to zabere víc portů.
Kabel je pořád lepší než WiFi, zvlášť ve firmách, kde mají zaměstnanci osobní složky na serveru. WiFi může být rušena, a těch 300 nebo 400 Mb/s u n je docela málo.
21. 8. 2013 - 13:20https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseTak samozřejmě, že část zásuvek je nevyužitá, protože lidi se třeba přesouvají no a něco je jako rezerva.
Někdy se linky agregují kvůli redundanci, takže to zabere víc portů.
Kabel je pořád lepší než WiFi, zvlášť ve firmách, kde mají zaměstnanci osobní složky na serveru. WiFi může být rušena, a těch 300 nebo 400 Mb/s u n je docela málo.
Na Rootu je článek o tom, jaké mají problémy s WiFi v NTK:
http://www.root.cz/clanky/na-navsteve-v-ntk-mistni-wifi-rozbiji-macocha/
Není to tak jednoduché.https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664995
+
Přesně to mám na mysli. Až se to dostane na tyhle ceny, pojede to všude.
Protože 1GbE už nikde nestačí a tak se dělají různé LACP teamingy, groupingy, ... 1GbE se zkrátka přesune na ty koncové klienty a mnohdy to tam ani nebude stačit.
Paradoxně, 1Gbit je dneska celkem běžná rychlost připojení i menší firmy k netu.
Domácí připojení domácnosti 1Gbit poskytuje Google (jako provider/a tak trochu cenzor) ve všech větších US městech, u nás UPC zvyšuje zákazníky na skle na 240 Mbit. Tuším že T-systems nebo kdo to ovládá ten původní Metronet v Praze, už několik let taky běžně dává gigabit koncákům.
+1
0
-1
Je komentář přínosný?
Přesně to mám na mysli. Až se
kvolaa https://diit.cz/profil/kvolaa
21. 8. 2013 - 00:20https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskusePřesně to mám na mysli. Až se to dostane na tyhle ceny, pojede to všude.
Protože 1GbE už nikde nestačí a tak se dělají různé LACP teamingy, groupingy, ... 1GbE se zkrátka přesune na ty koncové klienty a mnohdy to tam ani nebude stačit.
Paradoxně, 1Gbit je dneska celkem běžná rychlost připojení i menší firmy k netu.
Domácí připojení domácnosti 1Gbit poskytuje Google (jako provider/a tak trochu cenzor) ve všech větších US městech, u nás UPC zvyšuje zákazníky na skle na 240 Mbit. Tuším že T-systems nebo kdo to ovládá ten původní Metronet v Praze, už několik let taky běžně dává gigabit koncákům. https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664946
+
Jednoportová 10 GbE síťovka stojí něco málo pod $ 400, a to je jen tabulková cena, takže Vaší ceně 5 000 za adaptér se to už dost blíží.
10 GbE jde na 100 m přes cat 6a kabeláž a tam jsou ceny 10 až 15 KČ/m u nejlepších kabelů 20 KČ/m (což je i cena cat 7). Do 55 m se podle normy dají použít i cat 5e a cat 6 kabely a to i nestíněné (tam kde není prostředí, kde je riziko allien crosstalk). U kratších propojů a s nějakou lepší kabeláží bych se toho nebál.
Ceny switchů časem klesnou.
+1
0
-1
Je komentář přínosný?
Jednoportová 10 GbE síťovka
JP01 https://diit.cz/profil/jp01
21. 8. 2013 - 09:34https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseJednoportová 10 GbE síťovka stojí něco málo pod $ 400, a to je jen tabulková cena, takže Vaší ceně 5 000 za adaptér se to už dost blíží.
10 GbE jde na 100 m přes cat 6a kabeláž a tam jsou ceny 10 až 15 KČ/m u nejlepších kabelů 20 KČ/m (což je i cena cat 7). Do 55 m se podle normy dají použít i cat 5e a cat 6 kabely a to i nestíněné (tam kde není prostředí, kde je riziko allien crosstalk). U kratších propojů a s nějakou lepší kabeláží bych se toho nebál.
Ceny switchů časem klesnou.https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664966
+
Už by bylo načase, aby ty sítě trochu zrychlily - vždyť 1GbE je tady přes 10-15 let a všechno ostatní je děsně předražené.
O FC nemá snad ani cenu mluvit (a navíc příšerně blbá podpora softu a ovladačů, všechno proprietary a každá firma má svoje extenze ... je to na pos....).
A ostatní ...
10GbE SFP+ například. Relativně lacinější je 10GbE CX4 twinaxial, na propojení serverů to stačí. Jenže aktivní prvky pořád stojí raketu.
10GBaseT bylo donedávna nepoužitelné pro vysokou topivost (ve všech serverech, co jsem viděl to odešlo na chlazení), další generace (ty 540 karty od Intelu) už topí méně, takže to obvykle v serveru chvíli přežije (a záleží na délce drátu, spojení v racku topí málo). A teď se objevily první levné switche 10GBaseT (unmanaged, ale s VLAN - 36kKč za 24 portů).
Tak snad časem se to zlepší.
Dneska je nejlepší serverovou sítí bezkonkurenčně InfiniBand. Latence, rychlost. A hlavně - bezproblémové ovladače OFED na všech systémech, totálně konvergované protokoly (EoIB, FCoIB, IPoIB, plus všechny RDMA špivané triky). Navíc ty RDMA věci obcházejí protokol stacky a jedou přímo, takže nulová zátěž procesoru a řádově nízká latence. A zabezpečení není děláno protocol stackem (jako třeba u TCP), ale přímo železem.
Prostě super, kdo zkusil, nechce už nic jiného :-)
A nejlepší na tom je, že dnes je to často i nejlevnější síť, protože velká datacentra se zbavují první a druhé generace IB a je toho plná ebay a ty sekundární obchodní kanály.
Jako průmyslová enterprise věc je to udělané pořádně (na rozdíl od ethernetu) a má to MTBF a životnost (projektovanou) určitě přes 10 let.
IB DDR (20Gbit, resp. 16 Gbit po ECC) dual port karta je laciná - nedávno jsem bral pro jednu serverovnu 130 karet po 25 librách kus. Refurbished switch od Flextronics 24 portů za 500 liber, zaruka 2 roky plus 300 liber. Ne-refurbished stejny kus za 300 liber, zdroje jsem sehnal po 50 librach nove.
Kabely - CX4 twinax - od číňana po $15. od pul metru po 5m (cena skoro stejná).
A neumíte si představit, jak se pěkně zrychlí třeba virtualizační hnízdo, když filer dělá NFS (ZFS to přímo integruje) přes RDMA - což dneska podporuje i win2012 server.
1400 MB/s není problém. A navíc to je brutálně nízkolatenční.
A to všechno za cenu skoro 1Gbit ethernetu. A to je fakt sranda. Sice nemáte už záruku od výrobce, ale za ty peníze není problém mít všechno třeba 4x ve skladu, případně to jet přímo HA (multipath a tyhle další triky).
Jojo, Infiniband je to pravé - mám to i doma mezi domácími servery :-)
+1
+6
-1
Je komentář přínosný?
Už by bylo načase, aby ty
kvolaa https://diit.cz/profil/kvolaa
20. 8. 2013 - 21:05https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseUž by bylo načase, aby ty sítě trochu zrychlily - vždyť 1GbE je tady přes 10-15 let a všechno ostatní je děsně předražené.
O FC nemá snad ani cenu mluvit (a navíc příšerně blbá podpora softu a ovladačů, všechno proprietary a každá firma má svoje extenze ... je to na pos....).
A ostatní ...
10GbE SFP+ například. Relativně lacinější je 10GbE CX4 twinaxial, na propojení serverů to stačí. Jenže aktivní prvky pořád stojí raketu.
10GBaseT bylo donedávna nepoužitelné pro vysokou topivost (ve všech serverech, co jsem viděl to odešlo na chlazení), další generace (ty 540 karty od Intelu) už topí méně, takže to obvykle v serveru chvíli přežije (a záleží na délce drátu, spojení v racku topí málo). A teď se objevily první levné switche 10GBaseT (unmanaged, ale s VLAN - 36kKč za 24 portů).
Tak snad časem se to zlepší.
Dneska je nejlepší serverovou sítí bezkonkurenčně InfiniBand. Latence, rychlost. A hlavně - bezproblémové ovladače OFED na všech systémech, totálně konvergované protokoly (EoIB, FCoIB, IPoIB, plus všechny RDMA špivané triky). Navíc ty RDMA věci obcházejí protokol stacky a jedou přímo, takže nulová zátěž procesoru a řádově nízká latence. A zabezpečení není děláno protocol stackem (jako třeba u TCP), ale přímo železem.
Prostě super, kdo zkusil, nechce už nic jiného :-)
A nejlepší na tom je, že dnes je to často i nejlevnější síť, protože velká datacentra se zbavují první a druhé generace IB a je toho plná ebay a ty sekundární obchodní kanály.
Jako průmyslová enterprise věc je to udělané pořádně (na rozdíl od ethernetu) a má to MTBF a životnost (projektovanou) určitě přes 10 let.
IB DDR (20Gbit, resp. 16 Gbit po ECC) dual port karta je laciná - nedávno jsem bral pro jednu serverovnu 130 karet po 25 librách kus. Refurbished switch od Flextronics 24 portů za 500 liber, zaruka 2 roky plus 300 liber. Ne-refurbished stejny kus za 300 liber, zdroje jsem sehnal po 50 librach nove.
Kabely - CX4 twinax - od číňana po $15. od pul metru po 5m (cena skoro stejná).
A neumíte si představit, jak se pěkně zrychlí třeba virtualizační hnízdo, když filer dělá NFS (ZFS to přímo integruje) přes RDMA - což dneska podporuje i win2012 server.
1400 MB/s není problém. A navíc to je brutálně nízkolatenční.
A to všechno za cenu skoro 1Gbit ethernetu. A to je fakt sranda. Sice nemáte už záruku od výrobce, ale za ty peníze není problém mít všechno třeba 4x ve skladu, případně to jet přímo HA (multipath a tyhle další triky).
Jojo, Infiniband je to pravé - mám to i doma mezi domácími servery :-) https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664918
+
A ještě jsem chtěl dodat, že zřetelně nejlepší je InfiniBand i v té nové verzi FDR/QDR, protože to stojí srovnatelně s 8FC nebo 10/40GbE a přitom to je úplně o něčem jiném.
A ještě navíc je to už protokolově stabilní (tj. nejsou nové vyfikundace od firem, tj. proprietární extenze a následný totální bordel).
Další věc je VPI - Virtual Protocol Interconnect, což je v podstatě nadstavba, vycházející z IB. K tomu SDN a je vysmáto.
Až na ty náklady, switch od Mellanoxu je drahý jak pes, ale ne významně více než obyčejná srágora 10GbE SFP+ (hehe, třeba jenom 3x tolik).
Každopádně RDMA věci a nízká latence, plus konvergence ostatních sítí - to je brutální výhoda IB.
Takže celkově k tématu článku - jsem zvědavý co z Intelu vypadne za zázrak. 1.6Tbit/s, to zní fakt dobře.
+1
+5
-1
Je komentář přínosný?
A ještě jsem chtěl dodat, že
kvolaa https://diit.cz/profil/kvolaa
20. 8. 2013 - 21:21https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseA ještě jsem chtěl dodat, že zřetelně nejlepší je InfiniBand i v té nové verzi FDR/QDR, protože to stojí srovnatelně s 8FC nebo 10/40GbE a přitom to je úplně o něčem jiném.
A ještě navíc je to už protokolově stabilní (tj. nejsou nové vyfikundace od firem, tj. proprietární extenze a následný totální bordel).
Další věc je VPI - Virtual Protocol Interconnect, což je v podstatě nadstavba, vycházející z IB. K tomu SDN a je vysmáto.
Až na ty náklady, switch od Mellanoxu je drahý jak pes, ale ne významně více než obyčejná srágora 10GbE SFP+ (hehe, třeba jenom 3x tolik).
Každopádně RDMA věci a nízká latence, plus konvergence ostatních sítí - to je brutální výhoda IB.
Takže celkově k tématu článku - jsem zvědavý co z Intelu vypadne za zázrak. 1.6Tbit/s, to zní fakt dobře. https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664921
+
IMHO IB je pro SMB pouzitelny pouze jako P2P. Switche neni realne zainvestovat. Ja zatim krome IB jinou alternativu za rozumne penize nevidim.
+1
+4
-1
Je komentář přínosný?
IMHO IB je pro SMB pouzitelny
Martin Kolar https://diit.cz/profil/mikasp
21. 8. 2013 - 00:01https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseIMHO IB je pro SMB pouzitelny pouze jako P2P. Switche neni realne zainvestovat. Ja zatim krome IB jinou alternativu za rozumne penize nevidim.https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664945
+
IB nový (funglovka) je drahý. Leda použít ten výprodej, jak jsem psal. Pak vyjde switch na 10kKč při 24 portech. Takže si můžete koupit jeden dva do zásoby, kdyby to odešlo.
A při nových IB věcech (karty jsou drahé taky jak svině) jde použít i to P2P. Pro malé SMB instalace.
Běžně dělám SMB konsolidace/virtualizace pomocí 3 mašin a 3 IB karet (2 portových). Tedy jeden filer, dva hypervizory. Víc není potřeba ani na to nejsou obvykle peníze.
Propojeno každý s každým do trojúhelníku, bez switche, na přímo. Ne, fakt nemusíte pro IB mít "cross-cable" :-)
Jenom se musí pustit IB subnet manager. Což je tak chytrá věc, že to může běžet na všech těch strojích, ono se to samo nastaví do master-slave režimu. Většinou to dělám jako dva subnety, jeden mezi filerem a hypervizory, druhý segment mezi hypervizory navzájem (po tom pak běží live migrace případně virtuální network VLAN).
Stejná konfigurace se dá použít třeba pro Oracle RAC vysokou dostupnost atd.
A nic to nestojí, jen ty karty a kabely mezi tím (a trochu práce).
A pro SMB dva hypervizory jsou dost, dneska jsou ty E5-2600 strojky relativne levne, 2x 8 jader v jedné mašině, tedy 32 jader na celý ten bazmek. To třeba na konsolidaci 10-20ti nevytížených serverů, co se za léta ve firmě nahromadily (5 verzí účetnictví není vyjímkou, každý soft na jiném serveru) úplně stačí. Asi tak.
Na to se plácne třeba Proxmox VE a je hotovo.
Výhoda je, že to je otevřená cesta do budoucnosti. Železo bude IB/VPI, sítě NetFlow/OpenFlow SDN. V tom server segmentu (tj. v racku).
+1
0
-1
Je komentář přínosný?
IB nový (funglovka) je drahý.
kvolaa https://diit.cz/profil/kvolaa
21. 8. 2013 - 00:45https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseIB nový (funglovka) je drahý. Leda použít ten výprodej, jak jsem psal. Pak vyjde switch na 10kKč při 24 portech. Takže si můžete koupit jeden dva do zásoby, kdyby to odešlo.
A při nových IB věcech (karty jsou drahé taky jak svině) jde použít i to P2P. Pro malé SMB instalace.
Běžně dělám SMB konsolidace/virtualizace pomocí 3 mašin a 3 IB karet (2 portových). Tedy jeden filer, dva hypervizory. Víc není potřeba ani na to nejsou obvykle peníze.
Propojeno každý s každým do trojúhelníku, bez switche, na přímo. Ne, fakt nemusíte pro IB mít "cross-cable" :-)
Jenom se musí pustit IB subnet manager. Což je tak chytrá věc, že to může běžet na všech těch strojích, ono se to samo nastaví do master-slave režimu. Většinou to dělám jako dva subnety, jeden mezi filerem a hypervizory, druhý segment mezi hypervizory navzájem (po tom pak běží live migrace případně virtuální network VLAN).
Stejná konfigurace se dá použít třeba pro Oracle RAC vysokou dostupnost atd.
A nic to nestojí, jen ty karty a kabely mezi tím (a trochu práce).
A pro SMB dva hypervizory jsou dost, dneska jsou ty E5-2600 strojky relativne levne, 2x 8 jader v jedné mašině, tedy 32 jader na celý ten bazmek. To třeba na konsolidaci 10-20ti nevytížených serverů, co se za léta ve firmě nahromadily (5 verzí účetnictví není vyjímkou, každý soft na jiném serveru) úplně stačí. Asi tak.
Na to se plácne třeba Proxmox VE a je hotovo.
Výhoda je, že to je otevřená cesta do budoucnosti. Železo bude IB/VPI, sítě NetFlow/OpenFlow SDN. V tom server segmentu (tj. v racku).
https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664947
+
To už snad nemusí být ani u Ethernetu. Skoro všechna zařazení mají automatické MDI/MDIX.
+1
-4
-1
Je komentář přínosný?
"Ne, fakt nemusíte pro IB mít
JP01 https://diit.cz/profil/jp01
21. 8. 2013 - 11:05https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse"Ne, fakt nemusíte pro IB mít "cross-cable" :-)"
To už snad nemusí být ani u Ethernetu. Skoro všechna zařazení mají automatické MDI/MDIX.https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664981
+
Jojo. Známý problém v tomhle byl 10/100 half/full duplex. To už je pryč.
+1
-4
-1
Je komentář přínosný?
Jojo. Známý problém v tomhle
kvolaa https://diit.cz/profil/kvolaa
21. 8. 2013 - 13:04https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseJojo. Známý problém v tomhle byl 10/100 half/full duplex. To už je pryč.https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664993
+
Docela by mne zajimaly podrobnosti, pokud byste mel chut, rad bych si o tom popovidal podrobneji.
+1
0
-1
Je komentář přínosný?
Docela by mne zajimaly
Martin Kolar https://diit.cz/profil/mikasp
21. 8. 2013 - 13:11https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseDocela by mne zajimaly podrobnosti, pokud byste mel chut, rad bych si o tom popovidal podrobneji.https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664994
+
Ono ani není o čem mluvit. Dřív, když se na přímo propojovaly dvě síťové karty, tak ten kabel musel být křížený, aby Tx jednoho počítače šlo na Rx druhého a naopak.
Pokud šlo připojení přes hub, switch nebo router, tak se používal přímý, protože přehození se provedlo na daném prvku.
Dnes už si umí téměř všechna zařízení vyjednat, po jakém médiu (přímý × křížený kabel) se bude vysílat a přijímat a relátka nebo nějaký šváb (nevím jak to je) to přehodí podle typu kabelu.
"Duplexnost" a rychlosti se také vyjednává automaticky. Někdy se stane, že když se poškodí kabel, tak se to automaticky přepne na rychlost, kterou poškozený kabel dovolí.
Pokud připojím k GbE portu FastEthernet síťovku, tak se taky automaticky vyjedná rychlost na FastEhternet.
U běžných síťovek se to děje automaticky a asi do toho nejde zasahovat. Například u Cisco switchů to jde nastavit ve specifickém konfiguračním módu rozhraní.
+1
-2
-1
Je komentář přínosný?
Ono ani není o čem mluvit.
JP01 https://diit.cz/profil/jp01
21. 8. 2013 - 13:31https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseOno ani není o čem mluvit. Dřív, když se na přímo propojovaly dvě síťové karty, tak ten kabel musel být křížený, aby Tx jednoho počítače šlo na Rx druhého a naopak.
Pokud šlo připojení přes hub, switch nebo router, tak se používal přímý, protože přehození se provedlo na daném prvku.
Dnes už si umí téměř všechna zařízení vyjednat, po jakém médiu (přímý × křížený kabel) se bude vysílat a přijímat a relátka nebo nějaký šváb (nevím jak to je) to přehodí podle typu kabelu.
"Duplexnost" a rychlosti se také vyjednává automaticky. Někdy se stane, že když se poškodí kabel, tak se to automaticky přepne na rychlost, kterou poškozený kabel dovolí.
Pokud připojím k GbE portu FastEthernet síťovku, tak se taky automaticky vyjedná rychlost na FastEhternet.
U běžných síťovek se to děje automaticky a asi do toho nejde zasahovat. Například u Cisco switchů to jde nastavit ve specifickém konfiguračním módu rozhraní.https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664999
+
Muj komentar byla odpoved na prispevek kvolaa nize. Jinak krizeny kabely jsem driv taky delal.
============================
Běžně dělám SMB konsolidace/virtualizace pomocí 3 mašin a 3 IB karet (2 portových). Tedy jeden filer, dva hypervizory. Víc není potřeba ani na to nejsou obvykle peníze.
Propojeno každý s každým do trojúhelníku, bez switche, na přímo. Ne, fakt nemusíte pro IB mít "cross-cable" :-)
Jenom se musí pustit IB subnet manager. Což je tak chytrá věc, že to může běžet na všech těch strojích, ono se to samo nastaví do master-slave režimu. Většinou to dělám jako dva subnety, jeden mezi filerem a hypervizory, druhý segment mezi hypervizory navzájem (po tom pak běží live migrace případně virtuální network VLAN).
Stejná konfigurace se dá použít třeba pro Oracle RAC vysokou dostupnost atd.
A nic to nestojí, jen ty karty a kabely mezi tím (a trochu práce).
+1
-4
-1
Je komentář přínosný?
Muj komentar byla odpoved na
Martin Kolar https://diit.cz/profil/mikasp
21. 8. 2013 - 14:01https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseMuj komentar byla odpoved na prispevek kvolaa nize. Jinak krizeny kabely jsem driv taky delal.
============================
Běžně dělám SMB konsolidace/virtualizace pomocí 3 mašin a 3 IB karet (2 portových). Tedy jeden filer, dva hypervizory. Víc není potřeba ani na to nejsou obvykle peníze.
Propojeno každý s každým do trojúhelníku, bez switche, na přímo. Ne, fakt nemusíte pro IB mít "cross-cable" :-)
Jenom se musí pustit IB subnet manager. Což je tak chytrá věc, že to může běžet na všech těch strojích, ono se to samo nastaví do master-slave režimu. Většinou to dělám jako dva subnety, jeden mezi filerem a hypervizory, druhý segment mezi hypervizory navzájem (po tom pak běží live migrace případně virtuální network VLAN).
Stejná konfigurace se dá použít třeba pro Oracle RAC vysokou dostupnost atd.
A nic to nestojí, jen ty karty a kabely mezi tím (a trochu práce).https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-665004
+
Klidně, až skončí léto, můžeme se domluvit. Placená konzultace ? :-)
Chystám cyklus přednášek o těchto věcech, které budu souběžně zveřejňovat na blogu, někdy ...
+1
+1
-1
Je komentář přínosný?
Klidně, až skončí léto,
kvolaa https://diit.cz/profil/kvolaa
21. 8. 2013 - 13:46https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseKlidně, až skončí léto, můžeme se domluvit. Placená konzultace ? :-)
Chystám cyklus přednášek o těchto věcech, které budu souběžně zveřejňovat na blogu, někdy ...https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-665001
+
21. 8. 2013 - 14:05https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseok, link na blog?https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-665007
+
zatím mám blog jen v hlavě, teď je léto, bazény, blondýnky, kolo, ...
Dám vědět.
+1
-2
-1
Je komentář přínosný?
zatím mám blog jen v hlavě,
kvolaa https://diit.cz/profil/kvolaa
21. 8. 2013 - 14:49https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskusezatím mám blog jen v hlavě, teď je léto, bazény, blondýnky, kolo, ...
Dám vědět.https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-665026
+
Jinak, vážená redakce, opravdu obdivuji Vaši logiku - Tunderbolt měla být optika, ClearCurve je optika, takže se to musí čtenářům připomenout a ještě jim strčit až pod nos s ClearCurve nijak nesouvisející článek o naprosto zbytečném rozhraní Thunderbolt, který se snad ani v té optické verzi neprodává.
Thunderbolt je produkt pro frikulíny, ClearCurve je enterprise produkt a ještě k tomu na úplně jiném principu. Jediné teoreticky společné věci jsou funkce přenosu dat a optické médium, jinak nic.
Až budete příště testovat nějaké diskové pole od IBM, tak tam nezapomeňte připomenout, že v principu je to vlastně úplně stejné a hlavně tam dejte ten odkaz, protože čtenář je hloupý a neumí hledat (a nebo, co kdyby si to náhodou dovolil hledat někde jinde). Pak taky navrhuji se v každém článku o HDMI zmínit taky pro jistotu o USB, protože kabel jako kabel...
+1
+1
-1
Je komentář přínosný?
Jinak, vážená redakce,
JP01 https://diit.cz/profil/jp01
20. 8. 2013 - 22:18https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuseJinak, vážená redakce, opravdu obdivuji Vaši logiku - Tunderbolt měla být optika, ClearCurve je optika, takže se to musí čtenářům připomenout a ještě jim strčit až pod nos s ClearCurve nijak nesouvisející článek o naprosto zbytečném rozhraní Thunderbolt, který se snad ani v té optické verzi neprodává.
Thunderbolt je produkt pro frikulíny, ClearCurve je enterprise produkt a ještě k tomu na úplně jiném principu. Jediné teoreticky společné věci jsou funkce přenosu dat a optické médium, jinak nic.
Až budete příště testovat nějaké diskové pole od IBM, tak tam nezapomeňte připomenout, že v principu je to vlastně úplně stejné a hlavně tam dejte ten odkaz, protože čtenář je hloupý a neumí hledat (a nebo, co kdyby si to náhodou dovolil hledat někde jinde). Pak taky navrhuji se v každém článku o HDMI zmínit taky pro jistotu o USB, protože kabel jako kabel...https://diit.cz/clanek/intel-chysta-16-tbits-opticke-rozhrani-pro-servery/diskuse#comment-664928
+
No uz aby tu bylo neco za rozumne ceny pro mensi firmy. 1Gb je cekarna, z 10Gb+ je snad pouzitelny infiniband a to na kratke vzdalenosti P2P se silenym kabelem. Aktivni prvky jakekoli 10Gb+ technologie jsou drahe.
10 GbE aktivní prvky jsou drahé? Dvouadaptérová RJ 45 10 GbE síťová karta pro servery za $ 700 je drahá?
Ani s 10 GbE přepínačema to není taková hrůza.
Myslel jsem VDMq, samozřejmě.
Jednoportová 10 GbE síťovka (X540) stojí $ 400. To mi nepřijde zas taková pálka, na to že je to serverová karta.
Broadcom už něco podobného nabízí, sice se mi nepodařilo najít cenu, ale určitě bude příznivější než u Intelu.
No a potom taková consumers 10 GbE síťovka by mohla být klidně i pod $ 200. Záleží, kdo se toho první chytne a začne do luxusnějších MB cpát 10 GbE. A pak už je jen otázkou času, kdy firmy jako Belkin, TP-Link (a podobní) začnou nabízet cenově dostupné přepínače.
36 000 za 24 portů a s podporou VLAN, to mi nepřijde zas taková pálka. Teď záleží na tom, jestli to je jenom tabulková cena nebo konečná reálná cena pro větší zákazníky.
Vždyť 24portový Catalyst vyjde třeba ještě dráž a spoustu funkcí stejně nevyužiju. :D
Na roli core switche nebo distribučního switche zase tak kriticky nepotřebuju managovatelný switch, hlavně když bude umět VLANy. ACL tam nepotřebuju, to se pořeší na acces switchích, ověřování proti RADIUS serveru tam taky není potřeba, stejně jako port security a VTP, DTP, CDP (a různé variace na něj) jsou spíš na škodu, takže se stejně vypínají. No a zbytek vyřeším pomocí VLAN, stačí když bude mít zařízení připojené do toho switche síťovku s podporou VLAN (aby uměla pracovat v modu Trunk) a to jsou skoro všechny serverové (to dokonce umí i moje síťovka v NB :D ).
Optika je pořád šíleně drahá, takže já vkládám velké naděje do metalického 10 GbE. Stačí jenom, aby se někdo chytl a začal cpát 10 GbE do základních desek a do NB. Consumers síťovky tolik topit nebudou, takže tady problém nebude.
Routování - Teď jsem se docela divil, že i Cisco SMB switche umí statické routování a nebyly to drahé switche. HP to taky umí (u většiny modelů bohužel jenom IPv4 routing, takže do budoucna je to dost nešikovné) a Catalysty řady C2960X už dokonce umí dynamické routování s 32 (nebo 64 aresami, teď nevím jistě).
Ale stejně je lepší to vyřešit jinak, třeba s pomocí VLAN a ACL (pokud mi jde o bezpečnost) a pokud mi jde o směrování mezi spoustou rozsáhlých sítí, kde není jiná možnost, tak tam holt budu muset ten router použít. Ale kolik firem potřebuje routovat 10 Gb/s?
Souhlas. I s tim, co píšete o L2-L3, VLAN atd.
Jak dělat inter-VLAN routing na 10G, to je fakt oříšek - bastlem "router on the stick" třeba na BSD to už moc nepůjde, to je jisté :-)
Jojo, Cisco zlevňuje, nevídané. L3 (i když na urovni ipbase nebo míň) v c2960 řadě, teda kdo to kdy viděl, žejo.
Doba zlomu 10GBaseT se bliží kvapem, tak do roka je to tady.
Šváby na konzumní karty bude snad dělat nebo už dělá Broadcom. Takže je jen otazka chvile než to bude na desktop boardech. Pak se hned objeví lacine unmanaged switche za hubičku.
Ale už dneska je ten Netgear za 36kKč - jenže jsem se spletl, není to 24 port ale jen 12x 10GBaseT + 2x uplink SFP+ 10GbE (nebo maji dalsi model 8 port + 1 trunk uplink SFP+ za cca 23kKč).
Unmanaged, ale s web nastavením VLAN, trunk portu, LACP, dokonce to umí dynamicke VLANy (vazane na MAC klienta), takže asi dle 802.1x extenze, ne pres VTP. Takze to ma asi i tu autentizaci.
Mám pár kousků objednaných, tak uvidím, až to přijde.
A ještě jednou, jenom jsem chtěl dodat, že 10GBaseT metalika, ačkoliv je to velmi očekávaná technologie, tak neřeší problémy v serverovně - tedy tím myslím ty core serverové věci, spojení mezi filery a hypervizory, náhradu/integraci SAN atd.
Už jenom proto, že ten "konvergovaný ethernet" je teprve v počátcích a většinou to skončí jen na FCoE a to hned narazíte na průšvih s FC (proprietary extenze).
Zatímco na Infinibandu tyhle věci šlapou jak víno už dlouho. A v rámci hnízda serverů mezi několika racky je ta max. vzdálenost (v pasivním kabelu na metalice CX4 - jo ty tlusté "dráty") 10m. Což většinou stačí, jinak se musí vzít optika (drahá, v těch QSFP/WQSFP/... předrahá).
Prostě, serverová konvergovaná síť je něco jiného než core (backbone), distribution, access levels. Což bude doména 10GBaseT, jakmile se to rozjede, což je za rohem.
Jo, jo, Cisco zlevňuje a taky hlavně distributoři pochopili, že za takové ceny, jako dávají jim to nikdo nekoupí a radši uteče k HP. I když HP mě teď pěkně naštvalo. Management některých switchů se dělá pouze přes aplikaci nebo přes webové rozhraní. Z příkazové řádky to nejde. :(
Přepínače s L3 funkcemi jsou hodně fajn, ale pořád to není ten výkon, co dávají lepší routery. Směrovací kapacita je sice obrovská, ale směrovací rychlost zase tak vysoká není.
Starší Catalysty zas nejsou tak drahé a když se povede nějaký sehnat z Aukra, tak je to docela fajn na blbnutí. A po absolvování Cisco Academy jsou na Cisco produkty obrovské slevy.
Ale osobně taky nevidím důvod všude cpát Catalysty. Oproti SMB mají o něco lepší bezpečnostní funkce a myslím, že se doporučují do redundantních sítí, kde je ethernet zapojen do kruhu a některé trasy jsou blokovány RSTP.
Ale jinak mají SMB klasické bezpečnostní funkce, můžou být s L3 funkcemi a můžou být stohovatelné.
I když je za 36 000 jen 12 portový switch, tak to jsou pořád pěkné peníze, vzhledem k tomu, že 24 portový SFP+ switch stojí dvojnásobek a to tam ještě nejsou SFP+ moduly. Je fajn, že to umí LACP (byla by ostuda, kdyby ne), ale myslím, že většině bude stačit jedna linka.
Zařazení do VLANy podle MAC adresy moc neuznávám, protože to je potencionální díra v systému (MAC se dá podvrhnout). Radši mám VLANy přiřazené k portu a nebo ověřování proti RADIUS serveru.
Jinak jak to myslíte s tím přiřazováním pomocí VTP? To jako, že se to ověří a pak se to přes VTP nastaví? U VTP je problém s bezpečností a taky VTP neprochází přes router, takže routování v podnikové síti by muselo být přes router on stick nebo by se to muselo nějak složitě tunelovat.
Já jsem se setkal jen s RADIUSem podle 802.1x.
Když si vzpomenete, tak se potom podělte o zkušenosti. Docela by mě to zajímalo. Asi to nebude umět ACL, co? :(
DTP, CDP (nebo jeho open variace) a VTP by mi nechyběly. Buď je to bezpečnostní díra nebo s tím jsou problémy nebo obojí.
VTP jde snadno nahradit tím, že budu používat předpřipravené konfigurační skripty nebo to prostě ty VLANy nastavím ručně.
Jinak, k tomu zapojení router on the stick. Já jsem s tím naštěstí problémy neměl a pomohlo mi to ušetřit spoustu portů.
Zkušenosti s FC nebo IB nemám. Zatím vždy stačil Ethernet (kabel nebo SFP+ direct attach) . Disková pole přes iSCSI (FCeO jsem ještě nezkoušel) nebo NFS.
Taky se těším na 10 GbE. Až se to rozšíří, bude to smrt pro Thunderbolt.
Přesně tak, to zlevňování proti ofiko cenám dělají všichni, pověstný je tím třeba Dell, HP.
60% sleva není žádná vyjímka (když toho berete více, třeba core switche, k tomu RAID pole a server).
Kdysi jsem si při studiu na CNA vždy kupoval Catalysty na ebay a pak je zase prodával, dneska dost věcí pokryje GNS3, IOU, PacketTracer. Ale ve finále to chce železo, protože často o výsledku zkoušky rozhoduje, zda znáte chyby/zvláštnosti/rozdíly jednotlivých verzí IOSu a co na jakém bazmeku je v jaké verzi implementováno a co tam prostě nefunguje nebo vůbec není.
Jenže dneska fungují výborně rack-on-rental služby, takže si může každý okamžitě zaplatit přímo na danou zkoušku rack a přes net to všechno testovat.
No ale i tak, železo je železo. Ceny na ebay jsou vážně přijemné.
Občas dělám i to, že zákazníkovi koupíme Catalysty na ebay, klidně si pak může dovolit redundantní konfiguraci s RSTP+ autorekonfigurací, obchozími cestami atd.
Stačí mu to ukázat nasimulované v PacketTraceru a když vidí, jak se oranžové tečky mění v zelené (rozložení zátěže na redundantní cesty), tak je většinou rozhodnuto.
Rozdíl v ceně je prostě až moc šílený. Cisco má ty ceny přepálené již dlouho. Takže lepší super konfigurace z bazaru s redundancí než jim platit ty šílené sumy (to je jako si koupit před lety nové auto, které po odjezdu z autosalonu šlo prodat jen za 40% ceny).
Ty zbývající věci - jak jsem to myslel s tím 802.1x versus VTP (a VTPD), to napíšu snad odpoledne, teď je nějak fofr.
Jinak ten laciný switch snad ACL umí, mám někde pdf podívám se. Ale je to spíš obchodnické pdf, tak nevím, co tam bude a nebude.
K tomu "zatím vždy stačil Ethernet (kabel nebo SFP+ direct attach) ...".
10GBaseT má asi 25x vyšší latence než 10GbE po optice, asi 10x než 10GbE po DAC. A asi 100x vice než IB. Kromě toho tam zatím není definováno něco jako na RDMA založený protokol - ani to v podstatě nejde, protože fyzická/linková vrstva nemá zabezpečení.
Takže to vždy prolézá přes nějaky stack, i když je TCP implementováno železem (latence, handshaking, ...).
Další věc je, že po Ethernetu je iSCSI nebo NFS, CIFS honěno přes IP vrstvu, tím jsou dané latence jak kráva a nízká průchodnost, protože to žere procesor a dělá interrupt storm. A další věc je často dost příšerná implementace, třeba iSCSI target je použitelný jen ten ze Solarisu (Illumos, ...), další dvě implementace třeba na linuxu mají max. 70% výkon a četné chybky - třeba nejde přidat target bez restartování démonu (tj. bez přerušení služby), což je ve virtualizačním env. dost obtěžující chyba.
To se týká i klientů, např. NFS na ESXi 5.1 je katastrofa, čeká se s nadějemi na ESXi (vSphere) 6. Bude to tam nebo nebude ? Myslim samozřejmě NFSv.4.1 alias pNFS.
A další zásadní věc je RDMA podpora. Po IB to zcela obchází stacky, takže NFS, iSCSI, CIFS nejede přes IP, ale rovnou na bazální úrovni přes RDMA.
Vubec to tim padem nezatěžuje procesor ani nevyvolava moře interruptů.
Celkově se dá říct, že dělat SAN přes ethernet je náramná zoufalost.
Ale z druhe strany, ethernet je všude, když bude chodit 10x rychleji, pojede všechno rychleji. A ta rychlost, latence, zátěž procesoru atd. je něco, na co jsme zvyklí - prostě je to kompromis a když to bude levný kompromis, je to skvělé.
Takže to zase nevidím tak negativně.
Jde jen to to, že pokud bych volil technologii pro server core síť, nezvolil bych (dneska) ethernet 10/40Gbit, ale přímo IB nebo VPI (nakonec ten Eth. jde vždy odbočit, tunelovat, vytahnout atd.).
Jsem si jist, že ty věci, co to dneska neumí, tj. aby to byl fakt ten Konvergovaný ethernet (CE), se tam časem dostanou. Ale zatím to zvíře "CE" ještě běhá po lese a nikdy ho ještě neviděl ani tedy nechytil :-)
CE je něco jako BigFoot nebo Sněžný muž :-)
Infiniband nebo VPI je skutečné. Drahé, to je fakt :-(
"protože fyzická/linková vrstva nemá zabezpečení."
Nemá, ale lze to řešit izolací vyhrazené paměti pomocí VT-d.
Jinak, myslím, že by nebyl problém tam procpat něco, co by to hlídalo.
To jsme si nerozumněli. Co píšete (tj. bezpečnost v rámci mašiny, aby do vyhrazené paměti nemohl vlézt někdo jiný je samozřejmě řešeno standardně izolací paměti, ve virtualizačním prostředí třeba i pomocí IO-MMU jednotky, alias VT-d alias AMD-IOMMU nebo nově AMD-D).
Myslel jsem to tak, že pod IB je přenos dat zajištěn fyzicky na fyzické úrovni pomocí ECC redundantních Hammingových kódů, padne na to 20% přenosové kapacity - proto taky třeba DDR IB jede v 20Gbit fyzicky, datově 16Gbit.
Prostě, z jedné strany do toho nacpete data a ony z druhé strany vylezou zaručeně stejná. Stará se o to vysokorychlostně železo nějakým ASICem.
Proto se tam dá dělat RDMA přenos - aplikace vrzne data do dohodnuté oblasti paměti, a ono se to skoro okamžitě (dobře, pár desítek nanosekund to trvá) objeví na druhé straně, v jiném počítači v nějaké oblasti paměti, odkud se to vyžere další aplikací.
No a to Ethernet neumí.
Pro SMB mi pripada 24 portu moc, take v routovani smysl nevidim. Pro propojeni serverove infrastruktury 8 portu staci.
Tak hlavně záleží na tom, jak moc je ten Bussiness Small. :D A taky, co tam dělají. Pro firmu se 100 zaměstnanci bych to tak viděl na cca 250 GbE portů a 20 10 GbE portů + nějaká záloha.
Urcite zalezi na odvetvi, ale myslim, ze podstatnou cast aplikaci pokryje 3-5 vykonnych serveru s virtuaizaci, diskove uloziste. Pocet portu je nejaky velky, v perspektive spis bude nutna rozvinutejsi bezdratova infrastruktura pro tablety, notebooky, telefony atd. A
Tak samozřejmě, že část zásuvek je nevyužitá, protože lidi se třeba přesouvají no a něco je jako rezerva.
Někdy se linky agregují kvůli redundanci, takže to zabere víc portů.
Kabel je pořád lepší než WiFi, zvlášť ve firmách, kde mají zaměstnanci osobní složky na serveru. WiFi může být rušena, a těch 300 nebo 400 Mb/s u n je docela málo.
Na Rootu je článek o tom, jaké mají problémy s WiFi v NTK:
http://www.root.cz/clanky/na-navsteve-v-ntk-mistni-wifi-rozbiji-macocha/
Není to tak jednoduché.
Přesně to mám na mysli. Až se to dostane na tyhle ceny, pojede to všude.
Protože 1GbE už nikde nestačí a tak se dělají různé LACP teamingy, groupingy, ... 1GbE se zkrátka přesune na ty koncové klienty a mnohdy to tam ani nebude stačit.
Paradoxně, 1Gbit je dneska celkem běžná rychlost připojení i menší firmy k netu.
Domácí připojení domácnosti 1Gbit poskytuje Google (jako provider/a tak trochu cenzor) ve všech větších US městech, u nás UPC zvyšuje zákazníky na skle na 240 Mbit. Tuším že T-systems nebo kdo to ovládá ten původní Metronet v Praze, už několik let taky běžně dává gigabit koncákům.
Jednoportová 10 GbE síťovka stojí něco málo pod $ 400, a to je jen tabulková cena, takže Vaší ceně 5 000 za adaptér se to už dost blíží.
10 GbE jde na 100 m přes cat 6a kabeláž a tam jsou ceny 10 až 15 KČ/m u nejlepších kabelů 20 KČ/m (což je i cena cat 7). Do 55 m se podle normy dají použít i cat 5e a cat 6 kabely a to i nestíněné (tam kde není prostředí, kde je riziko allien crosstalk). U kratších propojů a s nějakou lepší kabeláží bych se toho nebál.
Ceny switchů časem klesnou.
Už by bylo načase, aby ty sítě trochu zrychlily - vždyť 1GbE je tady přes 10-15 let a všechno ostatní je děsně předražené.
O FC nemá snad ani cenu mluvit (a navíc příšerně blbá podpora softu a ovladačů, všechno proprietary a každá firma má svoje extenze ... je to na pos....).
A ostatní ...
10GbE SFP+ například. Relativně lacinější je 10GbE CX4 twinaxial, na propojení serverů to stačí. Jenže aktivní prvky pořád stojí raketu.
10GBaseT bylo donedávna nepoužitelné pro vysokou topivost (ve všech serverech, co jsem viděl to odešlo na chlazení), další generace (ty 540 karty od Intelu) už topí méně, takže to obvykle v serveru chvíli přežije (a záleží na délce drátu, spojení v racku topí málo). A teď se objevily první levné switche 10GBaseT (unmanaged, ale s VLAN - 36kKč za 24 portů).
Tak snad časem se to zlepší.
Dneska je nejlepší serverovou sítí bezkonkurenčně InfiniBand. Latence, rychlost. A hlavně - bezproblémové ovladače OFED na všech systémech, totálně konvergované protokoly (EoIB, FCoIB, IPoIB, plus všechny RDMA špivané triky). Navíc ty RDMA věci obcházejí protokol stacky a jedou přímo, takže nulová zátěž procesoru a řádově nízká latence. A zabezpečení není děláno protocol stackem (jako třeba u TCP), ale přímo železem.
Prostě super, kdo zkusil, nechce už nic jiného :-)
A nejlepší na tom je, že dnes je to často i nejlevnější síť, protože velká datacentra se zbavují první a druhé generace IB a je toho plná ebay a ty sekundární obchodní kanály.
Jako průmyslová enterprise věc je to udělané pořádně (na rozdíl od ethernetu) a má to MTBF a životnost (projektovanou) určitě přes 10 let.
IB DDR (20Gbit, resp. 16 Gbit po ECC) dual port karta je laciná - nedávno jsem bral pro jednu serverovnu 130 karet po 25 librách kus. Refurbished switch od Flextronics 24 portů za 500 liber, zaruka 2 roky plus 300 liber. Ne-refurbished stejny kus za 300 liber, zdroje jsem sehnal po 50 librach nove.
Kabely - CX4 twinax - od číňana po $15. od pul metru po 5m (cena skoro stejná).
A neumíte si představit, jak se pěkně zrychlí třeba virtualizační hnízdo, když filer dělá NFS (ZFS to přímo integruje) přes RDMA - což dneska podporuje i win2012 server.
1400 MB/s není problém. A navíc to je brutálně nízkolatenční.
A to všechno za cenu skoro 1Gbit ethernetu. A to je fakt sranda. Sice nemáte už záruku od výrobce, ale za ty peníze není problém mít všechno třeba 4x ve skladu, případně to jet přímo HA (multipath a tyhle další triky).
Jojo, Infiniband je to pravé - mám to i doma mezi domácími servery :-)
A ještě jsem chtěl dodat, že zřetelně nejlepší je InfiniBand i v té nové verzi FDR/QDR, protože to stojí srovnatelně s 8FC nebo 10/40GbE a přitom to je úplně o něčem jiném.
A ještě navíc je to už protokolově stabilní (tj. nejsou nové vyfikundace od firem, tj. proprietární extenze a následný totální bordel).
Další věc je VPI - Virtual Protocol Interconnect, což je v podstatě nadstavba, vycházející z IB. K tomu SDN a je vysmáto.
Až na ty náklady, switch od Mellanoxu je drahý jak pes, ale ne významně více než obyčejná srágora 10GbE SFP+ (hehe, třeba jenom 3x tolik).
Každopádně RDMA věci a nízká latence, plus konvergence ostatních sítí - to je brutální výhoda IB.
Takže celkově k tématu článku - jsem zvědavý co z Intelu vypadne za zázrak. 1.6Tbit/s, to zní fakt dobře.
IMHO IB je pro SMB pouzitelny pouze jako P2P. Switche neni realne zainvestovat. Ja zatim krome IB jinou alternativu za rozumne penize nevidim.
IB nový (funglovka) je drahý. Leda použít ten výprodej, jak jsem psal. Pak vyjde switch na 10kKč při 24 portech. Takže si můžete koupit jeden dva do zásoby, kdyby to odešlo.
A při nových IB věcech (karty jsou drahé taky jak svině) jde použít i to P2P. Pro malé SMB instalace.
Běžně dělám SMB konsolidace/virtualizace pomocí 3 mašin a 3 IB karet (2 portových). Tedy jeden filer, dva hypervizory. Víc není potřeba ani na to nejsou obvykle peníze.
Propojeno každý s každým do trojúhelníku, bez switche, na přímo. Ne, fakt nemusíte pro IB mít "cross-cable" :-)
Jenom se musí pustit IB subnet manager. Což je tak chytrá věc, že to může běžet na všech těch strojích, ono se to samo nastaví do master-slave režimu. Většinou to dělám jako dva subnety, jeden mezi filerem a hypervizory, druhý segment mezi hypervizory navzájem (po tom pak běží live migrace případně virtuální network VLAN).
Stejná konfigurace se dá použít třeba pro Oracle RAC vysokou dostupnost atd.
A nic to nestojí, jen ty karty a kabely mezi tím (a trochu práce).
A pro SMB dva hypervizory jsou dost, dneska jsou ty E5-2600 strojky relativne levne, 2x 8 jader v jedné mašině, tedy 32 jader na celý ten bazmek. To třeba na konsolidaci 10-20ti nevytížených serverů, co se za léta ve firmě nahromadily (5 verzí účetnictví není vyjímkou, každý soft na jiném serveru) úplně stačí. Asi tak.
Na to se plácne třeba Proxmox VE a je hotovo.
Výhoda je, že to je otevřená cesta do budoucnosti. Železo bude IB/VPI, sítě NetFlow/OpenFlow SDN. V tom server segmentu (tj. v racku).
"Ne, fakt nemusíte pro IB mít "cross-cable" :-)"
To už snad nemusí být ani u Ethernetu. Skoro všechna zařazení mají automatické MDI/MDIX.
Jojo. Známý problém v tomhle byl 10/100 half/full duplex. To už je pryč.
Docela by mne zajimaly podrobnosti, pokud byste mel chut, rad bych si o tom popovidal podrobneji.
Ono ani není o čem mluvit. Dřív, když se na přímo propojovaly dvě síťové karty, tak ten kabel musel být křížený, aby Tx jednoho počítače šlo na Rx druhého a naopak.
Pokud šlo připojení přes hub, switch nebo router, tak se používal přímý, protože přehození se provedlo na daném prvku.
Dnes už si umí téměř všechna zařízení vyjednat, po jakém médiu (přímý × křížený kabel) se bude vysílat a přijímat a relátka nebo nějaký šváb (nevím jak to je) to přehodí podle typu kabelu.
"Duplexnost" a rychlosti se také vyjednává automaticky. Někdy se stane, že když se poškodí kabel, tak se to automaticky přepne na rychlost, kterou poškozený kabel dovolí.
Pokud připojím k GbE portu FastEthernet síťovku, tak se taky automaticky vyjedná rychlost na FastEhternet.
U běžných síťovek se to děje automaticky a asi do toho nejde zasahovat. Například u Cisco switchů to jde nastavit ve specifickém konfiguračním módu rozhraní.
Muj komentar byla odpoved na prispevek kvolaa nize. Jinak krizeny kabely jsem driv taky delal.
============================
Běžně dělám SMB konsolidace/virtualizace pomocí 3 mašin a 3 IB karet (2 portových). Tedy jeden filer, dva hypervizory. Víc není potřeba ani na to nejsou obvykle peníze.
Propojeno každý s každým do trojúhelníku, bez switche, na přímo. Ne, fakt nemusíte pro IB mít "cross-cable" :-)
Jenom se musí pustit IB subnet manager. Což je tak chytrá věc, že to může běžet na všech těch strojích, ono se to samo nastaví do master-slave režimu. Většinou to dělám jako dva subnety, jeden mezi filerem a hypervizory, druhý segment mezi hypervizory navzájem (po tom pak běží live migrace případně virtuální network VLAN).
Stejná konfigurace se dá použít třeba pro Oracle RAC vysokou dostupnost atd.
A nic to nestojí, jen ty karty a kabely mezi tím (a trochu práce).
Klidně, až skončí léto, můžeme se domluvit. Placená konzultace ? :-)
Chystám cyklus přednášek o těchto věcech, které budu souběžně zveřejňovat na blogu, někdy ...
ok, link na blog?
zatím mám blog jen v hlavě, teď je léto, bazény, blondýnky, kolo, ...
Dám vědět.
Jinak, vážená redakce, opravdu obdivuji Vaši logiku - Tunderbolt měla být optika, ClearCurve je optika, takže se to musí čtenářům připomenout a ještě jim strčit až pod nos s ClearCurve nijak nesouvisející článek o naprosto zbytečném rozhraní Thunderbolt, který se snad ani v té optické verzi neprodává.
Thunderbolt je produkt pro frikulíny, ClearCurve je enterprise produkt a ještě k tomu na úplně jiném principu. Jediné teoreticky společné věci jsou funkce přenosu dat a optické médium, jinak nic.
Až budete příště testovat nějaké diskové pole od IBM, tak tam nezapomeňte připomenout, že v principu je to vlastně úplně stejné a hlavně tam dejte ten odkaz, protože čtenář je hloupý a neumí hledat (a nebo, co kdyby si to náhodou dovolil hledat někde jinde). Pak taky navrhuji se v každém článku o HDMI zmínit taky pro jistotu o USB, protože kabel jako kabel...
Pro psaní komentářů se, prosím, přihlaste nebo registrujte.