Copyright © 1998-2024 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
Copyright © 1998-2024 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
Docela mě zaujala ta grafika Aspeed o které jsem nikdy neslyšel. Do serveru stačí, tak proč ne :)
Zrovna tenhle týdne jsme řešili problém s upgradem firmwarů na jednom vmware serveru. A když jsem pročítal logy, zjistil jsem, že ten server má grafiku Matrox G200 !!! Grafiku z roku 1998 !
Aspeed bejva kvuli tomu ze to pak umi vzdalenej monak, nemyslim RDP ale web portal na kterem je management, remote monitor (vcetne biosu), moznost zapnout vypnout, nekdy i virtualni cdrom .... kdo zna DRAC od della nebo HP ilo ...
Zkratka je to deska do levneho serveriku postav si v male firme sam
Té dálkové správě se říká IPMI (Intelligent Platform Management Interface, dnes v.2), je na to norma. Nebo Remote KVM, nepřesný název.
U Dellu tomu říkají DRAC, u HP iLo, u SuperMicro IPMI :-)
Má to dedikovaný jeden 1GbE RJ45 konektor. Což na téhle desce nevidím, takže pochybuji, že to tam bude fungovat. Možná přes nějakou přídavnou kartičku, kterou výrobce dodává (tak to bývá u levnějších serverů např. od HP). Ale bacha na to, tyhle firmy chtějí za IPMI ještě zaplatit softwarovou licenci, třeba u HP to stojí asi 260 euro. Což je u laciného serveru totálně mimo mísu.
SuperMicro to má jako myslím jediný výrobce serverů přímo v ceně, nic navíc se neplatí.
to je normalni, tento tyden jsem instaloval windows 2012 R2 na novy dell server s 2x 6ti jadro xeony a mel taky matrox g200e. To bude nejaka zmensena embeeded verze matroxu g200. Ze to neumi akceleraci niceho mi nevadi, ale ze pro to neexistuje ovladac pro MS 2012 R2 je opravdu divne - hlavne ze v seznamu podporovanych os to je.
Pro ty účely bude myslím bohatě stačit vestavěný Windows driver.
Ja bych mel otazku ohledne toho 10Gbit-u/s. Pri teto konektivite sa stale uzivi metalika nebo je uz nutnosti optika? a kdyz metalika jaky typ kabelu? jeste nejake doporuceni na 10Gbit/s sitove karty do PCI-Express slotu a ceny, dekuji.
do cca 10m se daji pouzit twinax sfp+ metalicke kabely, na delsi vzdalenosti (do 300m) se pouzivaji multimode (SR) moduly a jinak na kilometry singlemode (LR).
Pokud chces propojit kroucenou dvojlinkou, tak lze pouzit cat6 ale na omezenou vzdalenost, jinak cat6a a cat7 standardne do 100m.
Sitovky napr. intel x520 (tam je stejnej cip jako v tyhle desce) nebo x540 (ty se nedelaj s sfp+ sachtama). Dal ma neco broadcom- karty prodava napr. dell a potom se daji sehnat karty od mellanoxu, coz je izraelskej vyrobce infiniband hardwaru. Nejlevnejsi sou ty mellanoxy, nedavno jsem koupil 2sachtovy na ebay za 2k/kus.
Na 10Gb se pouziva i UTP kabel.
UTP je prave ten Cat6 a Cat7 jak o se o tom pise v predchozim prispevku.
Ze to to staci na 100m to je celkem ok.
UTP cat7 se nevyrábí. Cat7 jsou pouze stíněné.
My používáme karty na chupu Intel 82599, v optice.
10 GbE může být přes optický kabel, ale i přes klasickou kroucenou dvoulinku, kde lze použít i klasické kabely cat5e nebo cat6 na vzdálenost 55 metrů nebo 37 metrů, pokud budou kabely v prostředí náchylném na přeslechy mezi páry (allien crosstalk). Na takové krátké vzdálenosti snad ani není potřeba stínění, ale určitě bude záležet na konkrétní situaci.
Jinak na vzdálenosti do 100 metrů se používá cat6a. Jen tak pro zajímavost, norma definuje i 40 GbE na cat7a kabeláži do 50 metrů a 100 GbE na vzdálenost 15 metrů. Ale řekl bych že pro to neexistuje hardware. 40 GbE se moc nerozšířil ani v optice a 100 GbE teprve nastupuje.
Do cat6a se používají klasické RJ45 konektory. Pro cat7 a výše se používají TERA, ARJ45 a GG45.
Vyšší kategorie je vždy kompatibilní s tou nižší, tzn., že pokud se ti to podaří (hlavně kvůli tloušťce drátů), tak na cat 7 můžeš nacvaknout cat6 konektor a pojede to (jen to nebude podle normy).
A samozřejmě, že třeba na cat7a kabelu můžeš provozovat klasický 1 GbE na obyčejném 1 GbE hardwaru. Konektory ARJ45 HD a GG45 jsou částečně kompatibilní s RJ45.
Na této Gigabyte desce je pouze FSP+ konektor. Do něj se musí dokoupit SFP+ modul a teprve do něj se zapojí optické kabely.
U SFP (maximální rychlost 1 Gb/s) se dělaly i moduly, které měly na druhé straně obyčejný RJ45 konektor. Nevím, jestli se dělají i podobné SFP+ moduly, ale jednou určitě budou. Optika je totiž pořád moc drahá a když to jde přes metaliku.
A třetí možnost jsou tzv. SFP+ direct attach, což jsou v podstatě dva SFP+ moduly, které jsou mezi sebou napevno propojeny metalickým kabelem. Maximální vzdálenost je 15 metrů. Používá se to především na propojení switchů mezi sebou a tak podobně.
Ceny jde lehce dohledat. Zaměř se na Intel. Nabízí jednoportové a dvouportové síťovky. Jednoportová stojí cca 6 000.
10 GbE managovatelné switche dělá Netgear a za 12 portový dáš cca 40 000.
Hledej "network card 10 gbe rj45", popřípadě místo "rj45" piš "copper" a místo "network card" můžeš psát "NIC".
Jsou 3 typy 10Gb Ethernetu. Karty s CX4 metalikou, s 10GBaseT metalikou, s SFP+ šachtou.
Nejlevnější je SFP+ nebo CX4, podle toho co se povede sehnat.
SFP+ se propojuje podle vloženého SFP+ transceiveru. Tedy buď DAC kabelem (Direct Attach Cable), což je metalické propojení twinax kabelem, na koncích kabelu jsou napevno transceivery do SFP+. Maxímální délka 10m.
Nebo multimode optickým transceiverem (multimode, SR - short range), do 300m. Nebo singlemode, 2 km (je možno použít opakovače nebo lepší model transceiverů a optiky - stovky a tisíce km; LR - long range).
Jo a bacha na to, některé karty nechodí s některými transceivery, ovladač vyžaduje jen určité typy. Ty nejdražší, samozřejmě :-)
CX4 je konektor zděděný z Infinibandu/SAS, paralelní, metalika jsou twinax kabely do 10m. Označované jako CX4-CX4. Existují i aktivní kabely pro větší vzdálenost nebo transceivery do optiky. Ačkoliv to vypadá jako Infiniband SDR/DDR kabel, má to širší frekvenční pásmo, takže IB kabely na CX4 ethernet nejdou použít (opačně to jde).
Poslední možnost je 10GBaseT. Na velmi krátké vzdálenosti jede i CAT6 (ale bez záruky), CAT6A do 55m, CAT7 100m. Nevýhoda 10GBaseT je velká výkonová ztráta, závisí na délce propoje. Staré karty se většinou upečou (až 20W na linku), jsou s tím blbé zkušenosti. Novější na bázi Intel x540 nebo Broadcomu už fungují OK, ale stejně topí - asi 5-8W na linku. CAT7 má už jiné konektory než RJ45. Broadcomu bych se osobně obloukem vyhnul, jedině Intel.
Další hledisko je zpoždění/latence, nejlépe jsou na tom SFP+ optika, asi 0.2ms, pak DAC/CX4 asi 0.4-1.0ms. Nejhorší je 10GBaseT, 2.0-3.0ms. Docela to hraje roli při konvergované síti, kdy přes to jede RDMA nebo FC. Je to znát i při přenosu velkého množství malých souborů, typicky NFS.
Do serverovny je jednoznačně lepší jakýkoliv Infiniband. Konvergované sítě na Ethernetu jsou teprve na počátku, každá karta má implementované něco jiného, ovladače také nejsou příliš hererogenní. Kdežto Infiniband jede na všem přes OFED drivery, funguje to léta bez problémů.
Pokud chcete propojení jen třeba p2p mezi mašinami, levně to vyjde přes SFP+ a DAC kabel nebo přes CX4 karty.
Ale v takovém případě je ještě levnější Infiniband DDR karta z eBay, do tisíce korun, kabel pár stovek.
Switche jsou nejlevnější na 10GBaseT, dva typy od Netgearu. 8 a 12 portů (asi 25 a 40 tisíc Kč). Nemanagovatelné, ale umí VLANy, LACP a tak dále, přes WEB rozhraní. SFP+ switche jsou zatím velmi drahé, přes 100kKč.
Takže tak.
Tech 10Gb ethernetu je jaksi vice a kupodivu se vetsina pouziva (dano i historicky): http://en.wikipedia.org/wiki/10-gigabit_Ethernet
Infiniband je pouze seskupeni vyvojaru a vyrobcu, rozhodne neni zadna zaruka. Naopak se SFP+ mam velmi dobre zkusenosti a neni nutne se pidit po drahych modulech. Optika je jednoznacna volba, metalika na 10Gb je pouze z nouze cnost- a jako takove reseni docela nesmysl kvusli svym prenosovym vlastnotem na fyzicke vrstve.
Switch se 4x 10Gb SFP+ se da poresit kolem 20tis.Kc....
To může o Infinibandu říct jenom někdo, kdo to viděl z rychlíku, případně vůbec.
Je to nejvíce standardizovaná věc, která ve vysokorychlostních sítích vůbec je. Všechny karty a všichni výrobci používají stejné OFED otevřené ovladače. Iniciativa se jmenuje Open Fabric. Funguje to bez problémů napříč všemi výrobci ať karet nebo switchů. Ovladače jsou (se stejnými capabilities) na všech operačních systémech.
Což se o 10Gb Ethernetu nedá říci ani omylem. Jestli myslíte, že jo, tak si zkuste pustit třeba RoE (RDMA over Ethernet) nebo FCoE (Fibre Channel over Ethernet) mezi třeba Solarisem, Linuxem, BSD, WS 2012. Uvidíte.
Dále má IB mnoho dalších výhod, například zcela nejnižší latence (pod 0.1ms), umí tzv. "Fat Tree" - tedy že obchozí cesty jsou 100% používány (ne jenom jedna z nich jako při ethernetu spanning tree), umí se sdružovat (dáte li 2x DDR máte dvojnásobné pásmo) atd. Prostě je to profi věc pro serverovny, Ethernet je pro něco jiného.
A že není třeba se pídit po drahých SFP+ modulech, no jak kdy. Zkuste dát do Cisco switche něco laciného a pak povídejte.
S tim Infinibandem naprosty souhlas, vetsi nesmysl jsem necetl. :-)
Nejrychlejsi Oracle DB integrovany system Exadata je prave kvuli vykonu uvnitr prodratovana Infinibandem. 10Gb by byl dost uzke hrdlo.
Přesně tak.
Poslední dobou se používá ještě nadstavba, od Mellanoxu (od jiného výrobce jsem to neviděl, ale prý to existuje) a sice VPI - Virtual Protocol Interconnect. Umí to sdružovat/odbočovat kdekoliv IB SDR/DDR/QDR/FDR a 10/40Gb Ethernet. To je de-fakto dnešní standard v nových serverovnách. Používá se to ve spojení s SDN, tedy Software Defined Networks (ne strukturní digitální hierarchie, to je stejná zkratka z telekomunikací).
Karty VPI - ConnectX3. Verze VPI, IB, 10/40GbE.
I Ethernet jde agregovat (LACP - 802.3ad, 802.1ax nebo Cisco proprietární PAgP), 2 agregované gigabitové porty dají 2 Gb/s kanál. Ale Infiniband bude mít lepší rozkládání zátěže mezi fyzické porty.
U latence Infiniband je zřejmě myšleno μs a ne ms.
Jinak Ethernet jde provozovat přes Infiniband.
To sice ano (agregace), ale jen celkový provoz (přehazuje se to na základě IP, portu, round-robin, ...). Takže sloučením 2x 1Gb vůbec nezískáme jeden 2Gb kanál (pro jeden přenos). To umí až síťová nebo aplikační vrstva.
(nestandardně). Kdežto Infiniband je standardně 4x linka, pokud se to znásobí, tak 8x, 12x, ... Ale běží to stále jako jeden kanál už na fyzické vrstvě. To znamená, když pošlu jeden soubor dat, tak to běží násobě rychleji.
Jo, to jsem se upsal, už jsem to zjistil. Mikrosekundy.
Přes Infiniband jde provozovat úplně všechno. Nejde přes to protlačit snad jedině piza. :-)
Běží to bez latencí a bez "interrupt storm", nezatěžuje téměř vůbec procesor atd.
Nic lepšího není.
Těch technik je strašně moc. Nejprimitivnější je taková, že druhá linka se využije až při úplném vytížení první.
Skutečné rozdělování zátěže +/- rovnoměrně mezi linky funguje i na nižších vrstvách než L3.
Funguje to tak, že rámce se posílají na virtuální kanál složený ze dvou fyzických portů. Z logického kanálu je pak zátěž rozkládána do oněch fyzických portů. Switch nebo síťovka ty fyzické porty defacto nevidí a neoperují přímo s ní. Rámce předávají přes mezivrstvu.
Pokud by se o to starala síťová nebo dokonce nějaká vyšší vrstva, tak by to hrozně zdržovalo. Hardwarově se typicky realizuje jen do L2. Cokoli nad je typicky řešeno softwarově.
LACP jede i na L2 switchích, které vůbec do vyšších vrstev nehrabou.
Jj, Infiniband je fajn. Hlavně nejsou takové problémy s ovladačema jako u FC.
Ani Ethernet nemusí moc vytěžovat procesor pokud jede dobře TOE.
S tím LACP nebo PgAp (Cisco) to je fakt. Ale tohle i ten Etherchannel atd. mezi switchi funguje na principu jeden paket tudy, druhy jinudy. Takže když udělám přenos jednoho souboru, tak to pořád běží jen rychlostí jedné linky (protože to prohazování je typicky dělané na bázi IP source/IP destination nebo na bázi portů - a ty jsou po dobu přenosu stejné, tudíž to pořád běží stejnou cestou). Takže pro jeden jednotlivý přenos to rychlost nezvedne.
V souhrnu samozřejmě ano.
To samé se týká redundance, když mám dvě cesty, tak to můžu nastavit že jedna skupina VLAN pojede jednou cestou, druhá druhou, takže vytížím i redundantní cesty - ale pořád to nezvýší rychlost (pro jednotlivé přenosy) na dvojnásobek. Kdežto u Infinibandu ano.
No nevím. Jeden rámec to pošle jednou cestou, to je fakt. Ani to jinak nejde. Ale druhý už může poslat druhou trasou.
Load balancing si řídí vnitřní logika toho zařízení bez ohledu na nějaké Ethernetový protokoly. Zařízení si myslí, že komunikuje přímo přes ten kanál. Nevidí samotné fyzické porty.
Až budu mít možnost, tak to schválně otestuju mezi dvěma stroji s dvěma adaptéry.
Laciny modul do Cisca klidne... byl bych diletant, kdybych jim za STEJNY modul s nalepkou "Cisco" daval 5x vyssi castku!
Každý transceiver má svoje typové ID. Je v tom nějaký jednočip a "mluví" to s kartou, asi po I2C nebo po něčem takovém. Některé ovladače karet mají taxativně vyjmenované ID transceiverů, se kterými jedou. Zbytek má smůlu. U Cisca to platilo také, záleží na verzi IOSu. Novější už to neomezují nebo tam jsou všechny běžnější výrobci zapsaní. Ale pak jde ještě o support, když tam máte něco co není od nich nebo nemají na kompatibility seznamu, tak se na to pak vykašlou. Stejně se chová IBM, HP, Dell.
no treba "Alternativo" vyrabi SFP moduly a znaci je, pro jakeho vyrobce switchu jsou urcene. Ty pak komunikuji se switchem, jako by to byly originaly (bodejt by ne, kdyz je pres noc mydli stejna fabrika) :-)
Funguji bez problemu, cena desetinova...
:-)
Člověk musí vědět co koupit. Záměnné to není, i když by mělo. Na některé karty (tedy na ovladače) existují i patche, které tu typovou kontrolu vypnou. A stačí se podívat do C zdrojáků pro otevřené ovladače, tam to je také uvedené.
Jo a kromě toho, u některých těch transceiverů se to ID dá flešnout podle potřeby :-)
Neřekl bych, že je metalika z nouze ctnost. Byly doby, kdy byla jediná možnost jak provozovat 1 GbE právě optika a dnes už nikoho (vyjma speciálních případů) ani nenapadne dávat na rozvody ke koncovým zařízením optiku.
Stejně to bude s 10 GbE.
Problém optiky je to, že je drahá a hůř se instaluje. Pro metaliku nejsou potřeba optické svářečky a i ten 10 GbE jde namontovat s běžným nářadím za pár stovek.
Osobně bych neviděl v 10 GbE na matalice velký problém.
double post
10 GbE jde už na cat5e a se zárukou (respektive, je to podle normy). Cat 6a zvládne 10 GbE na 100 metrů.
Ty switche od Netgearu jsou managovatelné.
A u latencí bylo místo ms spíše myšleno μm, ne?
Přesně tak, další chybka.
Samozřejmě mikrosekundy.
To s CAT5e píšu dole, záleží na výrobci.
Levné switche od Netgearu nejsou managovatelné v tom smyslu, že by měly IOS nebo něco podobného. Jen WEB interface. Možnosti nastavení jsou dost omezené, ale to základní tam jde.
No tak nějaký OS mít musí. :)
Však spousta HP switchů je managovatelných a mají jen Webové rozhraní. Podle mě nezáleží na způsobu managementu, jestli přes CLI nebo přes web. Podporuje to VLAN, podporuje to QoS, atd... je to managovatelný switch.
Sám netgear o tom mluví jako o "Přepínače řiditelné prostřednictvím PC utility".
Jo, Netgear to vede ve zvláštní kategorii. Neříká tomu "managed switch". Tak asi ví proč.
Já teda beru jakýkoli switch s VLAN jako managovatelný. Jak jinak si potom tu managovatelnost představit než jako konfiguraci VLAN, ACL, QoS, port security a tak podobně.
Je fakt, že tyhle základní věci většinou stačí. Jako přístupový switch pro pár náročných klientů nebo jako distribuční switch pro chudé zákazníky je to moc pěkné. Jenže jako distribuční by to mělo umět interVLAN routing (to nemá proudit do jádra), tudíž L3. A nevím, jak to nastavovat na některé ty redundantní věci. Prostě to neumí moc věcí. I ty moderní managovací/sledovací protokoly to nemá. Ale za ty peníze, co by člověk chtěl, že jo.
Na STP jsem se nedíval, ale na 100% je bude umět, jenom nevím jaké přesně (ale hádal bych, že RSTP tam bude).
Inter VLAN routing - k čemu proboha? To bys chtěl trochu moc od switche od výrobce, který není zrovna na výši. Už jenom uroutovat samotných 10 Gb/s není sranda. A ty bys chtěl od malého switche několikrát víc?
V tom, že by do core switche teklo všechno nevidím problém. Bezpečnost se dá dostatečně vyřešit s pomocí ACL.
A nebo nejideálnější řešení z hlediska výkonu, aby servery měly síťovky s podporou VLAN, což jsou skoro všechny serverové karty (ono taky jde jenom o správný ovladač, že). Pak mám různé subnety, které na sebe vzájemně nevidí, ale na server se dostanou, jelikož ten komunikuje do všech VLAN. Je to jednoduché, levné a extrémně výkonné, protože nezdržuje žádné ACL ani router.
Pro větší sítě, kde to takto nejde se nasadí nějaký router externě. Stačí obětovat 1 port a zapojit to jako router-on-the-stick.
Podívej se kolik stojí Cisco jenom s blbými 1 Gb/s porty. 10 GbE switch za 40k, to je skoro zadarmo.
Vždyť píšu, co by člověk za ty peníze chtěl.
Ad. VLAN, ... to bychom asi neměli řešit tady. Když se staví větší síť, má se to dělat pořádně, jinak to pak nefunguje. Takže když už to má mít distribuční level, tak redundantně, a na L3. Nějaké router on the stick, to je z nouze ctnost a dnes rarita. VLANy až na servery, proč ne, v malých sítích se to tak dělá. Ve velkých ne, tam bývají VLANy v síti (která je pro přístup klientů, tj. core, distribuční, prístupová level) a VLAN v serverovně oddělené. Na serverech (dnes spíš virtualizačních hnízdech) se pak VLANama dělají jiné věci, především se tím řeší virtualizace sítě, jedou tam ještě soft switche (ovswitch, Nexusy V1000 atd.) atd. - je to o něčem jiném.
Jo, a to nepíšu o tom, že v serverovně se 10GbE nemusí vůbec používat. Dneska se to často jede přes IB nebo VPI. Takže na vstupu do serverovny je gateway switch, který to převede do IB (protokolově to pořád jede jako Ethernet EoIB). A v serverovně pak jede jen konvergovaná síť. Dneska IB QDR/FDR nebo dokonce VPI. Subprotokoly (Ethernet, IB, FC) jedou virtuálně v tom. Jednou to nadrátujete a pak jsou změny jenom virtuální přes konfiguraci (SDN). Servery mají jako hlavní přípojku IB nebo VPI karty. Fyzický Ethernet je tam jen pro managovací síť (nastavení, dohled) a pro IPMI - na to mají servery 1GbE porty. A celkově to vyjde dokonce levnější, protože jednak je 10GbE pořád děsně drahý, 40GbE tuplem - ten stojí prakticky stejně jako IB FDR nebo VPI. A k tomu (Ethernetu) musíte postavit ještě SAN, FC je v tomhle už mrtvé (teda dneska bohužel spíš nemrtvé - pomalé zastaralé proprietární nekompatibilní ... předražené). Že by jste použil 10GbE jako konvergovanou síť pro provoz dat i SAN, no tak to hodně štěstí - heterogenní nastavení QoS je pro zešílení a bez něj sdružit provoz nejde; kromě toho konvergované služby na Ethernetu jsou teprve na začátku, každý dodavatel podporuje jiný subset, katastrofické problémy s ovladači a implementací atd. Na IB, VPI to není problém, tam to konvergování funguje pěkně. Kromě toho, při redundanci se všechno vejde lépe do 2x 56Gb (FDR) než do 2x 10Gb - a v provozu se to navíc složí dohromady (fat tree, agregace na fyzické vrstvě). Atd atd.
V současnosti je 10Gb na konvergovaný provoz pomalé. Infiniband před kolika - 8mi lety - měl 20Gbit, a to byla z hlediska virtualizace, SAN sítí, rychlých SSD a tak dále doba koně. 10Gb je limitující faktor pro každé trochu slušné moderní diskové pole, pro SSD věci je to výsměch.
Prostě Ethernet patří na dráty ke klientům, nikam jinam.
Cisco dneska už trochu slezlo ze stromu, kolem těch cen. Běžná bývá třeba 60% sleva proti těm katalogovým.
A velké sítě jinak stejně dělat nejde. Nebavím se o nějakém home office. Nebo o firmičce s 50-ti lidmi, šmudlajícími na PC účetnictví.
Distribuční switche pouze na L2, to není nic proti ničemu. Nevidím jediný aspekt, ve kterém by to mělo být omezující, nebezpečné, horší nebo že by to dokonce nefungovalo.
Naopak L3 distribuční switche mi přijdou pro velkou síť silně omezující. Buď jsem omezený na jeden switch a nebo musím koupit nějaký modulární. Stack více klasických 1U switchů nepřipadá v případě routování v úvahu, jelikož zátěž se nerozkládá rovnoměrně a výkon směrování poskytnutý pouze jedním switchem nebude stačit.
L3 distribuční switche jsou také překážkou ve škálovatelnosti.
Ve velkých sítích se to obvykle dělá tak, že access i distribuční level je klasicky na L2 a na core je nějaký velký Nexus s routovacími moduly a nebo u bohatších firem přímo CRS router.
Infiniband jsem zatím vždycky viděl jenom pro SAN a Ethernet zvlášť. Říkal jsem si, jestli se někde používá i Ethernet přes IB a jestli to nemá nějaká omezení.
IB je fajn, ale má na nasazení do opravdu velkých a vytěžovaných sítí? Na rozsáhlou SAN s SSD pro databázi? Nebo na propojování HPC clusterů?
Na druhou stranu ne každý potřebuje pro SAN vychytávky IB. A leckde bude bohatě stačit Ethernet.
Ethernet jde i jinam než ke klientům, jen musí umět plánovat. :) A funguje to i tak dobře.
Nevím jak moc se kolem toho pohybuješ, ale za katalogové ceny skoro nikdo nenakupuje (jen ty malé firmy). A to neplatí jen pro Cisco. Divil by ses, kolik stojí licence třeba na Windows, když je dobrá smlouva. Jde vyjednat i to, že platíš paušál a můžeš si instalovat, co chceš.
Mimochodem, ten příklad, co jsem dával bylo bráno z HP switchů a samozřejmě za gold partner ceny.
Ale i tak jsou poměry mezi optickými a metalickými switchi +/- stejné i při MO cenách.
Optické switche jsou klidně i o dvojnásobek dražší. Minimálně o několik desítek nebo jednotek procent a to nepočítám SFP moduly.
Stackovat distribuční level ? Proboha, co to stavíš za síť ? Že by čínský kampus s milionem študáků ?
Zatím vždy mi na distribuci těch 48 portů stačilo. Stacky se dělají až v access level.
:-)
To mě fakt pobavilo.
Právě že je tam plno důvodů, proč se distribuce dělá na L3. Všechny multicast nebo telefonní audio video nesmysly. Dense mode, sparse mode, znáš to ? Je tam plno věcí, čím se dá celá síť ucpat. Broadcast domény se musí dělit na snesitelnou velikost, proto se to seká na VLANy a ty se pak routují už na distribučním levelu. Nesmí to přelézat do core, to by jedna věc (blbé nastavení) mohla shodit celou síť; nebo by core routing musel být mnohem více dimenzován, což by se zase cenově nevyplatilo.
BTW, to je dneska mor, Cisco se dost transformovalo tímhle směrem (integrace telekomunikačních sítí, VoIP, IPTV atd).
Na core se pak dělá nějaký vyspělý routing, směrem ven třeba. VPNky, DMZ, zabezpečení a všechny tyhle věci.
Tam je většinou nějaký velký Nexus (v HA) a k němu plno modulů.
No nic, vidím, že to neděláš, nevíš ani jak funguje agregace, tak to nemá smysl pitvat. Mysli si, co chceš, třeba si stackuj v L2 distribuční switche.
A pak tam dej ten "router on the stick", hehehehe.
Nic ve zlém, jen mě to fakt pobavilo.
Doporučuji utratit pár korun (nebo stáhnout zadara) Cisco Switching Guide a dovzdělat se.
:-)
Co se týče IB, tak tady v ČR je to asi tak sto let za vopicema. 10GbE je pro mnoho lidí nový vynález na připojení serverů. No proč ne, pro maličkou serverovnu to stačí. Když to sleze cenově na SMB hranici, bude to všude.
Určitě je to proti 1Gb pokrok.
Na opravdu zatížené a výkonné řešení je IB vlastně ta jediná možnost. Hodně se ještě používá to VPI, protože to umožňuje snadnou integraci s ethernetem - 10/40 Gb, nejen protokolově, ale i fyzicky. To je dané spíš tím, co výrobci nabízejí, nutností integrovat starší technologii (10GbE je tady už nějaký ten pátek).
HPC clustery, BigData (třeba Hadoop platformy), distribuované fileservery (Lustre FS, Ceph,...), velké databázové systémy, virtualizační clustery, ... se jinak než na IB skoro nedělají. Ono to taky jinak nejde - 10Gb je málo. Alespoň těch 40Gb - to už Ethernet umí také, ale IB jde agregovat na fyzické úrovni a umí ty fat stromy - to je esenciální výhoda. A IB FDR jede na 56Gb.
Když se dělá něco úplně nového, tak se to často natáhne jen přes IB FDR (dvojitě kvůli redundanci) a je hotovo. Všechno v tom se pak dělá jen nastavením, včetně ethernetu. Směrem ven mají IB switche gateway porty do 10/40 Gb Ethernetu, tím se připojuje serverovna do světa.
Výrobci serverů dneska dělají IB nebo VPI karty integrované na deskách.
Je to běžné.
Zkrátka všechna výkonná řešení, ten Tier0, se staví na Infinibandu. Tier1 částečně, 2 úplně na ethernetu, protože v zákaznících ještě dožívá dojem, že IB je nějaká super předražená technologie, zatímco ethernet je levný.
Takže neříkám, že se 10GbE nepoužívá, jenom že to má své omezení a musí se to správně navrhovat.
Typický problém co vidím pořád je, že se propojí do jedné sítě SAN a datový provoz a pak se všichni diví, že to nechodí dobře. Například že server jede iSCSI a provoz po jediném 10GbE portu - pak úspěch závisí na nastavení QoS a to většina lidí neumí správně udělat. A v heterogenním prostředí (minimálně musí být nastaven server, switche, SAN) to je složité. Když se to dedikuje (více nezávislých sítí) tak to zase stojí 2x tolik. Minimálně se použijí dva 10GbE porty v serverech, jeden na provoz, druhý na SAN, jenže pak tam zase není redundance ...
Infiniband je skvělý na integraci SAN sítí, kde se používala dlouhá léta FC technologie, která je velmi předražená a závislá na extenzích výrobců. Třeba EMC za 50 milionů (3 roky stará) se dneska dá nahradit řešením (s IB) za 5-10 milionů na bázi otevřených technologií s vyšším výkonem a spolehlivostí. V menším rozsahu to platí také.
Ohledně cen, na to snad nemá cenu reagovat. Cisco byla jedna z firem, která vzdorovala se "slevami" pro enterprise (tj. prodávat za třeba 20% - 40% katalogových cen) nejdéle. Zatímco třeba Dell dával 60% slevu na téměř každou zakázku, každé firmičce, kde prodal víc než pár serverů (touhle cenovou politikou se prodral do enterprise segmentu, do té doby jen mastil PC a notesy). To už Sun (dneska Oracle) byl vstřícnější, tedy proti Ciscu. Ale nemluvím o akademické sféře, tam to běží úplně jinak.
No nic.
Začalo to deskou s 10GbE. Snad se to časem dostane na všechny mainboardy, protože 1Gb je skutečně už z minulého století.
No třeba když je síť opravdu velká a nebo když jsou jenom dvě úrovně - core + (access a distribuční dohromady).
VoIP a video-kraviny jednoznačné do samostatné VLAN a pro tu mít ideálně v serverovně zvlášť vyhrazený router nebo routovací modul.
Směrováním voice a video služeb už na distribučním levelu ničemu nepomůžu. Pokud je to menší síť, kde bude stačit, když budou audio a video konferenční a komunikační zařízení v jedné síti, tak je nesmysl směrovat na distribučním levelu. Mezi sebou se telefony domluví v rámci jedné sítě a směrování do Internetu se provede až na core routeru.
Pokud je to rozsáhlá síť a telefony musí být v různých sítích, tak není problém danou VLAN jednoduše propustit dál a nechat routeru, ať se stará.
Z hlediska obecných pravidel a zvyklostí o směrovacích politikách je nesmysl, aby se vytěžovala tato větev zcela asymetricky.
Při datové špičce pak jedna větev nebude stíhat a druhá se bude flákat. Proto je lepší mít silný core router, kde je dobrá škálovatelnost. Alespoň ve velkých sítích se to tak dělá.
Sorry, ale dostal ses k jiné síti, než u nějaké malé firmičky? Vymýšlel jsi někdy routovací politiku? Spolupracoval jsi někdy na návrhu sítě?
Pořád nevidím problém v tom, kdy bude routing zajišťovat až core? Argument, že stačí jedno chybné nastavení a nejde celá síť je dost směšný.
To se k tomu holt nesmí pouštět lidi, co to neumí a nebo nedělat konfiguraci metodou pokus-omyl.
Nehledě na to, že třeba takovým blbým nastavením autonomního systému, byť pouze na distribučním levelu, si taky spolehlivě odstavím síť.
Škálování na core funguje dobře. Jak chceš vymýšlet škálování na distribučním levelu? To ti prostě nepůjde. Tam nemáš jak. Nemůžeš přikoupit směrovací modul. A řekni mi, jak pak budeš pokrývat výkonnostní špičky? Jak budeš reagovat na rozšiřování sítě? Jak budeš reagovat na nové požadavky kladené na síť? Vyhodíš starý HW? Nebo budeš budovat novou větev?
Ad agregace: Myslel jsem, že už jsme to vyřešili, ale OK, klidně se tím budeme zabývat dál. Tak předně musím opravit jednu tvou chybu, kterou jsem předtím nechal být, ale ta informace má zásadní vliv.
Mluvili jsme o switchích a L2 a ty jsi do toho začal plést pakety, i když na L2 jsou rámce. To ti řekne každý středoškolák.
Mám pocit, že si to pleteš s load balancingem při směrování.
LAG umožňuje odesílání v rámci jedné session jenom jedním portem. Byl by docela problém, kdyby rámce dorazily zpřeházené. A s tím si neporadí ani vyšší vrstvy, jak píšeš. Ani tam nesmí dorazit pakety zpřeházené. To jsou znalosti, odhadem tak informatiky 1. ročníku SŠ.
Jinak může být zátěž rozdělována jak je libo, jen se musí dodržet pravidlo integrity session.
A stejný problém bude i u Ethernetu přes Infiniband.
Nejpokročilejší síťové mechanismy pro rozdělování zátěže využívají pro výběr trasy 3bitový hash. Tam je akorát problém s tím, že jen určité počty linek jsou efektivní. U 8bitového hashe tento problém odpadá.
Poslední dobou je strašně moderní nadávat na zapojení router-on-the-stick. Ale ono to funguje! Sice mi klesne kapacita linky na polovinu, ale kolik reálně uroutuju? A zlomky rychlostí z gigabitu na spoustu věcí budou s přehledem stačit. Někdy je potřeba šetřit porty, protože jiná možnost není.
Pro velké sítě to není, ale své místo to má. Chtělo by to se zamyslet a ne se, s prominutím, jak ignorant vysmívat. Pokud si je provozovatel vědom omezení, které z toho plynou, nevadí mu a nemá jinou možnost, tak proč to nepoužít.
Samotný Ethernet může stačit i pro velkou serverovnu, záleží, co se tam dělá, že?
Teorii kolem IB máš zmáklou perfektně, ale pak se každý velký teoretik diví, když přijde do praxe. Pak ze snu o špičkově vybavené síti rychle vystřízliví a nasazení IB se smrskne jen na kritické systémy, kde je opravdu potřeba.
Pro spoustu podniků je těch pár procent navíc užitné hodnoty k ničemu, když by musely zaplatit velké sumy za IB.
A ne, opravdu nebudou kupovat IB z ebay, jak tu propaguješ. :)
Opravdu velké BD clustery a HPC clustery si většinou staví na proprietární propojovací logice. Sám Cray říkal, že není problém poskládat superpočítač, ale největší problém je celou mašinu efektivně propojit. Nebo něco v tom smyslu.
Jenomže Dell většinou chodí i do menších zakázek sám, tak si to může dovolit. Cisco chodí do menších zakázek přes prostředníka.
OT: Poslední dobou se mi Dell líbí čím dál víc. Podpora je dost na úrovni a když jsi měl u Kapsche známého technika, tak vyměňoval i daleko nad rámec záruky. :) Uvidíme jaké budou dlouhodobé zkušenosti s novou servisní firmou.
BTW: Dell teď dělá asi nejlepší Business noťasy. Lenovo v tomto segmentu se svými ThinkPady mrtvé. Značku TP úplně zničilo a HP ztrácí.
Byl bych rád, kdyby se 10 GbE dostalo i do domácností, ale hned tak to nebude. 1 GbE na spoustu věcí pořád stačí.
Každopádně, dík za pokec s někým na úrovni ohledně sítí.
Takže stackování distribučních switchů ... když je ta distribuční a přístupová úroveň tak nějak jaksi dohromady ...
jinými slovy tam žádná distribuční úroveň není... no dobře :-)
Takhle se to dělá v maličkých instalacích (routing core + L2 access). Případně se to tak dělalo ve větších sítích, před 10-ti lety, když ještě nebyly L3 switche. Dneska je switching tak nějak i routing ... s MPLS ten rozdíl zmizí úplně.
Stejně je to s tím router on the stick. To se používalo před lety. Občas se k tomu sáhne i dnes, když malá firma nemá peníze na L3 switch, ale jen jako absolutní nouzovka - ono také přeroutovat 10Gb není sranda, jako to bylo na gigabitu, to šlo bez problémů i softwarově. Samozřejmě, na malý provoz na gigabitu to absolutně stačí, to jsem nerozporoval, tam je to chytré řešení. Kromě toho dneska je Cisco L3 switch s IP Base (to na to stačí) za hubičku, relativně. Před lety to bylo něco jiného.
Tu teorii o tom, jak se má dělat VoIP a multimédia, to je moc pěkné. Jen v Ciscu na to mají o dost jiný názor. Asi mají za sebou jen ten první ročník střední školy, jak to vypadá. A nikdy žádnou větší síť jako ty nedělali.
A to sekání sítě na VLANy, aby zmenšili broadcast domény, to také dělají blbě. Sice se jim tím nestane, aby třeba 30% provozu v síti byly broadcasty a multicast bordel ... no ale podle tebe k tomu není žádný důvod. Prostě jedna VLAN na audio video a je hotovo. Zvlášní modul na routeru. Svatá prostoto. Ty jsi posledních 10 let asi spal nebo co. Ne jsi pro prostě neomalený chytrák, který o tom ví absolutně kulové a jen tak plácá. A když ho někdo přichytí za šos, tak utíká a blábolí. Jo, distribuční úroveň - stackovaná. Která je vlastně dohromady s access úrovní. No to mi stačí.
Vysvětlím ti to: už jsem to psal, ale jak je vidět, tak to nepadlo na úrodnou půdu. To L3 blbnutí na distribučním levelu se nedělá kvůli směrování, ale pro zmenšení broadcast domén. Protože jinak se celá síť může neproduktivně zahltit - říká se tomu "broadcast storm, také multicast storm". Například u multicastu jde o to, že každý zdroj pošle pakety na všechny porty a teprve když to cíl nechce a pošle odmítavé IGMP, tak to směrovač/switch zruší - tomu se říká dense mode. Existuje ještě spar
Teď na to koukám, nevyhnul jsem se chybě, sorry.
CAT6 je do 55m, ale bez záruky (protože se musí otestovat na 500MHz).
CAT6A a CAT7 do 100m.
Ne, pro 10 GbE jde použít i cat5e (na stejnou vzdálenost jako s cat 6, 55 metrů nebo 37 metrů v prostředí náchylném na AT).
A zaručené to je normou.
Máte pravdu, teď jsem se díval. Je to tak.
IB DDR kartu se 2 porty do tisícovky jsem na eBay nenašel, spíš tak kolem 2 tisíc, kabely také. Nepodělíte se ověřeným zdrojem?
Díval jsem se, ale můj ověřený zdroj už je vyprodaný. Bral jsem hodně karet IB DDR 2x port po 25 librách.
Teď jsem koukal a nejlevnější je za 33 liber. Hned ta první.
http://www.ebay.co.uk/sch/i.html?_trksid=m570.l3201&_nkw=Infiniband+DDR&...
Kabely neberte drahé, je to zbytečné. Stačí za $10-20 od žluťáka na Alibabě. Fungují. Použít můžete i ty CX4-CX4 pro 10GbE, jsou totiž ještě lepší (mají menší přeslechy a širší pásmo).
A všimněte si také toho switche. 24 portů za 240 liber, to je zadarmo. Tak se dá do serverovny postavit síť za cenu 1GbE sítě. A pro redundanci ji za tyhle peníze klidně můžete dát dvakrát. Což má díky fat-tree IB ještě tu výhodu, že to pojede celé 40Gbit.
Karty, switch skutečně dobré ceny. Kabely jsem našel i velmi levné, ale pouze odběry min. 1000 kusech, po jednotlivých ne. Jaké typy kabelů se hodí i pro vyšší rychlosti - DDR, QDR?
Ale vždyť na tom odkazu z vyhledávače ebay co jsem posílal kabely jsou. Značkové 8m tuším Dell nebo co to bylo. Asi po 12 dolarech. Ty jsou všechny po jednom.
A na žlutých serverech jsou také prodejci, co to posílají po jednom. Není problém koupit jaké délky chcete (což má význam nebrat zbytečně dlouhé, jsou to dost tlusté kablíky a nesmí se to moc ohýbat, pak není ta kola drátu za rackem kam složit - prostě není ideální dvě mašiny v racku 10cm od sebe propojovat 10m kabelem).
Ohledně typu - musí to být IB kabel pro DDR nebo ethernet kabel CX4-CX4 pro 10GbE CX4 karty. Dělají od půl metru po 10m. Delší jsou přes optiku.
QDR/FDR už jede výhradně přes optiku, QSFP transceivery, v kartách jsou šachty jak u 10Gb Ethernetu, jen jsou širší. Vlastně také existují DAC kabely přes twinaxy, ale v praxi jsem to nikdy neviděl.
55m na CAT6, 100m na CAT7
Když už, tak 55m na CAT6, ale jen po přetestování na 500MHz pásmo, což se vždycky nepovede.
Co jsem zkoušel, se zrovna nepovedlo, musela se dělat nová kabeláž.
100m na CAT6A nebo CAT7. Na krátké vzdálenosti v nezarušeném prostředí funguje i CAT5, CAT5e.
Bližší specifikace je na výrobci.
500 Mhz není nutné pro 10 GbE, kdyžtak se použije vyšší úroveň modulace. Alespoň myslím.
Také přesně nevím, naposledy jsem se kolem toho motal před vánoci a už se mi to vykouřilo z hlavy.
Vím jen, že to byl problém a dělali jsme kvůli tomu novou kabeláž. Snad problém s ovladači nebo co. Ty vyšší modulace to nepodporovalo.
10Gb vyzaduje sirku pasma 417MHz, zadna vyssi uroven modulace neexistuje. Stale to je PAM16 (gigabit byl PAM5).
Cat6 lze pouzit do 55m, i kdyz kabel je certifikovany do 200Mhz; na vyssich frekvencich ma jenom horsi prenosove vlastnosti- nekdy to muze vyhovet nekdy ne.
Jak tady kdosi zminil, musim oponovat ze optika je drazsi nez metalika; dnes metr optickeho duplexu single mode stoji polovinu co Cat6 UTP kabel; vyhody optiky jsou zrejme uz jenom ohledne zpozdeni, ruseni atd. Svarecku si lze pujcit za par set korun.... nebo vam prijedou za par set korun konektory navarit.
Ok, díka za info. Zase jsem si rozšířil obzory. :)
------
Kde ty kabely kupujete? :) MO cena kvalitního cat6 UTP Solarixu je cca 10 Kč.
Ale ono nejde jenom o samotné kabely, tam to zase není tak hrozné. Drahé jsou switche, do kterých je navíc potřeba nakoupit SFP+ moduly.
Svářečka jde půjčit, ale občas je potřeba něco honem rychle nakonektorovat.
Já jsem toho názoru, že kam jde nasadit metalika, tam se má dát. Optiku jenom na delší vzdálenosti a ve výjimečných případech.
Ne každý potřebuje minimální latence (o kolik jsou nižší na optice?) a ne všede je rušení.
Jednou se bude hodit 10 GbE i u některých koncových zařízení (počítačů, pracovních stanic) a tam není zrovna nejšťastnější nápad tahat optiku.
Výhody optiky nepopírám, ale někde bude bohatě stačit metalika. Třeba na takové propojení distribučních switchů a acces switchů ideální a plně dostačující.
Jasne, v tomto se shodneme.
10GBase-SR SFP+ modul pro multimode za 2tis.Kc, 10GBase-LR za 3300Kc MO s dani. Nejedna se o Cisco nybr elektronika je stejna, lisi se v ID, ktere lze prepsat, aby Cisco prepinac myslel, ze tam ma ten svuj drahy Cisco modul ;-) ktery vlastni nikdy Cisco nebyl, protoze Cisco moduly nevyrabi.
Singlemode kabel duplex breakout izolace kolem 5Kc, 4vlakna 8,50Kc, 8vlaken 12Kc, vse MO s dani.
Jakym zpusobem lze ID prepsat, resp. jake potrebuju zarizeni. Dik
Programátor I2C pamětí, sfp konektor a případně trochu šikovnosti, pokud je paměť zamčená.
Souhlas. Dneska dělat páteřní rozvody 10Gb přes 10GBaseT je už asi pitomost. Jsou s tím jenom potíže, karty jsou ve skutečnosti dražší (x540 2 port stojí 14 tisíc, SFP+ se dá sehnat za 4-8 tisíce). A navíc má ten 10GBaseT velký problém s teplotami (výkonová ztráta i těch nových x540 je asi 5W, záleží na délce drátu) a chlazením. Plus to má 10x větší zpoždění než optika. NEBRAT.
Asi se to časem použije jako náhrada dnešních 1Gb rozvodů pro náročnější klienty, až budou klientské karty nebo to výrobci začnou dávat přímo na desky.
Presne tak.
Však optické x520 taky dost topí. Duální x520 S 7 W, to není takový rozdíl oproti duální x540 T s 10 W. A to jsou x520 a x540 vyráběné stejným procesem.
Ale uznávám, že předchozí metalická x520 T s 20 W byla hrůza.
Také to o ceně není pravda. x520 S2 je podle ceníku Intelu o $400 dražší než x540 T2. A k tomu je nutné připočíst SFP+ transcievery.
Co se týče switchů, tak tam to bude ještě markantnější. Srovnání 10 GbE proti 10 GbE zatím není, protože fakticky jsou dostupné jen 10 GbE RJ45 Netgeary. Ale pokud se podíváme na gigabitové, tak je běžně rozdíl v ceně i dvojnásobný. A to nepočítám SFP moduly. Takže se to pak výrazně prodraží.
Ohledně latence. Ne každému to vadí. Pořád to je tak 3× menší než u gigabitu.
Nehledě na to, že 0,2 mikro s má ta nejlepší optika a 2 mikro s má průměrná metalika.
Kdyby tak byla nějaká zmíňka o desce pro procesory od AMD s PCI Express verze 3.0. V jednom článku bylo naznačení že by takové desky mohly objevit kvůli SSD pro PCI Express 3.0.
Aspoň já jsem zatím nenašel desku pro AM3+ s PCIe 3.0.
10Gb do PCIe dnes resi karty PCIe 2.0 x8, to je vic nez dostatecne (rychlosti v tabulkach jsou uvedene v bajtech ne v bitech, takze pohoda):
http://cs.wikipedia.org/wiki/PCI-Express
Mě jde o to že nejsou desky pro socket AM3+ s PCIe 3.0. To že je 10Gb síťovka která je integrovaná v desce mě netankuje jelikož jsme v ČR. I kdybychom měli sítě s optickými vlákny tak brzy je někdo ukradne (není žádnou novinkou že zloději kradou ze stožáru VVN zemnící kabely ve kterých je optika). Stejně jako koncoví domácí uživatel 10Gb v bytě aspoň v blízké budoucnosti nebude.
Takže tento článek spíš beru jako zajimavost než abych řešil jestli si síťovku s takovou rychlostí můžu koupit.
Jena poznámka jak někdo dokáže využít 10Gb/s? No s PCIe SSD toho dosáhnout jde ale s HDD klasickým ne (tedy pokud nemáte SSD a desku s M.2 nebo Sata-Express)
10 Gb/s asi není pro Internetovou přípojku do jednoho PC.
I klasické HDD by bylo při sekvenčním čtení limitováno rychlostí 1 Gb/s, natož pak RAID.
Tak ono to není na doma, že...
Když máte zařízení, které samo o sobě produkuje 80gbps surových dat, která musíte zpracovat, něco nad nimi počítat a uložit, tak je i 10Gb ethernet zoufale pomalý...
Třeba jen propojení několika strojů vedle sebe je problém.
Pro psaní komentářů se, prosím, přihlaste nebo registrujte.