Copyright © 1998-2024 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
Copyright © 1998-2024 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
Nabizi se teda otazka, kdyz je SAS (nebo SCSI) tak dobre, proc se nikdy neprosadilo ve spotrebni sfere? ...... no, ona je to asi spis jen recnicka otazka .... ono je totiz asi lepsi mit SAS na serveru a prodavat na chlup stejny disk 2x draz nebo 10x draz u fibre channelu .... samozrejme lepsi pro prodejce, ne kupujiciho:o)
Sám sis odpověděl. Jak chceš postavit diskové pole na čemkoliv z consumer sféry? Když maximální délka kabeláže (pokud je kabel vůbec přípustný - jako v případě PCIe nebo NVMe) je omezena na pár cm (toto není případ SAS) a stejně tak je omezen i počet přípojných míst (opět, toto není případ SASu), tedy i celková kapacita a redundance?
Ve srovnání s InfinityBand nebo Fibrechannel je řešení SAN postavené na SAS (extenderu) jednoznačně nejlevnější. Osobně tedy nevidím široko a daleko jedinou podobně výkonnou technologii, schopnou nahradit SAS za lepší peníze.
Co to je InfinityBand? Ja znam jen Infiniband...
to je takový pěkný překlep. ;-)
Tak presne jak rikam ne? Je to jenom o cene ..... z naproste vetsiny stejny HW, akorat jiny protokol, aby se mohl v "jakoze enterprise" sfere prodavat nekolikrat draz ..... realne neni duvod, aby se neprodaval jen ten lepsi/rychlejsi. Jinak hadam, ze SAS a SATA bude mit stejny dosah, kdyz pouziva stejne kabely a cim vetsi rychlost, tim budou muset byt ty kabely kratsi. Pripojne mista a redundance je opet jen SW vec (toho rozhrani).
Co se tyce dosahu, tak nevim, jestli se infiniband nebo fibrechannel pro HDD delaji i v optice, ale ono to asi nebude mit moc smysl, kdyz u tech serverovych HDD je to ke kontroleru par centimetru, cekal bych spis, ze tyhle budou mit jeste mensi moznou delku nez bezne SATA.
Osobne bych uz konecne rad videl nejake vetsi rozsireni optiky ..... treba pro pripojeni monitoru uz bylo vcera pozde .....
Protože
a) v consumer se řeší každý cent a a ony přece jenom SCSI i SAS jsou složitější a tím pádem i trochu výrobně dražší
b) ty vlastnosti co mají se v consumer nevyužijí (resp nevyužije je 99,9% uživatelů) a protože se nevyužijí, tak bod a)
Skoro mám dojem, že v roce 2019 si to budou moci nacpat leda tak do zadku. Včera bylo pozdě, už SAS3 je výrobci víceméně ignorováno, přišlo příliš pozdě.
Protože pro "cold-storage" stačí SAS2, pro cokoliv jiného, rychlejšího, je dnes standard NVMe na U.2 nebo přímo PCIe karty. Vyvinul se i nový úložný software, klasický RAID5, 6, ... je mrtev. Dnes se používá ZFS, Ceph, ... a nové objektové úložné platformy, vymyšlené pro cloud. Clusterové filesystémy. Distribuovaná úložiště. ...
Fyzicky se dnes úložiště dělají jinak - skládáním z celých serverů, takže počet PCIe není limitující faktor. Nastupují vysokokapacitní SSD. Hyperkonvergovaná řešení, vše v jednom. Softwarově definovaná úložiště.
Simplivity, VSAN, ... tam už žádný SAS3, SAS4 není potřeba. Stojany plné diskových boxů se SAS expandéry a dedikovaných diskových polí jsou minulostí.
Tak to si určitě nemyslím, ještě stále dnes existují aplikace, kde nedává smysl nakoupit pár desítek TB SSD úložného prostoru na živá data - a nejedná se o coldstorage.
Jasne, ze to tak nieje. Male a stredne firmy pouzivaju a budu stale pouzivat klasicke servery s internym uloziskom so SAS diskami. SAS stale staci na mnohe pouzitia.
Samozřejmě. Oponuješ něčemu, co netvrdím.
Jasně, pro malou instalaci - do stovky disků - není jiná možnost než SAS2/3. Ale to stačí, protože kdo by dával SSD do externí bedny, když to nacpe přímo do stroje ? A HDD vyšší rychlost než nabízí SAS3 nepotřebují.
Malé instalace často použijí laciné SATA disky, třeba i SSD. 2U servery mají 24x direct attach 2.5" disky, k tomu stačí 3x laciné 8-port HBA a nad tím pustit ZFS. Velké disky se dají dát do externí bedny přes expandér a tam úplně stačí připojení SAS3 s 4x 12Gbit/s. Někdy i SAS2, když je disků méně.
Rychlejší SAS není potřeba, to je přesně - a nic více - co jsem měl na mysli.
Ok, s tím souhlasím, až na jednu věc - v okamžiku, kdy si připojíš nějaký "větší menší" SAN pomocí něčeho jako SFF-8088, pak právě toto spojení může být úzkým hrdlem, protože velké pole může se svou velikostí navyšovat IOPS fronty (což u SAN připojeného k více strojům bude nejspíše nejdůležitější parametr) i absolutní throughput a teoreticky obsáhnout libovolně rychlé rozhraní.
SAN se nepřipojuje přes SAS, tedy ne přes SFF-8088. To je rozhraní určené na DAS (Direct Attached Storage). Motáš dohromady SAN a DAS. SAN je síť (Storage Area Network), používají se technologie ethernet, FC, Infiniband. SAN předpokládá nějaké přepínání, tedy switche. Zoning. Obchozí cesty. Skládání přenosového pásma. Multipath. Failover. Uzamykání přístupu. Konkurenci.
Na hraně SAN/DAS jsou právě ty SAS2 switche, o kterých píši dole, ale to jsi určitě neměl na mysli.
Napsal jsi to poněkud zmateně. "velké pole může se svou velikostí navyšovat IOPS fronty" ? IOPS znamená "Input/Output per Second". Domýšlím se, co jsi tím tedy myslel: asi to, že větší pole s více disky má vyšší požadavky na průchodnost připojení. Proč do toho pleteš IOPS je záhada. HDD má stěží 200 IOPS a SAS2 tím rozhodně omezen není - ani když v jedné bedně je třeba 45 disků (nejčastější 4U velké bedny). Co je omezené, je přenosová rychlost, tam ano, to je problém.
Při SAS2 má SFF-8087/8088 (4 kanály po 6Gbit/s) průchodnost 24Gbit/s. To je relativně málo, stačí to cca pro 4x SSD (cca 500MB/s), 8-10 rychlých 15k disků (cca 200-250 MB/s), 12-16 velkých disků - jinak to začne být omezováno, při současném přístupu. Proto se externí bedny často připojují dvěma spoji, stará se o to expandér nebo RAID řadič v té externí bedně. Případně je možné mít všechno dvakrát, a disky mít dvouportové - pak se u některých lepších konfigurací dají SAS2 porty disku spojit do "wide" portu, případně se to používá na failover, kdy půlka portu vede k jinému řadiči nebo dokonce do jiného serveru.
Jinými slovy, SAS2 je tak říkajíc na hranici, protože třeba 4U bedna na 45 velkých disků se musí připojit 4x SFF-8088, aby rozhraní neomezovalo průchodnost. Nebo s tím prostě počítat, že při vysoké zátěži rychlost klesne. Problém je to při resolvingu softwerových polí, pokud jde pouze o expandér (a ZFS například). RAID pole tohle dělá vnitřně, tam to problém není. Musí se to zkrátka dimenzovat podle průchodnosti.
V tom člověku vytrhne trn z paty SAS3, které má 12Gbit/s na kanál, takže 4-kanálové připojení má 48Gbit/s.
Bohužel, mnoho dodavatelů ještě SAS3 pole ani expandéry nedělá. A mají i problém s firmware, takže připojit pomocí SAS3 přípoje do bedny SAS2 disky může být problém. Nebo SATA3, přes ten SATA Tunneling protocol.
Chce to pečlivě prozkoumat, co o tom dodavatel píše, protože si lze snadno naběhnout na vidle.
Rychlejší SAS - onen 24Gbit/s na kanál - by sice byl fajn, ale v praxi není potřeba. Protože tam to pak zase naráží na spolehlivost a další věci - nemá moc smysl mít třeba čtyři externí bedny řetězově propojené za sebou, na jednom řadiči mít navěšeno stovky a tisíce disků. Takhle to nikdo léta nedělá, z mnoha důvodů.
Ostatně, proto se i ten SAS3 rozjíždí tak pomalu - je to potřeba jen někdy.
Tím, že SAS jeho vlastník uzavřel, dochází k mnoha problémům napříč dodavateli. Takže třeba Dell pole běží přes IBM (branded LSI, ovšem s firmware od IBM) HBA blbě. Nebo vůbec. Jediné oficiálně heterogenní řadiče dělá přímo LSI, ty by měly umět všechno. Jak píši dole, s těmi "tajnými" hesly. S příslušným softem se to pak dá změnit.
Jenže třeba takový Dell Powervault MD3420/MD3820 (mám pocit, že stejné řešení prodává i Lenovo a HP, protože to je OEM LSI) podporuje jak multipath, tak zoning, tak připojení více hostitelů. A pro menší aplikace (typicky základní licenci vSphere s limitním počtem procesorů a instancí) je to řešení více než použitelné a zároveň relativně levné. Navíc právě v takovém modelu dává nový standard smysl.
Samozřejmě že problémy s nekompatibilitou existují, ale soudím, že dnes už prakticky všichni nakupují jednu značku, pokud to má spolu fungovat.
To, co popisuješ, se hodí pro extra velká pole. Pro malá pole (v řádu jen desítek TiB), kde je potřeba výkon, s ceph apod. nepochodíš, protože je na tom výkonově strašně mizerně. Buď si tedy člověk poskládá dvě výkonná pole a bude mezi nimi dělat nějaký sync/HA, nebo bude muset použít o mnoho více polí (místo dvou třeba 10), aby nad nimi mohl mít ceph se stejným výkonem. Vyjde to tedy ve finále dráž + je potřeba větší zázemí (větší prostor, výkonnější klimu, výkonnější ups apod.). Ano, s Ceph člověk dostane velký cluster, který nevyřadí ani pád jedné lokality, ale pro spoustu firem je to zbytečně obří/nerentabilní řešení.
Zdar Max
Psal jsem obecně o jiných paradigmatech ukládání než je klasický RAID5, 6, 50, 60. Třeba o ZFS, clusterových filesystémech. Ceph je jednom jedna z možností, navíc "poněkud divná", mnoho lidí to dosud nezná, je to příliš nové. Není pravda, že je Ceph na tom "výkonově mizerně", naopak, výkonově je to právě poměrně neomezené, jen to chce svoje. Je to drahé, protože to má vysokou redundanci a vyžaduje to několikanásobek zamýšlené užitečné kapacity. A síť mezi servery s vysokou rychlostí a minimální latencí - ideálně InfiniBand.
Možností je spousta, například LustreFS nad ZFS, off-line sync nad ZFS poli třeba každých 5 minut - to na mnoho aplikací zcela vyhoví, až po on-line HA jako nabízí například Nexenta s pomocí RSF-1. A to není všechno, rozmáhají se i úložiště s bezpečností udělanou na aplikační úrovni, například RDBMS systémy. Klasická disková pole se přestávají používat, mimo minimálních instalací.
Ceph má hlavně význam pro cloudové aplikace, kde jeho výhody převažují nad nevýhodami. Jedná se samozřejmě o velké instalace, převážně. Dalším paradigmatem pro ukládání velkých dat jsou pak věci kolem BigData aplikací, celá "zoo" kolem Hadoopu.
Proti rychlosti zamýšleného SAS4 - nebo jak se to bude jmenovat - nic nemám, jen říkám, že to přijde dost pozdě. Už dnes se nedostatečná rychlost SAS2 a nedostatečná nabídka SAS3 - nebo předražená - obchází jiným způsobem.
Všude se začínají používat ona "hyperkonvergovaná" řešení, jako je třeba Simplivity. Disky jsou rozděleny mezi hypervizor servery a virtuální SAN z toho dělá až software. Má to výhodu hlavně ve snadném škálování, protože s počtem serverů roste také kapacita a výkon úložiště. V takovém případě není nic rychlejšího než SAS2/3 ani potřeba, protože HDD vyšší rychlost zkrátka nevyužijí a SSD jsou připojeny přímo na PCIe. PCIe portů je v mašinách dost, pro větší kapacity disků se z tohoto důvodu začaly hodně používat 4-soketové stroje s E5-4600, cenově to vychází téměř stejně jako 2-soket servery s E5-2600 - a má to 2x více PCIe na server.
Když se podíváš na nabídku, ani SAS3 se ještě úplně "nechytil", stále nejsou v prodeji diskové boxy se SAS3 expandéry, nabídka disků je mizivá, kabeláž je pouze značková a drahá, ... prostě průmysl to dosud plně neakceptoval, ačkoliv to je staré už přes dva roky.
Důvod je nabíledni - téměř nikdo to už nepotřebuje. Nepochybuji o tom, že v roce 2019 budou HDD pouze na "cold-storage" a archivace, všechno ostatní použití nahradí velká SSD. Postupně se to bude dostávat z dnešního Tier-1 i mezi "sprostý lid" do menších až malých instalací.
Musím říci: škoda. Protože SAS zdaleka nevyužil možností, které měl. Třeba SAS2 switche - použil jsem to v několika větších instalacích - byl výborný koncept, který zapadl. Přitom to umí poměrně hodně, v mnoha věcech to nahradí předražený FC fabric, umí to i zóny, multipath a další věci.
SAS zatloukl do hrobu jeho vlastník, LSI. Neuvolnili to, měli ohromné chyby ve firmware, nepublikovali interní algoritmy protokolu a řadičů, syslí se o hesla k nastavení. Například k nastavení zón SAS2 switchů je tutné heslo - to zní "lynx" - ale sděluje se jen "partnerům". Nebo ještě je "velké tajemství" pro heslo na nastavení RAID řadičů a HBA - to "znají" jen výrobci a smluvní partneři - IBM, DELL, ... Po dlouhých obstrukcích ho konečně někdo propasíroval na net, zní "0123456789ABCDEF". Bez toho je údajná heterogenita SASu jen pohádkou - firmy mají zamknuté řadiče disků a RAID/HBA aby si lidé nemohli kupovat retail disky.
Domnívám se že za pár měsíců, nejpozději příští rok výrobce a světový leader SSD disků firma Intel narazí na hranici fyzikálních zákonů, tak jako firma AMD se svými CPU a rychlosti disků se zastaví na ještě použitelné maximální možné frekvenci a budeme svědky zrodu nové technologie RAIDových polí kdy se budou disky zapojovat paralerně aby se dosáhlo vyšších rychlostí. Celkem nuda dnes vládne v diskových novinkách.
Pro psaní komentářů se, prosím, přihlaste nebo registrujte.