Copyright © 1998-2024 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
Copyright © 1998-2024 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
"ale za cenu o několik řádů vyšší" ....... v soucastnosti presne o jeden:)
Aj jeden rad (myslene v desiatkovej sustave) je 10-nasobok. A to je z hladiska zriadovacej ceny sakramentsky dost. Firma si rozmysli ci da za storage 20 000 € (investicia do serverovych HDD), alebo 200 000 € (investicia do serverovych SSD).
Serverové SSD? Do toho bych nešel i kdybych byl šejk...
A koho to zajímá?
Pár jich provozuju a jsou OK. Až na tu cenu :-(
Ono je dost otazka, jake jsou ceny v bulk segmentu. Je dost mozne, ze ty ceny se lisi treba uz jen dvoj nebo trojnasobkem ..... ono asi jako neni duvod, proc by melo byt SSD drazsi, prave naopak, HDD je jemna mechanika, kdezto SSDcka dnes muze strikat po tunach kazdy cinan s kremikovou peci:)
Jj. půjde to rychle dolů s cenou. V některých aplikacích už se točivé disky ani nevyplatí.
Žluťák to peče v pecích skoro všude, jedna trouba SSD, z druhé koukají obalované kuří nožky k čínskému obědu.
:-)
Chytrá firma, která počítá peníze si to rozmyslí a koupí si serverové SSD. Protože IOPS.
Ale jak na co, samozřejmě. Na nějaká bulk občasná data jsou pořád zdaleka nejlepší obyčejné "near enterprise" disky, ty různé 2-4TB 3.5" Hitachi UltraStar nebo WD RE4, ... ale podmínkou je nízká zátěž.
Dneska stojí 2TB enterprise SSD, třeba SmartStorageSystems Optimus Eco pod $4000. Profi 2TB HDD vyjde na $400, ale má sto krát menší IOPS. Kromě toho žere, topí, je velký, chcípe častěji (pravda, je v umírání "hodnější", dá vědět předem, ale to se řeší redundancí stejně).
Ta poslední generace enterprise SSD už je dost odladěná, netrpí známými neduhy - nepredikovatelností například. Má stálé latence a nestane se, že by se na minutu "zamyslela", jako to dělaly SSD kdysi (do dnes dělají, ty amatérské).
U nás to samozřejmě neplatí, většinou, protože disk za 100 tisíc je pořád sci-fi pro většinu managorů. Mimo představivost. Takže pak lehnou data nebo se ucpávají servery i na lepších adresách (v lepších firmách a datacenterech). Ono totiž to udávané MTBF točivých disků platí jen do doporučeného ročního nájezdu (typicky 550TB) a ještě k tomu to nesmí být nárazové. No a většinou se to podcení, disky jedou od nevidím do nevidím co se do nich vejde a SATA pustí, to pak je MTBF klidně na desetině oficiální hodnoty.
Ekonomika pak vypadá jinak, když má disk reálnou životnost 3 měsíce místo projektované 2 roky. A "nikdo neví čím to sakra je - asi jim spadla bedna s disky z jeřábu". Tak to pokračuje třeba rok dva, než majitel usoudí, že je něco špatně, managora vykopne, zeptá se někoho, kdo o tom něco ví a koupí enterprise SSD. Pak to pět let může šlapat bez jediné chyby. Ale pořád se traduje, že serverové enterprise SSD je "drahé". Není pravda.
A to jsem se nezmínil o takové maličkosti, jako je rychlost resilveringu úložiště. U profi SSD je to minimálně 4x rychlejší (u SAS3 8x, u SAS3 dualport-wide port 16x). Normální velké točivé disky mají maximálně 150MB/s zápis, což znamená, že při resilveringu to musíte buď na pár dní odstavit nebo očekávat katastrofu. Rozumíte, problém je v tom, že kapacity zvěrsky rychle narostly na 4-6TB a rychlost se nezvýšila. Tím pádem jsou 4TB disky 4x nebezpečnější než 1TB, při obnově pole. A z tohoto důvodu ty velké disky nesmíte dávat do ničeho jiného než RAID10 (i pod ZFS), protože jinak je to téměř nemožné provozovat spolehlivě. Kdežto SSD do vyššího RAIDu dát můžete (třeba i RAIDZ-2), protože díky rychlosti to netrvá věčnost - tím pádem to vyjde celkově levněji než poměr cen jednoho disku, nemusíte mít jich mít 2x tolik na cílovou kapacitu, ale třeba jen 1.2x. Disků je tím pádem potřeba míň, tím pádem míň beden, míň řadičů, mín prostoru a míň elektriky. Když to všechno spočítáte, zjistíte, že i jen na nákup je serverové SSD jen asi 3-5x dražší, ale provozně v horizontu pěti let to je dokonce o dost levnější než HDD. Protože servis, elektřina, chlazení, místo v racku, rychlost obnovy, .... A 100x rychlejší, samozřejmě, na IOPS (i v tom nejhorším režimu).
Jo to je dost mozna fakt. Pokial to ale nedokladujes nejakymi oficialne uznavanymi testami zivotneho cyklu hardveru a celej jeho financnej narocnosti podla ITILu a neviem este coho, alebo to nevies zdovodnit tak, aby to bol dostattocny dovod aj pre interne predpisy, tak je to vsetko len teoria - napriek tomu ze to tak v skutocnosti moze byt.
Existuju institucie, ktore su neskutocne byrokraticke a ked interny predpis zakazuje cervenu ikonku vlavo hore (preto a preto - nech je to akokolvek nelogicke ci neefiktivne), tak ju tam mas nebudes.
Srovnáváte disky pro úložiště (typicky třeba pro e-mailové servery) s SSD, je vidět, že jste na téma opravdu odporník :) Zkusil bych se podívat směrem k 15k diskům, tam už to odhad snese. Aktuální kapacita 600 GB, v příští generaci pravděpodobně 900 GB a s NAND Flash cache. Jinak počet nějakých virtuálních operací v syntetice zdaleka není všechno…při rozumném využití HW např. se ZFS a kaskádovanou cache se člověk dostane se srovnatelným výkonem úplně jinam cenou i kapacitou než když tam tupě jak dement namlátí pár desítek SSD za sto litrů kus.
:-)
Arogantní expert na letování promluvil. Kolik jste těch úložišť sestavil a provozujete ? Tipnu si že ani jedno.
Jo, 15k dvouportové Seagate Savvio (máme 300GB i 600GB modely) jsou prima disky, provozuji jich dohromady asi 200. Ale také jim zvoní hrana, postupně je nahrazujeme SSD.
Na hodně zatížené mailservery se začínají používat také SSD, protože se objevily minulý rok ty 2TB a celkově to vyjde levněji a hlavně se vejde celé úložiště o několikanásobné kapacitě tam co minulá generace na točivých discích. Prostorově, výkonově. A místo trojitého zrcadla z 2TB pomalých disků, cachovaného v ZFS přes kupu SSD, stačí na stejný výkon a spolehlivost (podle spočítaného spolehlivostního modelu - i praxe) jednou zrcadlené RAIDZ2. Nehledě na servisní náklady, protože točivé disky poslední dobou mají značně nevyrovnanou spolehlivost. A MTBF samotných SSD je 2 miliony hodin proti 1.2-1.4 u točivých. V praxi je to ještě horší, po dvou letech provozu se musí HDD vyřadit (a použít na něco méně náročného), kdežto SSD drží pořád OK.
Mail není zrovna ta pravá aplikace pro pomalé disky (jak kde), má to celkem velkou zátěž. Alespoň tedy v té firmě, kde to běží, tam lidi dostávají desitky mailů s přílohami denně a sahají do toho ještě další aplikace. Maily jsou v relační databázi, konvertují se přílohy, šifrují, podepisují atd. Sahá do toho i systém na správu dokumentů, různé Sharepointy atd. Indexuje to texty. A běží na tom bloková on-line deduplikace pod ZFS, což by na točivých discích nešlo, brzy by se to useekovalo k smrti. Protože fragmentace. Díky deduplikaci stačí pětinová kapacita úložiště na celý archiv a provoz.
Celé to i s těmi "drahými" Optimus Eco disky vyšlo skoro stejně draho jako původní instalace. Hlavně díky tomu, že je tam všeho míň a deduplikaci - v mailech byla stejná příloha kolikrát i 20x.
Místo tří 2U JBOD beden na 3.5" točivé disky, a jednoho 2U serveru pro ZFS server se SSD disky pro cache tam teď v nové verzi je jen ten 2U ZFS server s 24 trays na 2.5" SSD. A místo pro 3 další 2U 2.5" JBODy.
Žere to pětinu elektriky co minulá verze. A už od vánoc to jede bez poruchy, kromě toho se to velmi zrychlilo a uživatelé si přímo rochňají blahem.
Je to přesně jak říkáš. Já sice nemám tak náročná nasazení, ale přesto se ukazovalo, jak je spolehlivost HDD zoufalá. Postupně jsem vše nahradil SSD a od té doby není jediný problém, že by odešel disk.
Disky Seagate Savvio 15k mají MTBF 2 milionu hodin, takže špatně, je to plně srovnatelné. Až pak úložné Nearline mají 1,4 milionu hodinu. Půl racku, to jste enterprise asi jak vietnamec na rohu.
Např. Seznam bude samozřejmě jistě pořizovat na miliardy e-mailů starších půl roku, které mají lidi ve schránkách a kam přistupují velmi zřídka (takže se jich dají naflákat hromady na jeden disk), SSDčka, protože přesně tady je hrozně moc potřeba ten ohromnej výkon. Jo :o) SSD použijí jen na na aktuální věci, pak pravděpodobně disky s NAND Flash cache na sobě.
Jo, Seagate Savvio jsou snad vůbec nejlepší mechanické disky, které jsou. Jenže, jsou to pořád jen točivé disky, větší IOPS než cca 400 se z toho nevyrazí.
A přes velmi vysokou spolehlivost (papírově stejnou jako enterprise SSD) nejsou nesmrtelné. Když si na ZFS úložišti pro virtualizaci (už tak dost fragmentovaném) zákazník pustil deduplikaci, začalo to odcházet docela dost. Přestože to bylo mohutně cachované pamětí i L2ARC SSDéčky. Přetížil ty Savvia v seekování. Prostě úplně všechno to také nesnese.
V jiné instalaci je máme také, něco kolem sto kusů a drží velmi spolehlivě, po prvním půlroce když jich pár odešlo se mění jeden kus ročně, v průměru. A jede to už 3 roky. Takže super, ale jak jsem psal, záleží velmi na zátěži. Máme jich ve správě po všech instalacích přes 200, jsou velmi spolehlivé, jen se od toho nesmí chtít až příliš. Ale profi SSD, ty se useekovat nedají. Točivé disky jsou také náročnější na prostředí, nesmí se přetopit a co je málo známé, ani přechladit - při 18°C odchází mnohem rychleji. Kdežto SSD, pokud nemají superkapacitor - ten odejde při teplotě nad 55°C - což ty nové nemají, těm je to víceméně jedno.
Seznam používá "tiered storage" jako každý, větší systémy se jinak dělat nedají. Takže RAM, rychlá SSD, pomalejší SSD, rychlé točivé disky, pomalé disky, (někde se ještě používají páskové knihovny nebo BR vypalovačky a changery). Přesuny dat mezi technologiemi zajišťuje buď přímo aplikace nebo nějaký tiered storage filesystém, je jich používáno několik. Má to každý výrobce, pár je jich i opensource.
A taky Seznam nepoužívá Exchange, ale normální U*IXové řešení. Exchange je mrcha, která požere jakýkoliv výkon :-)
Zrovna to úložiště pro mailserver (a dokumenty), co jsem popisoval, jsem stavěl s kolegy v jedné mnichovské nemocnici, a jak u vietnamců to tam nevypadalo. Kromě toho úložiště pro mail jsme tam dělali ještě náhradu pár let staré EMC instalace kupou ZFS serverů provázaných přes LustreFS, jako úložiště pro VDI systém. ZFS servery Nexenta, disky Optimus Ultra jako rychlá SSD, Intely DC S 3700 jako ty pomalejší. A pak 10k točivé HGST a na velká data HGST Ultrastary. Prodrátované je to samozřejmě Infinibandem QDR. Nad částí toho úložiště jede Oracle systém pro tiered storage, takže to přesouvá data mezi pomalými až ultra rychlými disky zcela samo podle používání.
Výhoda je, že přes to LustreFS se to dá libovolně škálovat dál. Přidávat další ZFS heady, zrcadlit atd. Celé je to NPOF. Zatím dva plné racky, nic extra velkého fyzicky. A opět, za zlomek ceny nové instalace od EMC. Výkonem to nahradí osm racků starého EMC úložiště. I Němci šetří.
Trochu hlupa otazka, ale rozsah teplot je pre vonkajsiu teplotu?
Pěkné, až na to, že to enterprise disk opravdu není, což je vidět na první pohled podle hodnot v tabulce.
Má to data error rate (chybovost) jedna lomeno 10 na 14-tou. A roční nájezd 180TB - to se počítá čtení i zápis dohromady.
A směšnou hodnotu MTBF - 800 tisíc hodin.
Prakticky stejné hodnoty má WD RED, což jsou 24/7 amatérské disky. Jen to MTBF má WD RED lepší a to o dost (1.2 milionu mám dojem).
Enterprise velké disky na bulk data mají chybovost 1/(10 na 15-tou nebo 16-tou). A nájezd alespoň 550 TB/rok (WD RE4 například).
A MTBF 2 miliony hodin, ty nejlepší enterprise HGST/Hitachi. Prodává je sice také WD, ale jen na americkém trhu, jinak jsou ve volném prodeji téměř nesehnatelné (jen přes "partnery").
Ta chybovost 1/10^14 je opravdu malér, je to v bitech, takže to znamená přibližně na 10TB jedna chyba. Což je třeba v RAID5,6 katastrofa téměř vždy. Stačí to rok provozovat a při resilveringu špatného disku to celé lehne. Silent errors. Pápá, data.
Proto kdo takové disky používá v normálním RAID5, 6 poli, je blázen a měl by se zajímat o bezpečnější hry, třeba ruskou ruletu.
Na takových mizerných discích a dnešních kapacitách se dá provozovat jedině ZFS nebo jiný filesystém s interní datovou integritou (některé novější a velmi drahé řadiče RAID - jenže ty obvykle vyžadují i speciální firmware v discích, mají o pár bytes větší sektory, kde je ECC samoopravný kód; nejdou do toho cpát obyčejné disky z retailu).
Jinak na domácí NASík, pokud si tam hodíte ZFS, třeba pod FreeBSD (FreeNAS nebo tak něco), je to prima disk.
Určitě i cenově bude podobný těm WD RED nebo ekvivalentu od Seagate pro NASy.
Ale s tím MTBF žádná sláva, nešel bych do toho. WD REDy mají o půlku více.
Dyť to taky dělají na technologii WD, že, ti se nikdy nechytali na skutečný high-end, však dodneška nemají ani 15k disky. Během pár let to odladí a bude to dost slušné…zatím je to dobré do všech ostatních, ne-enterprise serverů :D Jinak papír snese všechno, to znáte? Docela často byly tragické i ty WD RE4, na Red bych nesahnul klackem, WD toho nakecá, ale že jim pak všechno lehá kvantově, to už neřeknou. Ten výrobce je průser na průser.
Sám seš "průser na průser".
WD RED mají docela velkou chybovost už při nákupu. Vím že jsme kupovali cca 9 WD RED a 4 z nich byli vadné, tj vůbec se nerozjeli nebo vadná kapacita. Co se dlouhodobého pohledu týče tak s nimi mám tu nejlepší zkušenosti.
WD nikdy moc neumelo enterprise disky, ale na druhou stranu maji v poslednich letech srovnatelnou zivotnost consumer disku s Hitachi. Seagate je na tom o dost hur a to co poslednich par let predvadi s firmwarem je vyslovene hnus.
Z těch laciných 24/7 disků na bulk data máme nejlepší zkušenost s WD RED. Provozujeme je od té doby co se to objevilo a pokud přežije první měsíc (nebo se vůbec rozjede - jak píše někdo výše, také se nám stalo, že půlka krabice nefungovala) tak to běží dobře. Lepší zkušenost než s lacinými 24/7 Seagate.
Z těch near enterprise jsou nejlepší HGST/Hitachi Ultrastary, jen se blbě shánějí.
Pro psaní komentářů se, prosím, přihlaste nebo registrujte.