Copyright © 1998-2024 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
Copyright © 1998-2024 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
Mne osobne ta rychlost prekvapila nemile. Sam mam disk 250GB a ten ma prenosovou rychlost kolem 60MB/s, tedy samostatne nedosahne na plne vytizeni gigabitu. Ale v kombinaci 5 disku si myslim, ze ZFS by tech 100MB/s dat bez problemu melo. Je tam nekde zakopanej pes.
Take testovani deduplikace je dobre potrapit trochu vice, nez jen kratkym testem malym mnozstvim dat. V okamziku, kdy do toho nacpete 5x2TB disky a nahrajete nejake data, tak deduplikaci si nemuzete dovolit zapnout.
Sice to nabizi ZFS, ale pouzitim jen 4GB pameti vetsinu jeho cool ficur proste zakazali :(
ZFS je narocnejsi na procesor a taky je u nej dulezitejsi spolehlivost a integrita dat nez rychlost. Ja bych se tem rychlostem zas tak nedivil.
O tu spolehlivost jde především. Není totiž nic lepšího, než zachraňovat data třeba z nějakého superbastlu QNAS, ... prostě z těch SMB bedýnek. Nemá to ECC RAM, k chybě může dojít kdykoliv. A pokud tam je ext3, XFS, ... (ne ZFS) na RAID5, co s tím pak. Pokud se navíc používají iSCSI volumes, na tom pak někde v síti další filesystém, tak je to víceméně neřešitelné. Obvykle se to vys..e při resilveringu pole.
U takových bastlů by se měla udávat zásadní hodnota - průměrný čas do totální ztráty dat :-)
Na druhou stranu, ZFS predpoklada zalohovani a RAIDZ i hot spare.
ZFS nezarucuje bezpecnost dat (to nemuze) ale jejich dostupnost a koreknost. Na bezpecnost jsou to zalohy, treba pres send/recieve. Kdyz ti zdechne disk v RAIDZ poli a dojde k dalsimu poskozeni dat HW chybou nez ho nahradis, tak je docela slusna sance, ze se cely pole slozi. Pri rebootu ti system oznami, ze mas data obnovit ze zalohy a konec. ZFS aspon podle toho co vim nema zadny verejne dostupny offline recovery nastroje, ktery by ti pomohly zachranit aspon neco.
Tohle je velmi rozumny chovani pro enterprise servery, kde muzou poskozeny data zpusobit katastrofalni skody. Pro domaci uziti uz se to hodi o poznani min.
Pokud pro ZFS jsou dostupny nejaky rozumny recovery nastroje, tak bych o ne mel eminentni zajem a vsechno co jsem napsal nahore prosim vsichni s povzdechem o pitomcich ignorujte :-D
Rozum předpokládá zálohování, spolehlivostní matematika předpokládá hot-spare
:-)
Počujte, vy ste sa tu nejako rozkecali ako super profíci a hádžete tu riešenia ako majstri zemegule (aj tí za vami). Nejako mi unikol súvis s týmto Infortrend EonNas 500 Pro. Však tam je Atom a o nejakých ECC môžte len snívať. Ak sa potom bavíme o bezpečnosti na ZFS, ako písali tí za vami, v čom je potom toto lepšie, ako lacnejší 5 diskový Synology s RAID5 a hot-spare? Asi len pre dobrý pocit, že máte ZFS? Myslím, že ext4 bude úplne stačiť a ten Synology aj dá vyšší výkon na sieti. Samozrejme, že asi treba zabudnúť na deduplikáciu, ale pri správnom nastavení a využití sa v malej firme asi moc neušetrí a nemá zmysel nad tým uvažovať. Možno tá kompresia bude užitočnejšia a nezaťaží tak NAS, lebo procesor to hravo zvládne a ani RAM netreba zbytočne kvôli tomu navyšovať. Okrem toho mikroserver HP ProLiant stojí omnoho menej a s FreeNAS máte rovnaké riešenie, len trochu inú administráciu, ale aj plnú kontrolu nad systémom.
ZFS ma některé nezanedbatelné výhody. Komprese v reálném čase, kontrolní součty, scrub, ale i výkon - narodíl například od linuxového softwarového RAID dokáže těžit při čtení ze dvou disků v mirroru. Navíc SSC cache, ARC cache, snapshoty, které nezabírají příliš místa...o tomhle si na ext4 můžete nechat zdát a přitom to jsou funkce, které stojí za to používat. Srovnatelnou funkcionalitu přináší až BTRFS, ale tam jde vývoj pomalu a nasadit to na firemní data by mohl jen sebevrah :)
Navíc díky ZFS send/receive je případné zálohování neskutečně efektivní třeba i přes přes internet, nemluvě o online replikaci zmíněné v článku.
Alternativa FreeNAS má nevýhodu v tom, že jejich iSCSI target stojí za starou bačkoru, Comstar, který je v OpenIndianě je na zcela jiné úrovni.
V případě Infortrendu si myslím, že jeden z hlvních přínosů je právě i v tom administračním rozhraní. Ono spravovat ZFS storage pro běžného uževatele úplně jednoduché není a právě tohle se Infortrendu povedlo vyřešit moc pěkně.
Takze ono to zase takove Hi-Fi neni.
1) 1Gb/sec je 50MB/sec full duplex, na primo, nebo v jednom switchi je mozno dosahnout lepsich vysledku, v kaskade switchu, nebo kdyz masivne komunikujete obouma smery naraz, nikoliv, tohle neplati pro 100Mb ani 10Gb
2)ZFS nema opravne nastroje, kdyz se podela, smazete data jedete dal, kamaradovi se to stalo a sorry, SUN/Oracle rika, ze nastroju netreba, takze ani nebudou.
3) ZFS neumi pridavat disky do RAID-Z, pouze do plexu, tedy dalsi Raid-Z nebo mirror, kdyz pridate 1 disk, pri vypadku onoho prijdete o vsechno MUCK, tedy pro domaci potreby, kde se diky dokupuji dle potreby, naprosto k nicemu. Oracle mi muj prispevek smazal, kdyz jsem je ujistil, ze to neni normalni jak tvrdi.
4) Deduplikace ... deduplikace nikdy nebezi online, tedy pousti se deduplikacni joby ;-)) ... pokud by to nahdou ZFS fakt delal, tak je to jeste vetsi shit, nez jsme doufali ;-)
5) OpenSolaris ani indiana neni odladena pro x86, bezi tam jen tak nahodou a cele je to pomale, zabugovane a k nicemu, solaris patri na sparc a nikde jinde.
6) intel dava do tehle desek ke vsem SATA portum 1x Pcie v1 ... coz dava 250MB/sec vcetne rezie, pokud se nemylim.
######################################
7) Ja doma koupil hezky case na MicroITX desku, s 5x rameckem pro disky + 1x velka pozice, dal do toho AMD desku, ktera k tem SATA taha celkem 4 linky a linux disky SW_RAID umi RAID jak rozsirit (madam --grow) tak dokonce prevezt na jiny, treba R5 na R10, je jen treba dat dostatek spare disku. No ja zacal na R5 na 2 discich (ano jde to, min jsou 2, ne 3 disky) a az jsem potreboval, dokoupil jsem dalsi, az zase budu potrebovat, dokoupim dle potreby a rozsirim, nad tim mam LVM na ext4
XFS jsem zavrhl, nebot nemi pridavat disky do RAID-Z a BTRFS protoze de fakto nefunguje, chova se fakt divne a opravny nastroj je experimental, jako mimochodem cely tenhle FS ... hlavne nefunguje dobre nad SW_RAID, skutecne to chce ten jeho a ten umi R5 jen experimentalne.
Jo a taky tam mam 2x1Gb... na NFSv4 uz 1 LAN dost brzdila ;-)) ... v PC mam totiz SW RAID na 4 discich + 2x pro OS ...a taky 2x lan (bonding)
Izaku tywole siris blaboly kudy chodis...
1) 1Gbps je realnych cca 120 MB/s, protoze se neposilaji ta sama data tam, co zpatky, zejo. Full duplex znamena 1Gbps tam a 1 Gbps zpatky. Jinak by se tomu rikalo jak? Half-duplex! Prumerna storage masina se zfs saturuje 10Gbps sitovku.
2) ZFS nepotrebuje opravne nastroje diky zpusobu, jakym uklada data. Blize http://www.c0t0d0s0.org/archives/7565-No,-ZFS-still-doesnt-need-a-fsck.-... by me zajimalo, jak dokazal kamarad rozbit ZFS... tipuju nejaky HW smejd v ceste nebo lowcost disky, ktere reknou jj flushnuto a vono ne.
3) ZFS pridava disky tak nejak jinak nez bezne zmetky. Pokud k mirroru pridas jeden disk jako RAID0, tak se pak nediv. Rozsirovani ZFS je jakoby ten '+0' u beznych RAID.
4) zfs dela in-line deduplikaci, nechapu proc tenhle blabol o deduplikacnich jobech vsude rozsirujes. ty jsou zalezitosti netappu. blize autor zfs: https://blogs.oracle.com/bonwick/entry/zfs_dedup, resp. http://www.google.com/search?q=is+zfs+deduplication+offline (tady lidi spilaji, ze ZFS POTREBUJE offline deduplikaci)
5) opensolaris i indiana byly/jsou vyvijeny primarne pro x86, protoze v komunite se moc SPARCovych masin nenajde. jen tak pro zajimavost prekladace od sunu generuji rychlejsi x86 kod nez ty od intelu (https://blogs.oracle.com/jhenning/entry/sun_studio_trounces_intel_compiler)
6) souhlas ;)
7) jo akorat nemas zajistenou integritu dat, snapshoty delas jak u debilu, kdyz se neco podela tak pustis fsck a DOUFAS ze data budou v poradku... no, a potom uz jsou jen sama pozitiva a socialni jistoty :)
ad 2) Jenze tohle presne znamena, ze by se ZFS vubec nemelo priblizit ke spotrebnimu HW a masine, ktera nema slusnej radic a disky v rozumny kvalite. I to co se dneska prodava jako RAID nebo Cloud/NAS edition jsou spotrebni hnusy se zpackanym firmwarem kde nemuzes verit nicemu. Dokud vyrobce serveru nedokope vyrobce disku k odladeni firmwaru nebo nejde o SAS disk tak musis predpokladat, ze tvuj disk lze a krade data :-)
Shodnem se na tom, ze ZFS patri do enterprise segnemtu kde exceluje a tyhle spotrebni blaznivosti jsou o data?
Spotřební disky mají šílený firmware, o tom žádná. A error rate je 10e13, zatímco es disky mají alespoň 10e15, MTBF/AFR někdy vůbec neuvádějí, případně je pod milion hodin. A největší katastrofa s fw bývá u těch velkých, kde se přešlo z 512B sektorů na 4K sektory. I disky dneska dělají background joby na opravu dat, podobně jako SSD. Pokud to disk díky vysoké zátěži nestíhá dělat, katastrofa následuje.
Lžou a kradou data. Ale díky tomu jsou stávající metody, jako třeba normální RAID5,6 nepoužitelné.
ZFS řeší to hlavní, a sice datovou integritu. Pokud to provádí přímo kernel, tak integritu až k procesoru, tj. včetně řadičů a kabelů. No ale pokud je nespolehlivý samotný procesor a paměti, pak nepomůže ani svěcená voda.
A že třeba běžné paměti nespolehlivé opravdu jsou (podle statistiky Google a jiných je průměrně jedna chyba na GB a týden). S dnešními kapacitami operačních pamětí a velikostí dat se z toho stal skutečný praktický problém. Tudíž bez ECC ani ránu.
Samotné ZFS není samozřejmě samospasitelné, zpool se také musí zálohovat. Ale díky zfs send/receive a snapshotům to jde velmi snadno a elegantně (pokud je cílový systém rovněž ZFS). Nebo můžete dělat klony, případně to on-line synchronizovat na další filer.
Však o tom písali iní aj ja. ZFS sa tu prezentuje ako enterprise riešenie a uvádzajú sa tu výhody, ale celé to padá na hubu vďaka tomu šrotu menom EonNas. Pochybný radič, nemá podporu ECC, nehovoriac o tom, že do segmentu soho tam každý dá obyčajné SATA disky. Potom vám celá vaša integrita dát ide do hája.
Souhlas. Pokud to nemá ECC, není o čem mluvit. Ten HW je jednoznačně předražený šrot. Hezký termín pro tyhle bazmeky je "mean time to data loss", to vystihuje všechno.
ZFS je lowend, porovname jej z netappem ?
Ten treba umi rozsirit Raidgrupu online ;-), snapshory z nej ZFS ukradl, presto co se tyce vykony mu ZFS nesaha ani po kotniky.
Proto taky Oracle bezi na na NFS z netappu a ne na svem FC poli se ZFS ;-))
ZFS je hracka uplne stejna, jako BTRFS, jsou to FS na desktop a ne na server ;-)
1GB je 500mb jednim smerem o tom se budu klidne hadat, ackoliv switche casto reportuji 2x vyssi rychlost, zjistil jsem to, kdyz jsem FC tahal pres LAN a divil se , proc mi pres ten FC switch tece tak malo dat ... a vazne to neni tim, ze Qlogic je lowend ;-))
3) jsi jebly ja nerikam, ze mas pridat 1 disk do zpoolu, ja se bavim otom, ze nejde pridat zadny disk do RAID-Z tedy ze 4diskoveho raid-z neudelam 5 diskovy RAID-Z
2) Tim smejdem myslis to FC diskove pole s RAID6 ... ne vazne to nebylo selhanim disku, bylo to padem toho BSD
Nepotrebuji snapshoty, pokud bych potreboval snapshoty, dal bych si na NAS netapp simulator, umim si jej cracknout a mel bych veci ;-))
5) solaris/open/indiana je pro X86, ale solaris je tak zahackovany OS, ze zbavit se zavislosti na sparcu by znamenalo jej cely z gruntu prespat a odladit ... coz mimochodem lze jednoduse dokazat instalaci Oracle ;-)) proto jeho x86 klony nejsou nic moc a nejaky vykon se tam neceka, je proste pomalejsi nez linux na stejnem HW
7) ext4 umi nekolik modu journalu a 1 dokonce zarucuje integritu dat, snapshoty nepotrebuji, k cemu ? ... diky RAID5 jsme v pohode rozhodne vice nez FS, ktery se neumi opravit ... a co takovy hosting, kdyz dojde misto a thnk provisioning domrsi co muze ... pak se taky ZFS sam opravi ? ... pochybuju.
Je to pěkné, ale totálně předražené.
Postavil jsem několik ZFS filerů na bázi FreeNAS a HP N40L Microserver. Má to tyto výhody:
- prázdná mašinka stála 5kKč
- má to dvě PCIe (1x, 16x), kam jsem dal 2x SATA a další síťovku
- oboustrannou samolepící páskou (základní nástroj systémáka) jsem tam dobastlil 2x Intel DC S3700 100GB "profi" SSD disk, který dělá zrcadlenou ZIL (jen 4GB partition) a L2 ARC (zbytek SSD disků ve stripu)
- dal jsem tam 16GB Unbuffered ECC RAM ve dvou 8GB DIMMech (na 1TB deduplikovaných dat se doporučuje minimálně 4GB RAM)
- FreeNAS web interface neni o nic horší a má mnohem větší možnosti nastavení
- hot swap SATA (s lepším BIOSem), provozuji v tom 4x 4TB WD RED, pátý disk jako hot-spare (na pátý integrovaný SATA interface je také nutný ten lepší BIOS, jinak je to zamknuté jako DVD interface)
- jo a doporučuji dát tam lepší větrák a nahodit hlídání teplot
Hlavní výhoda je ta ECC RAM, fileserver bez ní je na dvě věci ...
Jo a jestě jsem chtěl dodat, že na tom jedu zásadně RAID10 (2x2 zrcadlený strip), protože:
- nejvyšší výkon
- při resilveringu se čte jenom jeden disk (na rozdíl od všech RAID5,6, RAIDZx)
- 8TB mě stačí
- v případě *TOTAL FAILURE* jsem schopen data v jiné mašině obnovit, bez ohledu na to, že žádné "opravné nástroje" na ZFS neexistují
- nejlepší MTBF a AFR
Ještě lepší by byl trojitý mirror x 2 strip, ale to by se tam muselo těch disků vejít 6.
Procík v HP mašince je out-of-order, takže má proti Atomu poněkud vyrovnanější výkon.
Jedině škoda, že tam není AES, ale šifrování stejně zatím nepoužíváme, nicméně na komprimaci by se nějaké novější instrukce hodily (ten AMD je fakt vykopávka).
Tak snad časem udělá HP nějakou náhradu N40L, buď s Jaguářím Opteronem nebo profi verzí Richlandu (s ECC RAM). Nevíte o tom něco (zaslech jsem nějaké pověsti, že se o tom v HP uvažuje ...) ???
To je hezké, to použití SSD na ZIL a L2 ARC - porovnával jste rychlosti s/bez SSD?
Na exaktní testy nebyl jako obvykle čas, ale je to nebe a dudy. Hlavní rozdíl není v tom L2 ARC (ačkoliv cca 180GB je znát, když se to nacachuje), ale v použití ZIL na SSD. Veškeré potvrzené zápisy (flushed) jsou hned hotové, tam to ty pomalé disky zpomalovaly skutečně velmi.
Problém v testování je ten, že je to samozřejmě velmi aplikačně závislé, na "velké testy" nebyl čas a dělat nějaké zprzněné testování na získání hausnmer se mi nechtělo.
Takže možná někdy příště, příležitostně (až bude všechna ostaní práce hotová :-)
Každopádně to cachování přes SSD stojí za to (náklady na dva "light profi" SSD plus SATA kartu asi 10kKč).
Keď som tu ja odporúčal ten HP, tak ma sprdli. Samozrejme, že to je s FreeNas lepšie riešenie. Akurát som to tak podrobne nerozpísal. Výsledný efekt je ten, že dáte omnoho menej peňazí.
Levnější FreeNAS určitě je, o "lepším" řešení už bych si dovolil pochybovat :) Jako vždy, jak pro koho.
Intel Atom D525 umí využít 8GB RAM (a bylo by zajímavé, kdyby to redakce zkusila), jen Intel tvrdí, že to nejde. Osobně jsem to zkoušel na MiniITX AT5IONT-I. Nyní budu upgradovat svůj NAS s deskou mini ITX Atom D2800 u které to Intel tvrdí také a opět jsem ověřil funkčnost s 8GB RAM. Dle spekulací to tvrdí proto, že nechce ohrozit jiné své produkty.
Stávající NAS mi běží na FreeNAS se ZFS s obyčejnými 1,5TB WD EARS a nemám s tím problém, samozřejmě zálohuji. To jsem již dříve na CDR psal - lidé si myslí, že když mají spolehlivé pole s hotspare atd, že je to zárukou nezničitelnosti dat. Ne - to jen zvyšuje spolehlivost síťového úložiště, ale neochrání před vnějšími vlivy, které mohou celý NAS poškodit.
Zajimave pocteni. Vtipne je, ze vetsina diskutujicich dosla vicemene ke stejnemu zaveru jako ja. Prosel jsem si openindianou s napp-item=des bes nespolehlivej, freenasem kde se mi tez neco nelibilo, nexentou ktera byla neuveritelne narocna na vykon az k nas4free jakozto pokracovani puvodniho freenasu a maximalni spokojenost. Je to spolehlive, primerene rychle a na platforme HP microserveru i fakt levne. Jen se musel flashovat bios kvuli podpore AHCI na portech 5 a 6 (tohle hp uplne nedomyslelo). Jiank uplne idealni je to provozovat na ML110G7. taky se v akci dala koupit za par a nacpat se tam da 32GB RAM. Vykonen s E3 xeonem je taky slusnej a porad je to levnejsi nez recenzovany EON nebo 5 diskove synology.
Na domácí použití určitě. Nevýhoda všech těch řešení postavených na FreeBSD je ta, že ta implementace není až tak robustní jako ta OpenSolarisová (nebo tedy vlastně už spíše IllumOSová), kde to přecijen bylo vyvýjeno s jiným cílem než domácí serveřík.
Třeba jen problém iSCSI, kdy je potřeba pro přidání nového targetu službu restartovat, je pro vážnější nasazení jen těžko přijatelný. Comstar je v tomto nenahraditelný.
Jinak ale souhlasím, na domácí hraní je HP Microserver (mám ho doma také) s různými free alternativami naprosto skvělá věc.
Že jsou obě free implementace iSCSI špatné, je známá věc, bohužel je to na všem stejné (xBSD, linux, ...). Na vyšší výkon iSCSI a třeba i v NFS to chce ty Solarisí klony. Ačkoliv ani to NFS na xBSD není tak špatné (jako je tragicky špatný třeba klient NFS v ESXi ...).
Ale pro CIFS to FreeNAS funguje velmi pěkně - se ZFS to umí i ty verze souborů - pro win8 a s doinstalováním balíčku i pro win7. Což tedy používáme, kde mají useři kancelářské dokumenty, děláme každou hodinu auto snapshot a od té doby neotravují pořád kvůli "zmizelým a upraveným souborům".
Solaris neni zadna slava a nikdy nebyl, jen proste v dobach krenelu 2.4 zvladal mnohem vice procesu, 2.6 kernel ovsem pihrbil jak solaris, tak *BSD, nebot novejsi verze zvladaly jeste mensi zatez, nez ty stare (testovano na clutseru, kde bylo ke kazdemu nodu 15.000 spojeni /sec)
Co se linuxu a NFS tyce, tak vse jde vyladit ;-) dokonce i ten esx jde vyladit.
Nam treba bezi pres NFS SAPy i Oracle na 10gb LAN v trunku a vykon je super, dokonce u Oracle zmerili, ze jde dosahnout lepsich vysledku nez na FC, coz je sice divne, ale je to tak, LAN musi byt samozrejme dedikovana, diky tomu, ze jo kolizni a ne proaktivni jako FC.
Tim zhorsenim myslim ted freeBSD konkretne ;-)
Co se unixu tyce, sparc je mrtev, slaby vykon, jediny UNIX, ktery ted jeste konkuruje linuxu je AIX (skoda ze tru64 je mrtev, ten jsem mel moc rad )
Solaris sice neni takova katastrofa jako HP-UX, ale zadna hype to taky neni, to je presne ten system, ktery hned po HP-UX migruji zakaznici prave na linux ....
Nejakou dobu se jeste drzelo Itanium2 na linuxu, nez Intel privedl na svet CPU s garanci provedenim instrukci.
Dnes se da brat vazne uz skutecne k x86_64 snad je ten IBM-POWER, ackoliv si myslim, ze vyrobit dnes nekdo Alphu moderni tech. by porad i pres zastaveny vyvoj mela co rict.
Pro psaní komentářů se, prosím, přihlaste nebo registrujte.