28. 6. 2023 - 10:25https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuse128MB DDR5 to bude asi překlep :)https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuse#comment-1416420
+
Díky, opraveno. Lze použít funkci „nahlásit chybu“, oprava je rychlejší.
+1
0
-1
Je komentář přínosný?
Díky, opraveno. Lze použít
no-X https://diit.cz/autor/no-x
28. 6. 2023 - 11:11https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuseDíky, opraveno. Lze použít funkci „nahlásit chybu“, oprava je rychlejší.https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuse#comment-1416428
+
Myslím že tam má být 128Mb.
Protože řeč je o chipech.
Chipů se na modul vejde 8 z jedné strany. (Přesněji 9 protože se bavíme o serverové ECC.)
Výsledná kapacita modulu je potom 128GB pro jednostranný a 256GB pro oboustranný modul.
+1
0
-1
Je komentář přínosný?
Myslím že tam má být 128Mb.
samuel-007 (neověřeno) https://diit.cz
28. 6. 2023 - 15:18https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuseMyslím že tam má být 128Mb.
Protože řeč je o chipech.
Chipů se na modul vejde 8 z jedné strany. (Přesněji 9 protože se bavíme o serverové ECC.)
Výsledná kapacita modulu je potom 128GB pro jednostranný a 256GB pro oboustranný modul.https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuse#comment-1416486
+
Jasně, tak na inferenci bohatě stačí nějaký silnější vícejádrový procesor nebo obyčejnější grafika, záleží na use-case. Každopádně ten model se musí do té RAM vlézt.
+1
0
-1
Je komentář přínosný?
Jasně, tak na inferenci
Haunter https://diit.cz/profil/xcz7wsmmr8
28. 6. 2023 - 11:24https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuseJasně, tak na inferenci bohatě stačí nějaký silnější vícejádrový procesor nebo obyčejnější grafika, záleží na use-case. Každopádně ten model se musí do té RAM vlézt.https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuse#comment-1416433
+
Spíš záleží na VRAM pokud chceš provozovat lokální LLM, ne že by to bylo na CPU+RAM úplně nepoužitelné, ale ten rozdíl je prostě 10x (u mě na CPU 3 tokeny/s, na GPU 30+ t/s).
+1
0
-1
Je komentář přínosný?
Spíš záleží na VRAM pokud
ToKrCZ https://diit.cz/profil/zatlrkaqmt
28. 6. 2023 - 12:09https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuseSpíš záleží na VRAM pokud chceš provozovat lokální LLM, ne že by to bylo na CPU+RAM úplně nepoužitelné, ale ten rozdíl je prostě 10x (u mě na CPU 3 tokeny/s, na GPU 30+ t/s).https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuse#comment-1416453
+
Modely jdou i "zkompilovat" pro rychlejší použití na CPU. Nemusí jít jen o LLM. Ale jde se pak dostat třeba na "jen" 2x pomalejší inferenci. Já mám třeba 32 jader 7950x3d, docela se to dá.
+1
+1
-1
Je komentář přínosný?
Modely jdou i "zkompilovat"
Haunter https://diit.cz/profil/xcz7wsmmr8
28. 6. 2023 - 12:12https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuseModely jdou i "zkompilovat" pro rychlejší použití na CPU. Nemusí jít jen o LLM. Ale jde se pak dostat třeba na "jen" 2x pomalejší inferenci. Já mám třeba 32 jader 7950x3d, docela se to dá.https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuse#comment-1416455
+
Tak proto se výrobci SSD nehrnou do 16TB.
8TB SSD se dá sehnat za 8000Kč.
16TB za 999 US$ tedy 19 990Kč na trhu chybí.
Předpokládám že chipy pro SSD a RAM se vyrábějí na stejných linkách ?
+1
0
-1
Je komentář přínosný?
Tak proto se výrobci SSD
samuel-007 (neověřeno) https://diit.cz
28. 6. 2023 - 15:07https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuseTak proto se výrobci SSD nehrnou do 16TB.
8TB SSD se dá sehnat za 8000Kč.
16TB za 999 US$ tedy 19 990Kč na trhu chybí.
Předpokládám že chipy pro SSD a RAM se vyrábějí na stejných linkách ?https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuse#comment-1416485
+
28. 6. 2023 - 15:58https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuseTo asi úplně ne.https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuse#comment-1416489
+
V podstatě jo - linky sice nejsou stejné, ale konverze z RAM na flash a opačně je relativně jednoduchá.
+1
0
-1
Je komentář přínosný?
V podstatě jo - linky sice
TOW https://diit.cz/profil/tow
28. 6. 2023 - 18:27https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuseV podstatě jo - linky sice nejsou stejné, ale konverze z RAM na flash a opačně je relativně jednoduchá.https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuse#comment-1416497
+
To má jiný důvod - běžné consumer řadiče v SSD umí max 8 čipů a momentálně se z osmi čipů dá poskládat max 8TB. Serverové speciály umí víc ale stojí to pak raketu.
+1
0
-1
Je komentář přínosný?
To má jiný důvod - běžné
TOW https://diit.cz/profil/tow
28. 6. 2023 - 18:32https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuseTo má jiný důvod - běžné consumer řadiče v SSD umí max 8 čipů a momentálně se z osmi čipů dá poskládat max 8TB. Serverové speciály umí víc ale stojí to pak raketu.https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuse#comment-1416498
+
Ano.
Jen pak nevím na čem postavili T253E2016T0C101
Že by chipy s dvojnásobnou kapacitou?
Cena 1800 USD za 16TB je na hranici high-end a serveru.
Jen SATA nepatří ani do serveru ani do high-end.
A je nedostupný. Což po přečtení tohoto článku dává smysl.
+1
0
-1
Je komentář přínosný?
Ano.
samuel-007 (neověřeno) https://diit.cz
28. 6. 2023 - 20:24https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuseAno.
Jen pak nevím na čem postavili T253E2016T0C101
Že by chipy s dvojnásobnou kapacitou?
Cena 1800 USD za 16TB je na hranici high-end a serveru.
Jen SATA nepatří ani do serveru ani do high-end.
A je nedostupný. Což po přečtení tohoto článku dává smysl.https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuse#comment-1416506
+
28. 6. 2023 - 22:04https://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuseTyto SSD (aspoň v nižších kapacitách) údajně používají řadič Silicon Motion SM2258XT, který podle specifikace je schopen obsluhovat až 16 NAND flash.
https://www.tomshardware.com/reviews/team-group-ex2-sata-ssd-review
https://www.siliconmotion.com/download/3H6/a/SM2258XT_PB_EN_201910.pdfhttps://diit.cz/clanek/krom-hbm-rychle-roste-poptavka-i-po-ddr5/diskuse#comment-1416512
+
https://videocardz.com/press-release/samsung-will-begin-mass-production-...
https://www.anandtech.com/show/18936/samsung-updates-foundry-roadmap-2nm...
128MB DDR5 to bude asi překlep :)
Těžko říct, nemusí být.
Díky, opraveno. Lze použít funkci „nahlásit chybu“, oprava je rychlejší.
Jo MB, to jsem nějak přehlíd :-)
Myslím že tam má být 128Mb.
Protože řeč je o chipech.
Chipů se na modul vejde 8 z jedné strany. (Přesněji 9 protože se bavíme o serverové ECC.)
Výsledná kapacita modulu je potom 128GB pro jednostranný a 256GB pro oboustranný modul.
Jasně, tak na inferenci bohatě stačí nějaký silnější vícejádrový procesor nebo obyčejnější grafika, záleží na use-case. Každopádně ten model se musí do té RAM vlézt.
Spíš záleží na VRAM pokud chceš provozovat lokální LLM, ne že by to bylo na CPU+RAM úplně nepoužitelné, ale ten rozdíl je prostě 10x (u mě na CPU 3 tokeny/s, na GPU 30+ t/s).
Modely jdou i "zkompilovat" pro rychlejší použití na CPU. Nemusí jít jen o LLM. Ale jde se pak dostat třeba na "jen" 2x pomalejší inferenci. Já mám třeba 32 jader 7950x3d, docela se to dá.
... 32 threadů 7950X3D ... ?
Jo, samozřejmě, sorry :)
Tak proto se výrobci SSD nehrnou do 16TB.
8TB SSD se dá sehnat za 8000Kč.
16TB za 999 US$ tedy 19 990Kč na trhu chybí.
Předpokládám že chipy pro SSD a RAM se vyrábějí na stejných linkách ?
To asi úplně ne.
V podstatě jo - linky sice nejsou stejné, ale konverze z RAM na flash a opačně je relativně jednoduchá.
To má jiný důvod - běžné consumer řadiče v SSD umí max 8 čipů a momentálně se z osmi čipů dá poskládat max 8TB. Serverové speciály umí víc ale stojí to pak raketu.
Ano.
Jen pak nevím na čem postavili T253E2016T0C101
Že by chipy s dvojnásobnou kapacitou?
Cena 1800 USD za 16TB je na hranici high-end a serveru.
Jen SATA nepatří ani do serveru ani do high-end.
A je nedostupný. Což po přečtení tohoto článku dává smysl.
Tyto SSD (aspoň v nižších kapacitách) údajně používají řadič Silicon Motion SM2258XT, který podle specifikace je schopen obsluhovat až 16 NAND flash.
https://www.tomshardware.com/reviews/team-group-ex2-sata-ssd-review
https://www.siliconmotion.com/download/3H6/a/SM2258XT_PB_EN_201910.pdf
Pro psaní komentářů se, prosím, přihlaste nebo registrujte.