Diit.cz - Novinky a informace o hardware, software a internetu

Diskuse k Krom HBM rychle roste poptávka i po DDR5. Pokles cen je u konce

128MB DDR5 to bude asi překlep :)

+1
0
-1
Je komentář přínosný?

Těžko říct, nemusí být.

+1
0
-1
Je komentář přínosný?

Díky, opraveno. Lze použít funkci „nahlásit chybu“, oprava je rychlejší.

+1
0
-1
Je komentář přínosný?

Jo MB, to jsem nějak přehlíd :-)

+1
0
-1
Je komentář přínosný?

Myslím že tam má být 128Mb.
Protože řeč je o chipech.
Chipů se na modul vejde 8 z jedné strany. (Přesněji 9 protože se bavíme o serverové ECC.)
Výsledná kapacita modulu je potom 128GB pro jednostranný a 256GB pro oboustranný modul.

+1
0
-1
Je komentář přínosný?

Jasně, tak na inferenci bohatě stačí nějaký silnější vícejádrový procesor nebo obyčejnější grafika, záleží na use-case. Každopádně ten model se musí do té RAM vlézt.

+1
0
-1
Je komentář přínosný?

Spíš záleží na VRAM pokud chceš provozovat lokální LLM, ne že by to bylo na CPU+RAM úplně nepoužitelné, ale ten rozdíl je prostě 10x (u mě na CPU 3 tokeny/s, na GPU 30+ t/s).

+1
0
-1
Je komentář přínosný?

Modely jdou i "zkompilovat" pro rychlejší použití na CPU. Nemusí jít jen o LLM. Ale jde se pak dostat třeba na "jen" 2x pomalejší inferenci. Já mám třeba 32 jader 7950x3d, docela se to dá.

+1
+1
-1
Je komentář přínosný?

... 32 threadů 7950X3D ... ?

+1
0
-1
Je komentář přínosný?

Jo, samozřejmě, sorry :)

+1
0
-1
Je komentář přínosný?

Tak proto se výrobci SSD nehrnou do 16TB.
8TB SSD se dá sehnat za 8000Kč.
16TB za 999 US$ tedy 19 990Kč na trhu chybí.

Předpokládám že chipy pro SSD a RAM se vyrábějí na stejných linkách ?

+1
0
-1
Je komentář přínosný?

To asi úplně ne.

+1
0
-1
Je komentář přínosný?

V podstatě jo - linky sice nejsou stejné, ale konverze z RAM na flash a opačně je relativně jednoduchá.

+1
0
-1
Je komentář přínosný?

To má jiný důvod - běžné consumer řadiče v SSD umí max 8 čipů a momentálně se z osmi čipů dá poskládat max 8TB. Serverové speciály umí víc ale stojí to pak raketu.

+1
0
-1
Je komentář přínosný?

Ano.
Jen pak nevím na čem postavili T253E2016T0C101
Že by chipy s dvojnásobnou kapacitou?
Cena 1800 USD za 16TB je na hranici high-end a serveru.
Jen SATA nepatří ani do serveru ani do high-end.
A je nedostupný. Což po přečtení tohoto článku dává smysl.

+1
0
-1
Je komentář přínosný?

Tyto SSD (aspoň v nižších kapacitách) údajně používají řadič Silicon Motion SM2258XT, který podle specifikace je schopen obsluhovat až 16 NAND flash.
https://www.tomshardware.com/reviews/team-group-ex2-sata-ssd-review
https://www.siliconmotion.com/download/3H6/a/SM2258XT_PB_EN_201910.pdf

+1
+1
-1
Je komentář přínosný?

Pro psaní komentářů se, prosím, přihlaste nebo registrujte.