Copyright © 1998-2025 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
Copyright © 1998-2025 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
NPU na silikone pojde na ukor niecoho ineho ..
Pri GPU sme zacinali s beznym raster HW /TMU jednotky a spol./, neskor pribudlo masivne SIMD pole, neskor pribudli RT jadra .. ak chcete niekde nieco pridat, musite niekde nieco ubrat. Silikon je dnes velmi drahy. Raster-SIMD-RT-NPU sa biju o isty tranzistor/TDP budget.
PS5 PRO ma "NPU" HW integrovany do GPU, do jeho SIMD pola. 300TOPs, int8 co je presne na urovni najnovsej AMD 7xxx GPU rady. Vsetko ma svoje vyhody aj nevyhody ale za mna radsej "integrovane" riesenie ako extra "cip".
AMD potrebuje vyprázdniť sklad s GPU pre serveri
AMD Reports Second Quarter 2025 Financial Results
August 05, 2025
SANTA CLARA, Calif., Aug. 05, 2025 (GLOBE NEWSWIRE) -- AMD (NASDAQ:AMD) today announced financial results for the second quarter of 2025. Second quarter revenue was a record $7.7 billion, gross margin was 40%, operating loss was $134 million, net income was $872 million and diluted earnings per share was $0.54
As previously announced, our second quarter results were impacted by the U.S. Government's export control on our AMD Instinct™ MI308 data center GPU products. For the quarter, these restrictions led to approximately $800 million in inventory and related charges. Excluding these charges, non-GAAP gross margin would have been approximately 54%.
https://ir.amd.com/news-events/press-releases/detail/1257/amd-reports-se...
To jsou jenom ty, co nesměly do Číny, ne ?
áno...
Bavil jsem se na toto téma s AI, např. takovým Strix Halo byste si mohli realizovat něco jako Jarvise (Iron Man). Hlavní LLM by běžel pochopitelně na GPU, něco jako Llama 70M. NPU by pak bylo použito pouze např. na speech-to-text, abyste mohli na hlavní LLM "mluvit" a na analýzu obrazových dat z kamer (oči). Čili hlavní LLM by nemusel provádět tyto operace, protože na to ani není vhodný (energetický už vůbec) a hlavní LLM by tak nebylo přetěžováno
Je to tak. Pro AI je důležité množství VRAM, aby se tam model vešel. Třeba rozpoznání hlasu přes Whisper sebere okolo 7GB VRAM. Pokud chci na stejném stroji provozovat ještě nějakou llamu, tak to stojí další VRAM a za chvilku jsem nad 16GB a potřebuju něco jako 5090, pokud to chci mít jako součást mobilního řešení, tak mám dost problém. Natáhnout model do VRAM bere čas v řádu jednotek sekund, takže "střídání" modelů ve VRAM je sice možné, ale nebude dávat úplně dobrou uživatelskou zkušenost. :-) Takže jo, prostor pro nějaké meziřešení s vlastní nebo klidně sdílenou pamětí a oddělení hardware pro paralelně běžící modely dává docela smysl.
rychlost RAM .. M.Cerny v prezentacii hovori, ze aj desatnasobok dnesnych VRAM je malo, "AI kod" by musel byt umiestneny doslova iba v keske, aby dosiahli rozumne perf minimum. Preto je ML HW riesenie PS5 PRO take ake je .. intimne integrovane do GPU na najrychlejsie miesta.
Samostatne NPU co stoji mimo CPU/GPU to su proste ine mnoziny problemov.
Na LLM žiadna cache moc nepomôže (teda jedine, že by bola taká veľká, že do nej ten model vôjde), pretože pri generovaní tokenov sa cyklicky prechádzajú váhy celého modelu (pri MoE iba aktívne parametre) a to sú jednotky až stovky miliárd parametrov. Z toho vzplývajú aj nezanedbateľné požiadavky na pamäťovú priepustnosť.
Výhoda samostatného HW na AI by bola, že by AMD mohlo pripraviť NPU pripojené k napríklad 128 GB LPDDR pamäte a nekonkurovalo by to toľko profi grafikám a výpočtovým akcelerátorom ako GPU s rovnakým množstvom VRAM.
pisem - "rychlost minimalne ako data v keske", nie LLM ulozena cela v keske.
A sme bezni users, takze nas datacentra nemusia zaujimat. Ide o bezny desktop. Buduce mainstreamove GPU bude stat 550 euro. Silikon je velmi drahy, nove 2-3nm procesy su velmi drahe. Dobre herne PC bude velmi drahe. Vraciame sa do porevolucnych cias, ked dobre herne PC stalo ako "pol auta". Za 1000 euro nebudem schopny dat dokopy ani 2 slusne polozky - CPU a GPU.Skoncim na GPU za 1000 euro a mam byt vdacny.
Hadzat teda do boja este samostatne NPU .. je dakujem pekne.
Nás dátové centrá možno zaujímať nemusia ale AMD a ani Nvidia predsa nebudú uvádzať na trh cenovo dostupný hardvér, ktorý by nahradil a im zmenšil zisky z profi grafík alebo výpočtových akcelerátorov.
Takže to musia vymyslieť tak aby to dávalo zmysel pre uživateľov a zároveň aby to neohrozilo predaje v týchto lukratívnych segmentoch.
.. nerozumiem co chces povedat.
Nemame vyrieseny koniec HW rasterizacie, RT totalne v plienkach, GPU budu nesmierne drahe, tak preco si este situaciou nezlepsit hodenim NPU na plac.
Mne príde, že to NPU nebude primárne mieriť na hry alebo hráčov. Súčasná situácia je, že v bežnom desktope nie je nejaké rozumné riešenie na beh väčších LLM. Na procesore je to príliš pomalé a grafiky majú málo pamäte alebo to hrozne žerie a ide do peňazí pri multi-GPU riešeniach. V notebooku si aspoň človek môže kúpiť Strix Halo ale to v desktope nie je dostupné. Takže motivácia pre samostatné NPU môže byť taká, že má vyplniť túto dieru na trhu.
AI je vyzva .. samozrejme .. a je to mimoriadne narocne na kvalitnu RAM /kvantita a kvalita/ ale skutocne nemam zaujem o dalsiu fragmentaciu .. je to podobne ako subprocesory na "fyziku" pred mnohymi rokmi ..
predstavte si, ze dnes mate CPU/GPU a potom speci cip pre RT, pre ML .. eh .. uprednostnujem jednoduchsie, integrovane riesenia aj ked menej vykonne. PS5 PRO ma "integrovane" RT aj ML a funguje to a hracovi to musi stacit. A buduca PS6 to vsetko nakladovo bude optimalizovat az do absurdna, to este uvidite.
S tým súhlasím, že keby bola na hry vyžadovaná samostatná karta s NPU, tak by to bola pekná pakáreň.
Dá sa však na to pozerať aj z opačnej strany. Pre niekoho, kto chce výkon čisto v ML, by asi dávalo väčší zmysel si kúpiť efektívnejšie NPU ako kupovať GPU.
Aby to bylo efektivní a alespoň trochu rychlé, potřebuje to i hromady paměti.
Strix Halo už pak nevypadá tak draze.
Je to tak, Strix Halo nie úplne ľudovka ale keď zoberieme do úvahy množstvo VRAM a nízku spotrebu tak k tomu vlastne moc neexistuje alternatíva (jedine Apple HW ale ten je zase drahší a nemieri primárne na Win plarformu).
Akurát, že Strix Halo si človek kúpi v noťase alebo mini PC, nie je to riešenie určené do bežného desktopu.
2015 vydal google TPU s 23 TOPs pri 75W (0.31 TOP/W).
Myslim ze ~2019 uvedli pod znackou coral akcelerator do USB s 4 TOPs pri 2W (2 TOP/W), ktery je porad oblibeny napr. pro Frigate.
200 TOPs pri 8 W (25 TOP/W) by byl pekny vysledek. Jsem zvedavej, kdyto bude k dostani a za kolik.
presne tak mna ai jednotky na grafike nezaujimaju az odpudzuju
kto chce ai sracky neh si na to kupuje specialne karty
https://www.reddit.com/r/LocalLLaMA/comments/1hvjnar/nvidia_compares_fp8...
It's even worse than than that. They market 5090 as having 3352 AI TOPS in the same place where they give 4090 1321 TOPS.
You can't find info that it's FP8 vs FP4 anywhere. It's also obviously with sparsity (that nobody seem to use anyway).
Real FP16 with FP16 accumulate perf for 4090 is 330 TFLOPS and for 5090 that's most likely around 420 TFLOPS. For BF16 with FP32 accumulate that should be 2x lower.
4090 and 3090 have higher tflops if you go down the INT8 >> INT4 route too, but not the fp8 >> fp4 route.
To jsem něco podobného už někde četl...
"Namísto výkonných akcelerátorů pro tréning chce zkusit štěstí Intelu na úrovni systémů typu edge, tedy těch, které jsou v síťové infrastruktuře nejblíže uživatelům."
https://diit.cz/clanek/lip-bu-tan-vzdava-snahy-intelu-o-vykonny-ai-akcel...
Ty samostatné NPU; to by byli karty do PCIe? Nebo M.2? Nebo oboje?
Predpokladám, že do PCIe.
M.2 je v podstatě PCIe ...
Na webu který se jmenuje Deep in IT snad není třeba rozebírat rozdíly mezi slotem PCIe a M.2.
Ale když jste začal..
Ten největší rozdíl bude TDP. Buď se vejde do 10W a bude se dát použít v notebooku. Výkon ovšem bude srovnatelný s integrovaným řešením. Pokud ho nebude brzdit propustnost 4 linek PCIe.
A nebo to bude mít spotřebu desítky wattů. Pak M2 nedává smysl.
Řešení se spotřebou stovky wattů AMD už má.
AMD Instinct™ MI100
Práve preto si myslím, že to bude karta do PCIe (a asi aj s externým napájaním), pretože cca 50 TOPS už majú integrovaných a riešenie do M.2 by nebolo výrazne rýchlejšie.
Instinct MI100 v dnešnej dobe nedáva zmysel, čoskoro bude dostupný Radeon AI Pro R9700. Takže ak uvažujú o nejakom novom produkte, musí to byť od neho nejak odlišné.
Inak, EnCharge AI používa zaujímavú technológiu, analog in-memory computing. To vysvetľuje prečo majú takú dobrú energetickú účinnosť na starom procese.
Kámoš hraje, je to hodně od oka, od něj získat info, to je za trest.
Batlefield 6 - Ryzen 5950 16/32 + RX6900XT = 150-180FPS Ultra 1080p
Neni to špatný na Ryzen 5xxx
https://ctrlv.cz/Vw9n
Secure:
Other OS - změnit na Windows UEFI mode
NPU by byla super pro Immich nebo Frigate, kdyby byla podporována. Nechápu, proč se na tohle někdo nezaměří. Nikdo přece nechce 120W domácí server. S NPU by mohl jet na nízkých desítkách wattů CPU i s NPU.
Pro psaní komentářů se, prosím, přihlaste nebo registrujte.