Copyright © 1998-2025 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
Copyright © 1998-2025 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
jo tak jesli dobre chapu tak nVidie delala chipsety od roku 2001, dela arm soc od roku 2008, vlastni cpu architekturu na bazi arm dela od roku 2011.. kdyz by to konecne mohla zurocit na soc pro desktop, tak zaplati mediateku aby ji udelal procak z generickejch arm jader..
Na druhou stranu i na straně ARM, ať už přímo u nich nebo partnerů jako Mediatek, probíhá vývoj a třeba si NVidia spočítala, že je pro ně spolupráce s Mediatekem výhodnější.
Fakt bych si nemyslel, že co se týká ekonomiky jejich produktů to NVidia nemá spočítaný, to nejsou blbci jako u Intelu. :-)
tak ekonomiku neresim, kdo za tohle zaplati 4000 usd, kdyz to bude mit vykon rtx5070 za 550 usd, to uz je druha vec..
Ono to za prvé nie je určené ako bežný desktop a pre cieľový segment má RTX5070 málo VRAM, takže je úplne jedno, že má podobný výpočtový výkon.
no a tohle ma zas tak mizernou datovou propustnost ze na tom vsechno co zvlada 5070 pojede daleko hur.. proc si nepriplatit nekolikanasobek za kompromis.. ale tak nVidie vidi ze u applu to funguje, tak proc to nezkusit taky..
Když dva dělají totéž, není to nikdy totéž. 😃
Ten kto si to kúpi na veci, na ktoré stačí 5070, tak je proste blbý, neviem čo sa k tomu viac dá povedať.
Přesně tak. Tohle si koupí ten, komu na jeho práci nestačí 5070.
Vůbec nechápu, jaký je cílový zákazník tohoto řešení. Na AI to není, na hraní taky ne, je to drahé, ...
Máte někdo představu, komu by se to mohlo hodit?
No zrovna jako AI pracovní stanice to může být ok. Má to sdílenou paměť mezi CPU a GPU, takže se tam dají použít mnohem větší modely. Pokud se pracuje jen s NVIDIA sw, tak to může být ok. Přijde mi to jako taková alternativa Mac Studia pro NVIDIA sw svět.
Přesně tak. Je to pro ty, co nechtějí Apple nebo macOS.
Je to cielené na AI a machine learning, špeciálne na to, keď človek vyžaduje veľa VRAM a bežná grafika na to nestačí. Ako najväčší problém vidím tú pamäťovú priepustnosť, videl som na fórach reakcie, že ľudia stratili záujem, keď zistili, že to bude iba ~300 GB/s. Takže to potom vedľa Apple M4 alebo Strix Halo už nevyzerá tak revolučne.
... takze vlastne jedina vyhoda bude asi CUDA.
Což je zatím dost výhoda. Spousta věcí není přepsaná nebo kvalita kódu je horší.
Mě přijde že se drží své tradice nenízkých cen pro embeded AI segment.
https://rpishop.cz/794-nvidia/?lb.sort=price_amount%3Adesc
Slabé a predražené. Apple aj AMD majú lepšie riešenia na AI. Toto sa ani na nič iné nehodí ako na AI.
Každé z tých riešení má svoje nevýhody. Apple HW má napríklad relatívne pomalé spracovanie promptu pri použití na LLM a u AMD je SW podpora horšia a môže dať viac práce niektoré veci rozchodiť (hlavne pod Windows).
No podľa testov sú Apple počítače vhodné na AI. Dajú sa aj skladať do clustera, takže štyri macy studio s M4Max a 128GB spoločnej pamäti zvládnu aj ten veľký DeepSeek model, ktorý má takmer 700 miliárd parametrov.
AMD vydalo svoje Ryzeny AI a dá sa kúpiť PC so 128GB RAM, kde AI beží v pohode. Beží na tom aj Windows a aj Linux. AMD urobilo dosť veľký pokrok s ovládačmi v posledných mesiacoch.
Toto od nVidie bude závisieť na ARM procesore od Mediatecu, takže na ničom inom ako Linuxe to nepôjde.
Ako som písal, medzi Apple HW a grafikami od Nvidie je jeden zásadný rozdiel, to je rýchlosť spracovania promptu, ktorá je násobne väčšia na grafikách, viď napríklad https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference
Takže ak človek potrebuje do LLM napchať veľké množstvo tokenov kvôli kontextu, tak na to Apple HW nie je úplne dobrá voľba.
Tá SW podpora na AMD grafikách sa síce zlepšuje ale stále je to bohužiaľ zložitejšie ako u Nvidie. Napríklad natívna podpora pre PyTorch na Windows by sa mala objaviť snáď čoskoro s oficiálnym releasom ROCm 7.0.
To je už viac ako rok staré porovnanie. Tu som našiel porovnanie rýchlosti pamäti medzi M4Pro, Ryzenom AI Max a týmto nVidia GDX Sparc všetky majú niečo málo nad 250GB/s.
https://www.youtube.com/watch?v=ZmY35-ifJuo&t=286s
Keď porovnáva M4Pro s tým Ryzenom, tak takmer všade vyhráva M4Pro.
https://www.youtube.com/watch?v=ZmY35-ifJuo&t=323s
A keď ten Ryzen porovnáva s M4Max, tak všade testoch vyhráva M4Max, v mnohých testoch má M4Max dvojnásobný výkon.
https://www.youtube.com/watch?v=ZmY35-ifJuo&t=410s
Na ten nVidia GDX Sparc stále čaká tak som zvedavý, ako si poradí s M4Max a aj s tým Ryzenom.
Moc nemám čas skúmať, čo presne je v tamtých grafoch. Ale ak je to rýchlosť generovania výstupných tokenov, tak to vôbec nie je tá problematická časť práce s LLM na Apple HW (a je otázne, či je Strix Halo na tom nejak znateľne lepšie). Zaujímavé by bolo vidieť porovnanie výsledkov ako sú v https://youtu.be/ZmY35-ifJuo?t=1157 kde vidno zvlášť prompt processing (pp) a token generation (tg) a to aj v porovnaní s diskrétnymi GPU, nielen M4 voči Strix Halo.
Ale to sa týka toho Ryzenu, nie Applu.
Pro psaní komentářů se, prosím, přihlaste nebo registrujte.