Je to sice rovnák na ohejbák, ale aspoň by to NPU mělo nějaké využití.

Nevíme ani jedno, ale za to víme, že RDNA4 právě udělala architektonické kroky tím směrem, aby AI upscale byl použitelný a na RDNA3 a starší zatím dostupný není právě z toho důvodu. Vzdor vyššímu množství stream procesorů.

1, Pokud umí AI upscale i taková křuska jako rtx 2060, pak jej musí utáhnout i o dekádu novější APU z roku 2027.

2, To je odvážná myšlenka. Skoro jako MCM.

I kdyby reálně vycházeli z RDNA3 resp 3.5, pochybuji, že to tak napíšou do slajdů. To spíš věřím na "RDNA 4.5" (TM), které vyjde z 3.5 a udělají částečný backport toho, co umí rdna4, než to co píše zlaté prase z číny, že to nechají jak to je, jen vymění media engine.

Mne nepríde, že by veľkosť lokálnych modelov nejak dramaticky rástla. De facto použiteľné maximum je okolo 70B parametrov. A to na Strix Halo so 128 GB RAM vôjde v pohode. Nemá význam zväčšovať pamäť na 192 GB bez zvýšenia priepustnosti. Ináč sa tam síce vôjde o 50% väčší model ale on práve už ten hypotetický 70B Q8 model beží dosť pomaly a o polovicu väčší model by bežal iba dvojtretinovou rýchlosťou.

Aj menšie modely, cca 20 GB veľké by na Strix Halo bežali iba rýchlosťou 10 tokenov za sekundu. Takže vyššia priepustnosť by na LLM bola úplne jednoznačne prospešná.

A zatiaľ som nevidel test rýchlosti spracovania promptu na Strix Halo (v poslednom čase som ale moc intenzívne nehľadal). To je slabina Apple HW pri veľkých LLM a som zvedavý ako to bude na Strix Halo.

> No a prvořadý problém je ten, že velikost modelů roste a do paměti se mnohé nevejdou.

128 GB je úžasná kapacita, plně souhlasím, možnosti grafik v té cenové relaci jsou buď 24 GB nebo 32 GB.

> prezentaci, kde by Strix Halo s 96 GB rychlejší než GeForce RTX 4090 navzdory
> tomu, že paměťová propustnost GeForce RTX 4090 je 4×(!) vyšší

LLM token generation je prostě za účasti GPU limitovaná jen paměťovou propustností a ničím jiným, klidně si na to potvrzení někoho sežeňte nebo běžte na LocalLLaMa subreddit, jestli nevěříte mně. Marketing si vyhrál. VRAM v tom testovacím systému nebyla využitá naplno (LM Studio, které použili, defaultně nechává bohatou bezpečnostní rezervu) a RAM na systému měla výrazně nížší propustnost než co má Strix Halo. V té footnote se píše jen "NVidia system ... 32 GB RAM", takže klidně to tam mohli mít zapojené jednokanálově a hned by se ten výkon dodatečně zmrzačil, aby Strix Halo vyniklo lépe než ve skutečnosti. A ono i ve skutečnosti je dobré a zajímavé.

Tady je ten daný slajd i s přilepenou vysvětlenou footnote: https://www.reddit.com/media?url=https%3A%2F%2Fi.redd.it%2F1pjg4qnmfgbe1...

> pomůže AI výkonu podstatněji v důsledku vyšší kapacity paměti než v důsledku navýšení paměťové propustnosti

Pokud se bavíme o lokálních reálných modelech, které si člověk může stáhnout a které nežijí jen někde v datacentru, tak se opakují tyto významné body na stupnici: 32B, 70B, 123B, 405B, 671B.

Medusa Halo se 192 GB paměti pomůže, aby se tam vešel ten 123B 8-bit kvantizovaný, protože má reálně 130 GB (https://huggingface.co/bartowski/Mistral-Large-Instruct-2411-GGUF). Díky více paměti u příliš velkých modelů nebude potřeba kvantizovat tak silně, aby se do paměti zase vešly, ano, zvýší to kvalitu výstupu inference. Tím se ale oklikou zase vracíme k debatě o tom, že se to tam sice nakonec vleze, ale je zbytečně pomalé.

Naopak zvýšená propustnost pomůže zrychlit úplně všechny velikosti modelů, i ty, které se už dávno vejdou, proto mi dává větší smysl se soutředit na tu.

Klidně mi argumentujte tím, že na deset dalších AI scénářů je dosavadní propustnost dobrá a je potřeba se soustředit na víc paměti, já to beru. Ale na LLM token generation je malá paměťová propustnost prostě zatažená ruční brzda a větší paměť ji nijak neodbrzdí, naopak nacpání většího modelu ještě zdůrazní její efekt.

P.S. nevěřte mi, potvrďte si to klidně někde jinde, v IT branži máte určitě k dispozici kontakty na odborníky, kteří se LLM inferencí zabývají. 128 GB unified memory Macy už se na inferenci používají dávno a ta data z toho jsou veřejně dostupná. Já jsem jen uživatel, který s tím experimentuje pomalu každý týden a mluví z praxe vlastní i ostatních mu podobných.

EDIT: překlep, doplněný slajd z AMD prezentace

>> „dokud se model do té paměti celý vleze.“
> No a prvořadý problém je ten, že velikost modelů roste a do paměti se mnohé nevejdou.

To, ze se model nevejde do pameti je akceptovatelne pro aplikace, ktere mohou bezet nejakou dobu na pozadi. Interaktivni aplikace jako diskuse, coz je pripad zde zminovanych LLM, nemohou uzivatele nechat dlouho cekat. LLM se musi vejit to pameti. Skutecne aplikace vam vetsi model vybrat ani nedovoli, nebo se s nim nespusti.

Díky za opravu mojí chyby, opravdu čistě CPU LLM inference je stále limitovaná více faktory než jen propustností a dá se zlepšit.

Moje zprostředkovaná zkušenost je, že s llama.cpp/vLLM je na EPYC systémech bottleneck opět v paměťové propustnosti (čím víc kanálů se na stejném CPU - nebo dvou - podaří osadit, tím rychleji to jede). Ale vždycky je tam i nějaké GPU, které s tou výpočetní stránkou pomůže, takže jsem se mýlil, že stačí jen CPU a rychlé paměti a GPU není potřeba - je.