YouTube kanál MLID si právě k této příležitosti pozval AI vývojáře ze společnosti Pygmalion.AI, se kterým probíral řadu různých věcí, mimo jiné situaci s akcelerací AI na platformě Intelu. Z celého rozhovoru vyplývá více-méně totéž, o čem mluví většina softwarových firem: Zatímco v letošním roce se uživatel bez akcelerace AI většinou obešel, ve vývoji softwaru již nyní probíhá velký rozjezd, který v příštím roce začne přinášet ovoce a rok 2025 (do kterého zbývá jen ~12,5 měsíce) už bude čistě ve znamení AI. S tím ostatně počítá i většina výrobců hardwaru, která očekává, že s ohledem na požadavky softwaru budou prodeje v roce 2025 prodeje hardwaru definovány právě poptávkou po AI.

Požadavky vývojáře

Uživatelská akcelerace AI (inference) na procesorových jádrech bez nějaké specifičtější podpory ze strany hardwaru je však pomalá a velmi energeticky náročná. To vede ke snaze implementovat energeticky efektivní AI akcelerátory prozatím alespoň do mobilních procesorů pro notebooky. Vývojář upozornil, že pokud by se rozhodl takový akcelerátor využít, musí z hlediska kompatibility řešit i situaci, že jím systém zákazníka nebude vybavený. Jako alternativa se nabízejí procesorová jádra, ale ta mohou být podstatně pomalejší (a energeticky neefektivní). Pokud však podporují AVX-512, lze díky těmto instrukcím zpracování AI až 8× urychlit. Pokud AVX-512 (ani jiné instrukce pro akceleraci AI, které mají z hlediska vývojáře smysl) podporovány nejsou, nabízí se jako další alternativa akcelerace s použitím integrovaného grafického jádra.

1. Možnosti hardwaru: AI akcelerátor

Jak do sebe zapadají požadavky AI vývojáře a situace na trhu s hardwarem? Začněme AI akcelerátorem. CEO AMD, Lisa Su, již minulý týden 6. prosince na akci Advancing AI oznámila, že společnost do tohoto data dostala na trh miliony procesorů s AI akcelerátorem (tzn. velké APU Phoenix).

Lisa Su (AMD)

Intel své řešení, tzn. Meteor Lake, teprve vydá. Má tedy skluz. Mohl by ho dohnat? Podle informací MLID to tak nevypadá, neboť s ohledem na ceny Meteor Lake prý většina značek plánuje v rámci nabídky notebooků s procesory Intelu i pro rok 2024(!) dodávat většinu produktů (>80 %) na bázi Raptor Lake(-refresh). Připomeňme, že v nabídce AMD bude v roce 2024 krom Phoenixu dále Hawk Point s až o 60% rychlejším AI procesorem, od pololetí Strix Point s >3× rychlejším AI procesorem druhé generace a na přelomu roku 2024/2025 přibude ještě Strix Halo / Sarlak. Procesory Intelu vybavené AI akcelerátorem tak budou (nejen v rámci uživatelské základny, ale i tržní nabídky) po celý rok 2024 spíše okrajovou záležitostí. Pokud Intel rychle a podstatně nesníží ceny. To však nejspíš nehrozí, neboť procesor postavený na vrstvení křemíku vyrobeného na třech různých procesech a vyžadující speciální pouzdřící technologii není zrovna typickým kandidátem na bagrování tržního podílu výprodejovými cenami.

2. Možnosti hardwaru: x86 s AVX-512

Pokud procesor není vybaven AI akcelerátorem, předkládá vývojář jako druhou schůdnou alternativu využití procesorových jader a instrukcí AVX-512. Zatímco v portfoliu AMD tímto disponují veškeré procesory s jádry Zen 4 a novějšími (Zen 4c, chystaný Zen 5), v případě Intelu podpora AVX-512 v PC prakticky neexistuje. 12., 13., i 14. generace (Alder Lake, Raptor Lake, Raptor Lake-refresh) a jejich nástupci z důvodu nekompatibility malých jader Intelu (Atomů) AVX-512 nepodporují a dohledné době podporovat nebudou.

• Intel nařídil výrobcům desek vypnout AVX-512 u Alder Lake (AVX2 již omezeno je)

V desktopu zvládá AVX-512 Rocket Lake, který je v rámci uživatelské základny z důvodu velmi špatné energetické efektivity zastoupen minimálně a v mobilním světě podporoval AVX-512 Ice Lake (který však s velmi nízkými takty a maximálně čtyřmi jádry díru do světa neudělá) a Tiger Lake (většina konfigurací byla rovněž max. čtyřjádrová, osmijádrové existovaly, ale v menšině).

3. Možnosti hardwaru: integrované GPU

Pokud chybí AI akcelerátor i podpora AVX-512, je podle vývojáře třetí možností využít integrované GPU. To by samozřejmě muselo mít podporu na takové úrovni, aby při jeho využití aplikace nespadla nebo nedocházelo k neočekávanému chování z důvodu chyb v ovladačích. Podle vývojáře má Intel prostředky na to, aby (v případě, že se tak rozhodne) učinil akceleraci na iGPU použitelnou a rozšířenou mezi vývojáři.

XMX jednotky u integrovaných GPU Intelu chybí a budou chybět až do vydání Arrow Lake

Nutno však dodat, že je tu jiný problém. Grafická jádra Alder Lake / Raptor Lake jsou poměrně zastaralá. U grafického jádra Meteor Lake (které je jinak obdobou Arc) Intel vykleštil XMX jednotky, maticové / AI akcelerátory využívané pro XeSS. Do integrovaných GPU se XeSS vrátí až s koncem roku 2024 a generací Arrow Lake. Integrovaná GPU, která má Intel aktuálně v systémech uživatelů i v tržní nabídce, nejsou nijak nadstandardně vybavena pro akceleraci AI, takže by jejich využití nebylo příliš efektivní (a je tedy otázkou, zda by se Intelu vyplatilo investovat do jejich využití jakožto snahy o náhradu chybějícího AI obvodu).

Vzhledem k tomu, že v prodejích Intelu bude až do konce roku silně převažovat hardware, který je z hlediska podpory AI zastaralý (u většiny chybí AI akcelerátor, všem produktům chybí podpora instrukcí AVX-512 a všem chybí nějaká nadstandardní podpora AI v rámci grafického jádra), bude ještě v roce 2025 uživatelská základna vybavená „AI-kompatibilními“ Intel systémy zcela okrajovou záležitostí. Ze současného pohledu to vypadá, že první potenciální změnu může přinést Arrow Lake na přelomu roku 2024 / 2025.