V posledních dnech se objevují články, podle kterých podle oficiálního vyjádření Nvidie může za nedostatek GPU kapacita CoWoS linek TSMC. Tato slova bývají různými weby prezentována různě, a tak bude dobré je zasadit do kontextu a uvést na pravou míru. Původní vyjádření přednesl Charlie Boyle, viceprezident a generální ředitel DGX Systems společnosti Nvidia. Kontext se týká profesionálních (výpočetních) GPU a nikoli v médiích aktuálně řešeného zpomalení / zastavení výroby GeForce. Důvod je prostý: Pouzdření CoWoS společnosti TSMC, o kterém je řeč, se používá pro vícevrstvá řešení (tedy s HBM, s můstkem propojenými čiplety, s podložkami ap.), nikoli pro standardní GPU.

Nvidia Hopper H100 (Nvidia)

O výpočetních akcelerátorech se však v médiích také dost mluvilo. Například Elon Musk, který pro potřeby X/Twitteru objednával deset tisíc akcelerátorů od Nvidie, po této zkušenosti prohlásil, že sehnat toto zboží je v současnosti obtížnější než sehnat drogy. YouTube kanálu MLID si pak jeden odběratel postěžoval, že Nvidia omezuje dodávky starších a levnějších řad akcelerátorů a namísto nich zájemcům nabízí 3-5× dražší high-end poslední generace (Hopper).

• Nvidia zastavila výrobu GeForce RTX 4000

Od Charlieho Boyla z Nvidie se pak dozvídáme, že problém s dostupností akcelerátorů není v nedostatku křemíku, ale v nedostatku pouzdřících kapacit. Možná právě proto Nvidia na zvěsti o možném úplném zákazu vývozu AI akcelerátorů do Číny reagovala v podstatě tak, že je jí to jedno. I bez Číny je totiž aktuálně schopna prodat vše, co vyrobí.

Nedostatek CoWoS kapacit, na který si stěžuje Nvidia, však není způsoben pouze vysokou poptávkou po hardwaru Nvidie. AMD, která v současnosti připravuje a spouští sériovou výrobu akcelerátorů řady Instinct MI300, si podle zdrojů blízkých TSMC rezervovala kapacity, které dosahují 50 % objemu všech CoWoS produktů vyráběných Nvidií. AMD tedy sama očekává bezprecedentní poptávku po této generaci produktů. Očekává se, že první čipy zamíří do superpočítače El Capitan, který využije variantu Instinct MI300A kombinující 24 jader Zen 4 + 228 Compute Units CDNA 3. V plánu je také Instinct MI300X fungující čistě jako akcelerátor s 304 Compute Units CDNA 3 (počty CU jsou zatím neoficiální). Přinejmenším v laboratořích má AMD ještě Instinct MI300C postavený čistě na jádrech Zen 4 (96), který se od procesorů Epyc liší zachováním pouzdra Instinct s 8192bit HBM3 pamětí.

AMD Instinct MI300X (AMD)

Pro všechny uvedené varianty Instinct MI300 platí, že samotné Zen / CDNA čiplety jsou umístěné na čtyřech aktivních 6nm křemíkových podložkách, které dosahují (každá) datové propustnosti 4,3 TB/s a nesou (každá) 64 MB Infinity Cache, tedy 256 MB Last Level Cache na celý čip (Nvidia Ampere A100 disponuje 40 MB LLC, Nvidia Hopper H100 50 MB LLC).

Lisa Su v kontextu akcelerátorů Instinct dále zmínila přípravu následující generace, Instinct MI400, a větší důraz na softwarový vývoj, neboť z konkurenceschopnosti hardwaru si hlavu nedělá.