AMD specifikacemi Instinct MI450X přiměla Nvidii přepracovat Rubin
Již v červnu se objevily zprávy, z nichž bylo možné usuzovat, že to AMD s nadcházejícími dvěma generacemi výkonných AI akcelerátorů myslí velmi vážně. O řadách Instinct MI400 i MI500 se objevovaly oficiální i neoficiální informace, ze kterých vyplývalo, že pokud Nvidia nesešlápne plyn, mohla by ztrácet podíl na trhu rychleji než doposud. To by sice, s obrovskou částí AI trhu, kterou nyní má, nepředstavovalo žádné existenční ohrožení. Miliardy až desítky miliard dolarů, o které v tomto kontextu jde, však zjevně nejsou zanedbatelné.
V srpnu přišla společnost Fubon Research s informací, že podoba Instinct MI450X přiměla Nvidii k přepracování návrhu příští generace (Rubin), což může vést ke zpožděnému vydání. Nvidia v polovině srpna popřela, že by k nějakému zpoždění mělo dojít. Informace o úpravě specifikací ale nevyvrátila.
CEO Nvidie Jen-Hsun Huang prezentuje Rubin (Nvidia)
Nyní společnost SemiAnalysis zveřejnila, že Nvidia nejen do podoby Rubin zasáhla, ale popsala i některé změny. AMD původně s Instinct MI450X cílila na TDP 2300 W, ale později jej zvýšila na 2500 W. Její řešení mělo původně disponovat datovou propustností 18 TB/s na GPU, později 20,1 TB/s na GPU. Nvidia pro Rubin počítala s TDP 1800 W a datovou propustností 13 TB/s na GPU, přes léto ale návrh změnila na TDP 2300 W a propustnost 20,5 TB/s na GPU.
SemiAnalysis to vnímá jako ukázku funkčního konkurenčního prostředí a ilustruje tím, že zrychlování na straně AMD přimělo Nvidii k vylepšení jejích vlastních produktů.
Tím však situace nekončí. Mediální přestřelka ze strany Nvidie neskončila popřením odkladu Rubin, ale vypuštěním informací o přípravě tzv. Rubin CPX. Jde o moduly, výpočetním výkonem podobné standardní Rubin, ale namísto HBM osazené levnějšími GDDR7. Nvidia poukazuje na to, že inference (použití natrénovaného AI modelu) se skládá ze dvou hardwarově náročných fází. Tzv. prefil phase je náročná na výpočetní výkon, ale nenáročná na datovou propustnost a decode phase je naopak nenáročná na výpočetní výkon, ale náročná na datovou propustnost. Nvidia tak chce prefil phase přesunout na moduly Rubin CPX a na plnohodnotném Rubin s HBM realizovat pouze decode phase. To sice samo o sobě (při stejném počtu GPU) nijak významně nezvýší výkon, ale mohlo by to snížit výrobní náklady části modulů (o rozdíl ceny mezi HBM a GDDR7).
Instinct MI450X však nadále zůstává jedna zásadní výhoda: Počítá s 432 GB paměti na GPU, zatímco Nvidia s má i podle aktuálně známých údajů být vybavena 288 GB na GPU. Pro Instinct MI450X to znamená možnost podpory podstatně větších AI modelů.