Ještě před měsícem si šéfredaktor webu ServeTheHome, Patrick Kennedy, stěžoval, jak problematická je situace v segmentu mezi řešeními AI akcelerace, postavenými na bázi konzumního křemíku, a segmentem profesionálních AI akcelerátorů v podobě modulů. Optimální řešení, akcelerátory v podobě karet pro PCIe, prakticky vymizelo z trhu. Ostatní řešení jsou problematická. SoC (Apple Mx Ultra, AMD Halo, Nvidia DGX Spark) jsou použitelná v rámci svého segmentu, ale pro náročnější zátěže nestačí, zpravidla nemají odpovídající datovou propustnost (LPDDR5x) nebo výkon. PRO varianty PCIe GPU pak trápí kapacita paměti (desítky GB) nebo stále nedostačující datová propustnost, která většinou dosahuje řádu stovek GB/s. Pak najednou následuje obrovský skok a jsme v serverech a s akcelerátory, kde každý čip konzumuje >1000 wattů a do racků se ještě ládují po osmi. Nehledě na cenu.

Kennedy upozornil, že v podstatě poslední řešení pro segment PCIe akcelerátorů, které lze osazovat do systémů (a serverů) s klasicky dimenzovaným napájením, je Hopper, konkrétně Nvidia H200 NVL PCIe z konce roku 2024. Nvidia si toho nejspíš je vědoma, neboť koncové ceny v ČR se podle dostupných nabídek pohybují kolem 800 tisíc Kč včetně DPH (za kus, ne za systém se čtyřmi).

Instinct MI350P

Zájemci o řešení pro tento segment se ale mohou radovat, protože se konkurenční situace zlepšuje. AMD rozšířila nabídku o Instinct MI350P, což je v podstatě polovina Instinct MI355X v PCIe provedení pro 450-600W segment (klasický Instinct MI355X je 1400W, Instinct MI350X je 1000W).

Jde tedy o 3nm jádro s 6nm aktivním podkladovým křemíkem (integruje 128MB cache), 8192 stream-procesory, 2200MHz taktem (jako Instinct MI350X) a 144 GB HBM3e na 4096bit sběrnici s propustností 4 TB/s, tedy o řád nad produkty postavenými na bázi hardwaru původně určeného pro PC segment. Karta má uvedené PCIe 5.0 ×16 rozhraní a výchozí TDP (TBP) 600 wattů, které lze snížit na 450 wattů.

Instinct MI350P (AMD)

Kartu lze funkčně rozdělit pro dvě nebo čtyři nezávislé výpočetní zátěže, kdy se výpočetní prostředky, paměť, kapacita L2 cache i DMA enginy dělí rovným dílem. Videoakcelerátory (fyzicky dva) a JPEG akcelerátory (fyzicky 20) se dělí na rovným dílem při rozdělení na dvě zátěže - při čtyřech se mezi dvojicí příslušná polovina sdílí.

Instinct MI350P (AMD)

Instinct MI350P přichází téměř čtyři roky po Instinct MI210, posledním PCIe HBM řešením od AMD. Od toho, krom očekávatelných parametrů, liší ještě v jednom ohledu. Jde totiž o první kartu od AMD, která nese 16pin napájecí konektor. Původní Instinct MI210 byl vybaven osmipinem (šlo o 300W řešení).

Oficiální cena zveřejněna nebyla. Lze očekávat, že karta bude dodávána především výrobců serverů a AI systémů. Cenu pro koncového zákazníka lze nanejvýš odhadnout z původní ceny Instinct MI210, kterou Dell jako novinku kusově prodával za $15 000. Lze tedy počítat s cenou kolem $20 000, plus mínus.