Diit.cz - Novinky a informace o hardware, software a internetu

Nvidia vydá nové AI akcelerátory pro Čínu, top model je ~7× pomalejší než H100

Americký zákaz vývozu AI akcelerátorů do desítek zemí světa přiměl Nvidii zareagovat. Společnost chystá trojici nových modelů, které se do limitů vejdou - byť dopad na výkon je enormní…

Nový zákaz vývozu AI akcelerátorů do 46 zemí světa (včetně a především Číny), který zpřísňuje klíčové parametry, začal platit v říjnu. Nvidia již zareagovala a modely původně určené pro Čínu s mírnými úpravami přesměrovala na západní trhy.

Překvapivější však je, že Nvidia o čínský trh nechce přijít a připravuje trojici nových modelů, které budou splňovat požadavky definované americkými sankcemi. Jeden (HGX H20) je postaven na GPU Hopper GH100 (jako předchozí řada), dva (L20 PCIe, L2 PCIe) na Lovelace. V prvním případě AD102 (známý z GeForce RTX 4090), druhý zůstává nejasný, s ohledem na kapacitu paměti a datovou propustnost snad AD104 (známý z GeForce RTX 4070).

Jak ukazují parametry, HGX H20 dosahuje 296 TFLOPS v INT8 či FP8, což je oproti 2000 (v případě první verze Nvidia H100) téměř 7× nižší výkon. To platí plus mínus pro všechny tenzorové hodnoty. Nedošlo však jen na omezení. Kapacita L2 cache stoupla z 50 na 60 MB, datová propustnost HBM stoupla z 3 na 4 TB/s a podle Semianalysis jsou aktivní inovace, Nvidií původně chystané až pro další generaci, které umožní H20 o více než 20 % rychlejší zpracování LLM inferenčních úloh (oproti H100).

Vylepšení přinášející desítky procent výkonu však nemohou vykompenzovat snížení výkonu v násobcích. Otázkou samozřejmě zůstává, za jakou cenu bude Nvidia tato řešení nabízet a jaký o ně reálně bude zájem. Pro výrobce to může znamenat velký prostor pro vymetení skladů od čipů výrazně zasažených defekty, na druhou stranu Čína už má prakticky hotovou vlastní alternativu. Huawei minulý týden představila akcelerátor Ascend 910B, který má podle slov výrobce výkon v rozmezí původní Nvidia A100 a H100. I kdybychom předpokládali, že reálně bude spíše plus mínus na úrovni A100, půjde stále o produkt násobně rychlejší než na ~15 % původního výkonu ořezaná Hopper od Nvidie.

Diskuse ke článku Nvidia vydá nové AI akcelerátory pro Čínu, top model je ~7× pomalejší než H100

Úterý, 14 Listopad 2023 - 23:53 | melkor | FP64 / PF32 / FP16 H100 - 26 / 51 / 205 H200 - 34...
Úterý, 14 Listopad 2023 - 15:33 | DRK | Celkové zadlužení a horší než USA?? https://...
Úterý, 14 Listopad 2023 - 12:03 | no-X | Hodnoty 383/48/48 se týkají MI250X (FP16 matrix...
Úterý, 14 Listopad 2023 - 00:21 | peliculiar | @ snajprik: Porovnával jsi tu jejich dostupnou...
Pondělí, 13 Listopad 2023 - 19:38 | Jensen | Zapoměl si na jednu podstatnou věc,transformer...
Pondělí, 13 Listopad 2023 - 18:03 | Pety | FP16/FP32/FP64 H100: 205/51/26 Tflops MI300A: 383...
Pondělí, 13 Listopad 2023 - 17:42 | Ondar | Ta měla na svojí dobu velice slušnou propustnost...
Pondělí, 13 Listopad 2023 - 16:47 | kapa | a?
Pondělí, 13 Listopad 2023 - 16:30 | Jensen | Ano, ale pořád o parník rychlejší ako Instinct...
Pondělí, 13 Listopad 2023 - 16:22 | peca | Snajprik píše po slovensky, nie po Anglicky. Tedy...

Zobrazit diskusi