Diit.cz - Novinky a informace o hardware, software a internetu

Nvidia: H100 je stejně rychlejší než MI300X. AMD: Ale není.

Zdroj: AMD

AMD při vydání nabídla srovnání Instinct MI300X s konkurenční Nvidia H100. Tyto výsledky nedaly spát Nvidii, která se pokusila zveřejnit vlastní čísla, která její hardware staví do lepšího světla…

Nvidia si konkrétně vybrala výsledek v pravé části níže uvedeného slajdu AMD:

(AMD)

Tedy latenci naměřenou v Llama 2. Nvidia zveřejnila následující graf, ve kterém se snaží zákazníky přesvědčit, že lepších výsledků v této zátěži ve skutečnosti dosahuje její akcelerátor H100:

(Nvidia)

Na to záhy reagovala AMD, která upozorňuje, že výsledky zveřejněné Nvidií jsou v několika ohledech zavádějící. Nvidia Instinct MI300X netestovala a jeho výkonnostní výsledek, který uvádí v grafu, se pokusila získat přepočtem z latencí, které uvádí AMD. Zásadnější problém však je, že výsledky doplněné Nvidií (zelené) byly naměřeny v přesnosti FP8, nikoli v FP16, ve které srovnávala AMD. Jde tedy o srovnávání hrušek s jablky. Další „změnou“ je, že Nvidia pro srovnání hardwaru nepoužila vLLM (podporuje jak Instinct MI300X tak Nvidia H100), ale pro vlastní hardware optimalizovaný TensorRT-LLM. Jinými slovy výsledky zveřejněné Nvidií pocházejí z odlišné konfigurace softwaru a byly naměřeny při nižší přesnosti.

(AMD)

AMD k tomu dodala, že ony „1,4× lepší“ latence, které uváděla při vydání Instinct MI300X, již stejně není aktuální údaj, neboť pokročila s optimalizacemi softwarové platformy a v současnosti se již dostala na latence 2,1× lepší oproti tomu, co ve stejném softwaru a se stejnou přesností (FP16) nabízí Nvidia H100. I když se pro hardware Nvidie použije tensorRT-LLM, zůstává AMD 1,3× lepší latence a dokonce i při použití nižší přesnosti (FP8) u Nvidie a vyšší (FP16) u AMD má již s optimalizacemi provedenými v posledních týdnech AMD mírně lepší výsledek.

Tagy: 
Zdroje: 

Diskuse ke článku Nvidia: H100 je stejně rychlejší než MI300X. AMD: Ale není.

Středa, 20 Prosinec 2023 - 23:02 | Marek Moravčík | Co si mam podla teba dostudovat? To, co som...
Středa, 20 Prosinec 2023 - 21:46 | Kutil | Čtu u něj 23 let v IBM a pak Lenovo. Tak nevím,...
Středa, 20 Prosinec 2023 - 19:56 | SudetChobot | Tak pokud vim tak Read ani nebyl z oboru, kdezto...
Středa, 20 Prosinec 2023 - 19:07 | melkor | ".. Neviem, co citate v mojich prispevkoch,...
Středa, 20 Prosinec 2023 - 13:37 | Kutil | Nejspíš proto, že by ten výpadek neměli čím...
Středa, 20 Prosinec 2023 - 12:35 | Marek Moravčík | A kde je v tomto rozpor s tym, co som napisal? To...
Středa, 20 Prosinec 2023 - 12:13 | melkor | Co se bábě chtělo, to se bábě snilo. Mimochodem...
Středa, 20 Prosinec 2023 - 11:22 | Marek Moravčík | Nepoznam interne dovody EVGA, iba tie reci okolo...
Středa, 20 Prosinec 2023 - 11:18 | Marek Moravčík | O tych sockach si urcite necital odo mna....
Středa, 20 Prosinec 2023 - 10:36 | Hanzi76 | Jaký lepší věci, jakej ray tracing, jakej hate ?...

Zobrazit diskusi