Společnost Etched poprvé veřejně promluvila o své existenci i projektu, jehož cílem je vytvoření akcelerátorů nové generace pro generativní umělou inteligenci. Prostředkem k tomu je architektura typu ASIC (aplikačně specifický integrovaný obvod) úzce specializovaný pro zpracování transformátorů (transformer, model strojového učení vyvinutý Googlem před sedmi lety a využívaný společnostmi jako OpenAI, Google, Meta aj.). Specifikem tohoto akcelerátoru, který Etched nazvala Sohu, je architektura ASIC zaměřená čistě na zpracování transformátorů.

Etched předkládá čísla, podle nichž Sohu překonává i nadcházející generaci produktů Nvidie (Blackwell) více než o řád. V modelu Llama-3 70B má systém s osmi Nvidia H100 dosahovat 25 tisíc tokenů za sekundu a Nvidia B200 43 tisíc tokenů za sekundu, zatímco Sohu (opět v konfiguraci po osmi) rovnou 500 tisíc tokenů za sekundu. Tím má dosahovat výkonu potřebného pro zpracování některých AI úloh v reálném čase.

Výkon akcelerátoru Sohu podle vlastních čísel výrobce (Etched)

Společnost Etched vysvětluje, že tohoto výkonu dosahuje úzkou specializací návrhu ASIC a z toho vyplývající efektivitou, kdy v reálné zátěži dosahuje výkonu odpovídajícímu až 90 % teoretických FLOPS, zatímco akcelerátory na bázi GPU dosahují 30-40 % teoretických FLOPS.

Nyní nohama na zem. Už z laického pohledu lze namítat, že kdyby byla svatým grálem AI odvětví výlučně efektivita, byly by již nyní nejprodávanějšími akcelerátory ty postavené na bázi ASIC a nikoli produkty na bázi GPU. Někde tedy asi bude zádrhel, o kterém Etched nemluví.

Software

Reálně je těch zádrhelů hned několik. Jedním je skutečnost, že pro velké množství zákazníků je rozhodující softwarová platforma a ta (respektive její vývoj) je finančně náročnější než návrh samotného hardwaru. Kdo situaci delší dobu sleduje, jistě za posledních ~5 let zaregistroval spektakulární prezentace různých startupů slibující výkon na úrovni několikanásobku hardwaru zavedených značek. Pro většinu těchto startupů je společné, že od té doby o nich už nebylo slyšet.

Komerčně dostupný hardware může být daleko

Tím se dostáváme k druhé skutečnosti a to obvyklé praxi, že tyto firmy(čky) své produkty zpravidla prezentují ve fázi emulace, tedy v době, kdy reálný hardware ještě ani neexistuje a jeho chování je simulováno. Než se jim produkt podaří dostat do křemíku, odladit a připravit k sériové výrobě, jsou na trhu až o dvě generace novější produkty, než se kterými byl v době představení papírově srovnáván.

ASIC má i nevýhody

Třetím zádrhelem je samotná architektura ASIC. Ta je sice efektivní, ale v důsledku své úzké specializace obvykle málo použitelná až nepoužitelná pro další typy výpočtů. Etched dosahuje efektivity kombinací architektury ASIC (tu však využívá řada výrobců) a ještě užším zaměřením na zpracování transformátorů. Systémy pro akceleraci AI ale obvykle nejsou využívány čistě jednoúčelově a i ty, které jsou zaměřené jen na AI, často potřebují data, na kterých je trénováno, nejprve nějakým způsobem zpracovat, předkousat. Ať už jde o zpracování obrazu, videa, nebo i případně zvuku, jsou naopak GPU pro tyto účely velmi efektivní, zatímco ASIC málo vhodné až nepoužitelné (podle toho, jak úzce je daný obvod specializovaný - přičemž Soho od ASIC je čistě akcelerátor transformátorů). Jinými slovy, pro naprostou většinu praktických účelů by si pořizovatel Soho musel pořídit ještě další hardware pro související úlohy.

Superpočítače

V případě segmentu superpočítačů je pak vysloveně univerzálnost vyžadována, protože akcelerace AI je jen jednou z řady zátěží, které na těchto strojích běží. Připomeňme, že Intel měl problémy s dodáním hardwaru pro superpočítač Aurora právě proto, že zadavatel vyžadoval AI akceleraci, ale také univerzální výpočetní výkon a to včetně podpory FP64. Intel dlouho neměl hardware, který by podporoval obojí a zadavatel nechtěl kombinovat čipy podporující jedno a druhé (více prostoru, vyšší energetické nároky, vyšší nároky na chlazení…).

Rizika

Nakonec bývá jako důvod preference GPU mnohými zákazníky uváděno snižování rizik. Pokud by se prosadil mírně odlišný přístup k AI, může být úzce specializovaný ASIC v dané chvíli nepoužitelný. Pokud by bublina AI splaskla, stane se ASIC bezcenným, zatímco akcelerátor postavený na GPU stále zůstává výkonným výpočetním akcelerátorem, který lze uplatnit.

Na jednu stranu sice není vyloučeno, že o Etched ještě uslyšíme, na stranu druhou jde o jeden z desítek startupů, které se snaží (a snažily) na poli AI akcelerátorů prosadit, přičemž realita je taková, že se dosud žádný z nich mezi nejprodávanější značky nedostal.