V podstatě nejde o nic nového a myšlenka sama o sobě by byla objevením Ameriky. Možná si ještě pamatujete, že v roce 2016 přišel Samsung s myšlenkou tzv. low-cost HBM. Tehdy se rozjížděly plány s HBM2 a bylo jasné, že bez cenových optimalizací by HBM paměti neměly v mainstreamovém segmentu prostor. Samsung tehdy přišel s myšlenkou zúžit 1024bit rozhraní HBM pamětí na poloviční 512bit a šířku rozhraní částečně kompenzovat vyššími takty. Tím by trochu stoupla spotřeba, ale podstatně klesly náklady na rozměry pouzdra a stejně tak náklady na křemík, který je potřeba k propojení HBM s čipem (ať už jde o interposer nebo můstek, pokud je plocha rozhraní poloviční, jsou prostě nároky na křemík nižší).

Myšlenka to nebyla v jádru špatná - špatné však byly události na trhu. Krize v paměťovém segmentu (ceny pamětí byly na dně) v kombinaci s faktem, že GPGPU akcelerátory využívající HBM byly na vzestupu, přiměly výrobce pamětí pojmout HBM jako čistě high-endové řešení. Tlak na kapacitu a přenosovou rychlost převážil nad tlakem na cenu, HBM vypadly z PC segmentu a plány s low-cost HBM padly.

SPHBM4

Nyní, s přípravou čtvrté generace (či spíše šesté, pokud počítáme i půlgenerace) se v podstatě vracejí. HBM4 samy o sobě mají přinést naopak rozšíření rozhraní na 2048bit, čímž se nároky na propojení zvýší. Pro nižší cenový segment pak mají sloužit tzv. SPHBM4, což není nic jiného, než implementace myšlenky původních low-cost HBM do připravovaných HBM4. Nelze samozřejmě očekávat, že cílem je dostat HBM do mainstreamových grafik nebo třeba telefonů. To je dávno pasé. SPHBM4 cílí na typy akcelerátorů a podobná řešení, u kterých není absolutní prioritou datová propustnost, ale kde se hledí i na cenu.

Sběrnice se zúží na 512bit, což zároveň zajistí snazší kompatibilitu s levnějšími organickými substráty, takty se zvýší, aby se zlepšila datová propustnost a celé řešení bude z hlediska nákladů na jednotku kapacity výhodnější.

Toto řešení zjevně míří do podobného segmentu, jako ultrarychlé GDDR7. Plány s akcelerátory, které nestojí na špičkových HBM, má AMD i Nvidia. Nvidia je přestavila v kontextu tzv. Rubin CPX. Jde o moduly, výpočetním výkonem podobné standardní Rubin, ale namísto HBM osazené levnějšími GDDR7. Nvidia poukazuje na to, že inference (použití natrénovaného AI modelu) se skládá ze dvou hardwarově náročných fází. Tzv. prefil phase je náročná na výpočetní výkon, ale nenáročná na datovou propustnost a decode phase je naopak nenáročná na výpočetní výkon, ale náročná na datovou propustnost. Nvidia tak chce prefil phase přesunout na moduly Rubin CPX a na plnohodnotném Rubin s HBM realizovat pouze decode phase. To sice samo o sobě (při stejném počtu GPU) nijak významně nezvýší výkon, ale mohlo by to snížit výrobní náklady části modulů (o rozdíl ceny mezi HBM a GDDR7). Podobné řešení plánuje i AMD s GPU AT0 (rozhraní GDDR7), která alespoň prozatím cílí na grafiku i AI. Modely určené pro AI budou zjevně levnější alternativou řešení postavených na HBM4.