Copyright © 1998-2025 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
Copyright © 1998-2025 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
predpokladam, ze pre CPU ta cache nema prinos kvoli vyssej latencii, co pre GPU az taky problem nie je
na RDNA3 ma infinity cache latenciu >120ns, co uz je viac ako ma cpu do DDR5
spis si projed ten origo clanek : https://chipsandcheese.com/p/amds-strix-halo-under-the-hood
je toho mnohem vice proc to je prozatim urceno jen pro gpu ...
TL;DR pro líné
- propojení mezi centrálním čipem a CCD už neobsahuje žádnou "mezi" logiku (PHY pro IF), což snižuje energetické nároky spoje a má dopad i na latence
- využití MALL je konfigurovatelné (i za běhu).
- při aktuálním nastavení do něj zapisuje pouze iGPU, ale pokud CPU/NPU něco čte z RAM, kotroluje jestli už ten řádek není v MALL
Tak to je lepší, než jsme čekali :) To by mohlo bejt super na sdílení dat cpu-gpu pro AI.
Latence se odvíjí od použité technologie.
Strix Halo využívá technologii TSMC InFO alias Integrated Fan Out alias Chip First.
NAVI3 využívá asi TSMC SoIC?
Trápí mě jedna věc. Strix Halo je natolik pokročilý produkt, že jak to říct, ostatní a hlavně desktopové produkty začínají dost ztrácet. Co bychom dali za 4kanál rychlých LPDDR5 v desktopu, tak výkonnou NPU nebo tak mocné iGPU.
Chtěl jsem upgradovat svoje fanless 5700G mini PC, ale ani s tím, že mám case a zdroj , tak hypotetické 8700G s nějakými 2 kanálovými DDR5 kolem 8000mhz budou vždy proti NUC se Strix Halo úplnou hrůzou.
Prostě case za 3000,- můžu vyhodit a jediná možnost zbývá už jen NUC hotová krabička.
Kdyby to alespoň existovalo ve formě ITX desky. Paměťi i APU by byly sice natvrdo napájené, takže upgradabilita by byla stejně naprd, ale alespoň něco. S takovou to vypadá za pár let s desktopem bledě
Rychlý čtyřkanál v desktopu si říká TRX50.
https://www.gigabyte.cz/rs-rs/motherboards/TRX50-AI-TOP/Support
Tak vypichnul jsi jedinou věc - 4kanál. A ono něco do TRX má i Strix Halo grade iGPU snad? A co cena, spotřeba a formát?
"Strix Halo je natolik pokročilý produkt, že jak to říct, ostatní a hlavně desktopové produkty začínají dost ztrácet. Co bychom dali za 4kanál rychlých LPDDR5 v desktopu, tak výkonnou NPU nebo tak mocné iGPU."
Tak příště místo spojky "nebo" používejte spojku "a".
ITX dosky možno budú. Zatiaľ je oficiálne známych produktov so Strix Halo málo, uvidíme ako sa to vyvinie, čo sa na trhu nakoniec objaví a aj aké budú ceny.
Mimochodom, videl som úvahy, že v budúcnosti by sa mohlo objaviť LPDDR6 v desktope a DDR6 by sa používalo hlavne v serveroch: https://www.cnews.cz/clanky/prichazejici-nova-generace-pameti-je-vic-nez...
v budoucnu hej, ale už i "mobilný" Strix point, tj. minulá generácja začala být 4kanálová, navíc 7500Mhz, Halo to povýšil na 8000Mhz, v desktopu je průměrně 2 kanál kolem 6000mhz, rozhýbat něco na 8000mhz (a to jen dvoukanál) chce skoro CUDIMM, ale to jsou takové malé obezličky, je to drahé a funguje to iba na hiend chipsetov. Musel by přijít nový 4kanál desktop mainstream socket a to nejlépe ihned, což se nestane. Čipletové kousky v desktopu jsou navíc tristně pomalé, 1:1 jste rádi za 6400Mhz, někde k 8000Mhz 1:1 to funguje jen na monolitech G, jenže tam je to zase úplná zastaralost, kde AMD má stále jen Zen4 a RDNA3, čili G řada se nedostala ještě ani na tech. úroveň v mobilním segmentu odcházejícího Strix pointu. ITX desky jsou taky pozadu. Nenašel jsem nic ani se strix pointem. Nejlepší má minisforum ITX s 7945HX, ale to je Dragon Range, čili CPU oriented, igpu len Radeon 610M
4 kanály strix point nemá, možná někde mají blbě popis a jsou použity 4 32b čipy, alias ddr5 "subkanály"... Takže teoreticky by se do desktopu časem dostat mohl jako 9900/10900G, otázka je jak moc by DDR místo lpddr brzdily iGPU.
Jedině opravdu doufat že nějaký výrobce přijde s deskou na dva camm moduly pro Halo...
Oficiální prezentace ke Strix Halo na CESu snad obsahovala slide s 256GB/s memory bandwidth, jak se toho prakticky docílí se čtyřmi 32bitovými chipy?
https://www.techpowerup.com/330548/amd-debuts-ryzen-ai-max-series-strix-...
Strix Halo má oproti Strix Point dvakrát širšie rozhranie.
Ano píšu o Point který zmiňuje Machina, v souvislosti se 4 kanály. Jak je u DDR5 jeden kanál rozdělen na dva 32b subkanály, tak se občas objevuje info, že stávající produkty mají 4 kanál a Halo pak touto optikou vlastně 8... Jen mají poloviční šířku a pokud toto ve sdělení chybí, tak pak dochází k nedorozumění.
Už to vidím, nevšiml jsem si že se debata ze Strix Halo přepnula na Strix Point. U něj je 128bitová šíře samozřejmě na místě, mé přehlédnutí.
Je to tak, šířka sběrnice a počet kanálů je úplně jiná věc.
Len dodám, že v oficiálnych špecifikáciách sú u HX 370 napísané dva kanály (t.j. 128 bit) a podpora DDR5-5600 a LPDDR5x-8000. AI Max+ 395 tam má uvedené 256-bit LPDDR5x-8000.
https://www.amd.com/en/products/processors/laptop/ryzen/ai-300-series/am...
https://www.amd.com/en/products/processors/laptop/ryzen/ai-300-series/am...
Díky všem za upřesnění, omlouvám se za zmatky. Tím pádem by si AM5 desktop zasloužil alespoň derivát staršího Strix Pointu. Technicky tomu nic nebrání
Nič sa nedeje. Mimochodom tu https://store.minisforum.com/products/elitemini-ai370 je tiež v popise na obrázkoch uvedené u HX 370 "quad-channel" aby to vyznelo lepšie :)
Podobně jako na plakátech Alzy v metru před lety "4jádro Intel" a šlo o Atom v lowend notebooku.
Teď se píše 24 jader a ⅔ z toho jsou atomy.
Dočkáš se. To všechno přijde s generací Zen 6 (2027). Plně čipletový design s inFO pouzdřením alá StrixHalo. Jeden design (1-2× 12j CPU čiplet, I/O čiplet s podporou (LP)DDR5(X)-8000), jak pro laptopy, tak desktop. Low-end a mainstream můžou nějakou dobu (1,5-2 roky) vykrývat předchozími designy (CPU, APU) generace Zen 5, příp. Zen 4.
Tak to určitě, AMD se zcela jistě vyplatí na stejné litografii vyrábět starší low end, než moderní mid range.
>> už i "mobilný" Strix point, tj. minulá generácja začala být 4kanálová, navíc 7500Mhz, Halo to povýšil na 8000Mhz
Strix point - 4x 32 bit = 128 bit ... stejná šířka jako DDR5 v desktopu
Strix Halo - 8x 32 bit = 256 bit ... na tohlu šířku je třeba alespoň Threadripper
A protože se jedná o pájené LPDDRx, tak budou rychlejší než DDR5 ve slotu.
>> v desktopu je průměrně 2 kanál kolem 6000mhz, rozhýbat něco na 8000mhz (a to jen dvoukanál) chce skoro CUDIMM
10200 MT/s na AM5 bez CU
12600 MT/s s ARL a CUDIMM
Má to hrozné časování, používá mnohme vyšší napětí, má to vysokou spotřebu, dost často se to přehřívá a stojí to tři rance.
Navýšení výkonu je takové ... dietní
>> Čipletové kousky v desktopu jsou navíc tristně pomalé, 1:1 jste rádi za 6400Mhz,
Ryzeny 9000 jsou prý o něco méně náročné, ale pořád je to Lotýnka
>> někde k 8000Mhz 1:1 to funguje jen na monolitech G
A mohla bych je vidět?
>> úplná zastaralost, kde AMD má stále jen Zen4 a RDNA3
Pro ty modernější má lepší odbytiště, než kolenovrty s dekstopem
Výrobcové se sice pořád zrovna nehrnou do výroby ntb s Ryzeny, ale nějak se vyrojily ty .. Handheldy
Ještě v rámci H1/25 by měly být nějaké ty "mini" PC se Strix Halo.
Jejich výskyt v Zemích Koruny České .. bude v lepším případě ojedinělý.
Ja bych si ten kejs treba i vzal. Tedy koupil, pokud by mi pasoval na mou desku s 5700G.
A dal bys za upgrade z 5700G, co stála nová bůra, za novej strix 20000 litrů? Počítáno s ram, které musí být pájené. A pokud ano, kolik lidí by bylo ochotných to zaplatit? Původní APU bylo budget, tohle je premium, a víme jak se AMD daří prodávat prémiové produkty.
V dobe vydani stalo 5700G pres 9 000, na cca. 5 000 kleslo az po roce a pul. To jen tak na okraj....
Počítejme. Chci s 8700G vymáčknout maximum. Tzn. potřebuju RAM 1:1 na 8000+Mhz. K tomu potřeba CUDIMM. Ty nejsou vůbec levné a je potřeba 48GB, ať jde 16 VRAM +32GB RAM. Dále pro chod CUDIMM potřebuju desku s 870 chipsetem. Akasa Maxwell pro sice mám, ale je to ITX čase, existuje jediná mini ITX deska s 870 chipsetem - Asuska za 11 tisíc. K tomu tedy připočítat samotnou cenu 8700G a 48GB CUDIMM 8000+ Mhz. NUC se Strix Pointem tomu dá stejně naprdel a to stojí komplet i s osazenou VRAM 25tisíc. Z toho plyne že i takhle namaxovaný 8700G je proti tomu nahovno a nakonec by stál skoro stejně
Minisforum bude mít "brzy" v prodeji sestavu s 12j StrixPointem (Ryzen™ AI 9 HX 370).
https://www.minisforum.com/pages/ai-x1-pro
>> Chci s 8700G vymáčknout maximum. Tzn. potřebuju RAM 1:1 na 8000+Mhz. K tomu potřeba CUDIMM. Ty nejsou vůbec levné ..
A už jste slyšel jak moc kompatibilní jsou CUDIMM s AM5?
Vzhledem k tomu, že v AM5 ignorují ty hodiny na modulech, tak jsou nejen drahé, ale i zbytečné.
to už se s APU táhne dlouho, plus mizerná dostupnost, když je nějak dostupná pro stavitele jedna řada tak už je stará protože nastoupila do mobilních zařízení nová. Chápu že mobilní sféra nyní dominuje ale přijde mi že o větší rozšíření svých APU ani moc nestojí, zvlášť nižší řady jsou dlouhodobě špatně dostupné a když z ciziny tak s cenou co se blíží těm větším. Myslím hlavně řadu x300G, dodnes máme doma 4300G pořízenou cca před rokem a půl.
Problém těch APU ale vždy bude propustnost, vždyť ikdyž osadíme aktuálně nejrychlejší RAM tak pořád budou hluboce zaostávat i za obyčejnými GDDR6. Ono už u 8700G je vidět limitace pamětmi, dá se předpokládat že když se po čase dodají lepší než testované 8500 tak výkon o pěkných pár procent opět povyroste. Proto asi v AMD usoudili že přidávat respektive uvolnit to větší jádro nemá smysl, bylo by brutálně bržděno. Řešení by mohl přinést zavedení tříkanálu jako to kdysi krátce zkusil Intel. Jenže jak drahé by takové desky byly je otázka, asi by ta cena nebyla daleko od platformy TR a tím by to pozbývalo smyslu.
Tak by tie APU mohli rovno vydať do socketu sTR5, nie?
Chtel bych videt APU s 3D V-Cache a Infinity Cache(+L3+L4...) :-)
bude, bohužel to ještě více ukáže jak je desktop pozadu. Já s NUCkem už ale na V cache nečekám, protože mě k telce stačí iGPU výkon 395+ Max AI superhero nebo tak nějak prasecky pojmenovali top spec Strix Halo. Navíc GM tek má 70W mode a Occulink, takže to mu jde do budoucna upgradovat grafika a TDP to mít příliš škrcené nebude
Smysl desktopu se holt dále zužuje. CPU tam ani není to hlavní, tak není třeba investovat moc do jeho vývoje. Všechno se děje na GPU kartě, která má všechno u sebe. Případně jiné specializované karty.
A já zase 12 panen.
Zahledl uz prosim nekdo nejaky "konkretni" nonNTB produkt se Strix Halo vyjma HP Z2 Mini G1a?
NUC plánuje čínský GMtek s EU obchodem, dále klasicky německé minisforum (aktuálně jsou starší top spec Strix Point NUCka skladem), nakonec ASUS už je taky hotov s takovým tím stojánkovým designem a pak teda tebou zmiňované HP. To jsou 4 o kterých vím. Vše top spec 395+, vzhledem k pájeným RAM očekávám až 3 konfigurace - 32/64/128GB s tím že 128GB verze bude dělat možná jen HP protože oni jediní to pojímají jako workstation, přitom 128GB verze je ideální na AI pokusy. 96GB se dá jako VRAM a zbylých 32GB na systém. Pak to pojme velký 3x větší Llama model, než RTX 5090 (omezeno 32GB VRAM) a je cca 2x rychlejší. To nemluvíme ani o ceně a spotřebě oproti té RTX 5090. Chci to minimálně zkusit, jestli se to osvědčí, tak mi pojede uncensored verze 24/7
Omezení dedikovaných GPU na VRAM je čím dál brutálnější.
Hlavne tomu nová generácia grafík rozhodne nepomôže. Pretože to vyzerá tak, že nové grafiky AMD budú končiť na 16 GB a u Nvidie bude 5090 jediná možnosť nad 16 GB. To znamená menší výber a priplatiť si za to ešte viac ako doteraz.
nVidia potřebuje diverzifikovat portfolio, aby pak ještě byly Quadro s dvojnásobkem VRAM a ty nekonkurovaly serverovým kartám. Spoléhají, že ještě nějakou dobu budou alespoň někteří zákazníci (velryby) vyžadovat CUDA.
Okopírovali to od Apple, který 10 let jel 8 GB RAM v základu. Ale i ten to nakonec vzdal.
No tak mne je jasné, že to Nvidia robí kvôli tomu aby vytiahli zo zákazníkov maximum peňazí. V tejto generácii bude z hľadiska VRAM asi najvýhodnejšie použiť viacero 5060 Ti 16 GB ak je možné danú záťaž rozdeliť na viac GPU.
5060 Ti budou 10GB karty se 160-bit sběrnicí.
Normální 5060 bude 8GB se 128-bit sběrnicí.
5060 Ti budou 10GB karty se 160-bit sběrnicí.
Normální 5060 bude 8GB se 128-bit sběrnicí.
https://diit.cz/clanek/infinity-cache-strix-halo-je-hardwarove-systemova-aktualne-vsak-urcena-gpu/diskuse#comment-1491031 +A nie je 160 bitov nejak moc na takú kartu? Nestačilo by 128 bitov pre 5060 Ti a 64 bitov pre 5060? ;)
Ani 192 bit sběrnice a tomu odpovídající velikost VRAM nebyly u xx60 karty zas tak velikou vzácností.
Nějaký ten pohled na to co je nějaká třída grafické karty, jaké má parametry a cenu:
https://www.techspot.com/article/2950-nvidia-rtx-5080-or-not/
To bola irónia ale možno to nebolo poznať :) V každom prípade, úniky/odhady čo som videl ja hovorili o 128 bitovej zbernici pre 5060 aj 5060 Ti.
Na starším Epyc 64core se 512GB prý plný DeepSeek R1 671b Q4 dosahuje rychlosti 3-4 tokeny/s.
https://www.youtube.com/watch?v=Tq_cmN4j2yY
K tomu je dosť dôležité dodať, že Deepseek R1 je tzv. "mixture of experts" a celý má síce 671B parametrov ale aktívnych z nich je iba 37B. V praxi to znamená, že vyžaduje hodne RAM ale nie je až tak náročný na priepustnosť.
Šlo mi o to, že na testované platformě (Milan based) nelze očekávát souhrnnou paměťovou průchodnost větší než 205GB/s (octa-channel@3200MHz) což je čistě teoreticky srovnatelné se Strix Halo. Otázkou jsou dosahované průměrné latence (při 64c půjde o Epyc s osmi chiplety zapojených jedním GMI k IO die). Porovnat vzájemný výkon v TFLOPS (od iGPU Strix Halo se údajně čeká 50TFLOPS při FP16) si netroufnu ani odhadnout.
Musím sa priznať, že neviem či to má veľký zmysel porovnávať, keď na Strix Halo ten model nepôjde spustiť, pretože potrebuje aspoň pol TB RAM. Keby taká verzia Strix Halo existovala, tak myslím, že to Strix Halo by bolo rýchlejšie. Tie modely, čo na Strix Halo pôjdu spustiť, ako napríklad Llama 3.3 70B majú inú architektúru ako Deepseek z toho videa.
Ináč, to video som zatiaľ nevidel, je tam aj niečo o čase kým sa vygeneruje prvý token?
Natažení modelu do paměti snad 4min (asi z NVMe Samsung 990 Pro), prodleva do prvního výstupu v tagu "thinking" u jednoduchých dotazů jednotky minut. To video je sestříhané, průvodce škubnul hlavou. Ale zmiňuje pro testy total time, což předpokládám bude doba trvaní.
Pýtam sa preto, že generovanie odpovede pomocou LLM má v zásade dve fázy: 1) spracovanie promptu, 2) generovanie výstupu. Tá prvá fáza je náročná viac na výpočtový výkon, tá druhá na priepustnosť pamäte.
Bude dosť zaujímavé porovnať Strix Halo s M4 Pro. Pretože Apple HW momentálne umožňuje spustiť veľké modely ale podľa toho čo som našiel, tak oproti čisto GPU riešeniam dlho spracováva prompt a tým pádom relatívne dlho trvá kým vylezie prvý token.
Tak som sa dostal k tomu videu. Prompt to spracováva rýchlosťou ~20 tokenov za sekundu. Aj sám autor vo videu hovorí, že je to na tom HW neprakticky pomalé.
Je to trochu podobné ako si na bežný desktop dať 128 GB RAM a skúšať tam spustiť nejaký ~70B model. Ono to síce ide spustiť ale beží to ukrutne pomaly.
Pomalé? Kolega včera používal Chat-GPT 4 v době špičky a jelo to asi 2 tokeny za sekundu.
No a ja keď pustím Llamu 70B na mojom desktope tak z toho vytiahnem aj menej ako 1 token za sekundu ;) Ale nemusíme tu z toho robiť súťaž o najpomalší LLM.
Deepseek R1 generuje tokeny aj v rámci "premýšľania", takže vôbec nemusí poskytnúť konečnú odpoveď rýchlejšie ako ChatGPT-4 generujúce 2 tokeny za sekundu. A to nehovorím o čase na spracovanie promptu.
Možnost posoudit případné rozdíly výsledků pro různě velké modely má něco do sebe.
Ak je niekto trpezlivý a trvá na tom, že to musí bežať lokálne (napr. kvôli bezpečnosti dát), tak sa to samozrejme dá na niektoré účely použiť.
Ale ináč je asi jednoduchšie a rýchlejšie si ich proste vyskúšať od nejakého poskytovateľa. V niektorých prípadoch sa to dá aj zdarma.
Ukecané "vědmy" mne nějak neberou.
Nemáte tam nějakou malující potvůrku?
Deepseek zpřístupnila i jejich Janus-Pro.
https://github.com/deepseek-ai/Janus
Doporučuji nezadávat "Analog watch on the hand."
Pro psaní komentářů se, prosím, přihlaste nebo registrujte.