Copyright © 1998-2024 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
Copyright © 1998-2024 CDR server s.r.o.
Všechna práva vyhrazena.
ISSN 1804-5405.
Nvidia jako král ojebávacích technologií je nedostižná. Nakonec už DLSS je výborným příkladem, jak lze lecos dobře ojebat a pro uživatele je to stále ucházející výsledek.
Ta přesnost na úrovni 1 + 1 = číslo mezi 1 a 10, je pro chatgpt také dostačující. :-)
v oj3bavani je vyborny aj intel
ale urobit z 0,00768 EXAFLOPS krasny okruhl a cely 1 EXAFLOP, tak to chce umenie
to je proste tak ked sa porovnavaju hrusky a jablka, alebo v tomto pripade ribezle a melony
Hádám, že Nv a Intel se v ojebech budou předhánět.
první a první ve skoku na špek tendenčnímu článku .-)
Klasické Huangove klamstvá.
V nadpise sa nachadza "DGX GH200 AI Supercomputer". To slovo AI tam asi nebude len tak zo srandy.
V clanku sa pise: "Hodnoty 4000 GFLOPS je dosahováno v přesnosti FP8 (tedy 8× nižší), pouze při tenzorových operacích a pouze při využití tzv. sparse neboli sparsity režimu."
Takze 1EFLOPS je dosahovany v tenzorovych operaciach, ktore sa vyuzivaju pri AI vypoctoch. Preco sa potom vo vacsine clanku pise o vykone v FP64? Zasa sa tu hlada senzacia a vyraba clanok na temu "NV zasa klame". Ocakavam nieco podobne aj na DDWorlde. Tam na to maju patent. A porovnanie s DLSS je uz uplne mimo.
Tu je clanok aj s trochou informacii o tom, co NV vlastne predava, co to dokaze akcelerovat a pri akej spotrebe:
https://www.sector.sk/novinka/288889/nvidia-predstavila-svoj-novy-ai-sup...
To ale asi autora nezaujima a jeho ciel bol iny.
„Preco sa potom vo vacsine clanku pise o vykone v FP64?“
Protože výkon superpočítačů se odjakživa uvádí v FP64 univerzálního výpočetního výkonu a na této jednotce jsou postaveny i všechny žebříčky výkonu superpočítačů. Pokud vznikaly úzce specializované počítače, které cíleného výkonu dosahovaly v jiném formátu, vždy byla u výkonu konkrétní jednotka uvedena. Pokud se neuvádí, chápe se jako FP64. V celé TZ Nvidie není ani jednou uvedeno, že by šlo o FP8.
Chápu, proč to zkoušíte, ale tohle se okecat nedá.
Viem, co si myslite, ze skusam, ale tak to nie je. Zameranie tohto superpocitaca je priamo v jeho nazve a ani NV neprezentuje tento vykon ako vykon v FP64. Ked som o tomto superpocitaci cital prvy krat, tak ma ani nahodou nenapadlo, ze ide o vykon v FP64. Kedze je vsade spominane, na co je to cele zamerane.
meles kraviny.. dovzdelej se..
https://en.wikipedia.org/wiki/Exascale_computing
fp64 je standard.. kdyz uvadim vykon superpocitace v jinejch jednotkach, musim uvest v jakejch.. to je jako kdyby vyrobce auta mluvil o zrychleni z nuly na sto a nezminil ze to neni 100 km/h ale 100 stop/h..
Ale s tym ja suhlasim. Tu jednotku vykonu uviest mali jasne. Len je vtipne ako ste sa toho chytili lebo ide o NV. BTW odkedy prisiel nastup podpory AI v HW grafickych kariet, vzdy sa vztahoval hlavne na vykon v FP16 a FP8. Je potom usmevne ako si niekto mysli, ze ludia, ktori si chcu kupit superpocitac na nieco ine ako AI a je pre ne dolezity vykon v FP64, ze by sa pomylili a kupili by superpocitac zamerany na AI kvoli neuvedenej jednotke v marketingovych materialoch. Pretoze urcite je v zaujme NV oklamat svojich zakaznikov a predat im nieco co vlastne nechcu.
Tohle si naštěstí nekupují lidé, kteří nevědí. Ale Nvidia si naběhla sama už v té prezentaci, když to zkusili "srovnávat" s celým serverem. To dělat prostě neměli.
To ano. Mali zrovnavat iba AI vykon s AI vykonom. Alebo aspon povedat jasne, co porovnavaju.
ved cela ta prezentacia nebola robena stylom chcem predat AI server AI zakaznikom, bolo to robene pre gamerov, ktori si z toho zoberu jedine, nvidia je najlepsia (preto tie smiesne wzuuum zvuky, vtip o Crysis, light light, more lights, more you buy, more you save, smradlavy tofu syr,dolezita vaha servera???, prirovnavanie sa k iPhone....) a kedze ma najlepsie servery, preto ked mam ich grafiku, som najlepsi hrac, clovek
bola to show pre dementne deti
A já měl za to, že prezentace jsou pro investory a partnery. Proč by se hráč díval na prezentaci něčeho, co si stejně nekoupí. Smysl to dává, jen pokud tam někdo fetuje a hodně.
Ta prezentacia ale nebola iba o AI serveroch, ci hej?
Sice jsem neměl sílu a nervy se dívat na celou, ale přišla mi zmatená a komediální. Vůbec ne tak profesionální, jak by měla být.
hlavne bola o Jensenovom egu
To je vždy přece.
jindy je o i o Jensenovo egu.. ted to bylo jenom o Jensenovu egu.. jinak to nedavalo smysl, hrusky a apple, superpocitace a hry, pomichany vsechno..
Kto chcel, tak si dokazal dat dokopy co sa prezentovalo:
https://www.cnews.cz/clanky/nvidia-odhalila-ace-mluvici-avatary-a-postav...
https://www.sector.sk/novinka/288889/nvidia-predstavila-svoj-novy-ai-sup...
https://www.techpowerup.com/309288/computex-2023-nvidia-keynote-address-...
Ale ked chce niekto zasa riesit Jensenovo ego, dalsie NVIDIA akoze podvody a lzi, tak riesia nezmysly ako tu v diskusii.
k tomu ACE, co som videl z prezentacie, bolo to o tom ze ako hrac by som po 1. vete zacal stlacat mezerovnik (predstav si take obkecavanie o nicom pri kazdom npc ktore stretnes)
a napadlo mi, ako pise v .cnews.cz Jan Olsan, to npc AI bude narocne na pamat a nvidia je znama svojou stedrou ponukou VRAM pre svoje gpu :)
Je potřeba zákazníky patřičně motivovat ke koupi další karty.
Doposud se pro AI používalo 8 bitů celočíselně a 16 FP nebo 16 Bfloat - (liší se rozsahem a přesností). Nic jiné snad ani nemá význam.
Ved o tom cely cas pisem.
To ano.
to sice moze byt pravda ze na AI je nieco ine, ale standard je inde - ale HLAVNE PREBOHA ked chcem porovnavat a vztahovat, musia byt jednotky rovnake, pretoze 1 EFLOP v nejakej hypotetickej int4 presnosti je nieco uuuuuuuuuuuuuuuuuuuplne ine ako 1 EFLOP v nejakej hypotetickej int128 presnosti
a ked chcem ist mimo standardu, tak to musim spomenut a uviest na pravu mieru - inak vychadzaju bez prepacenie c0c0tske hausnumera, priklad: rychlost sa udava v km/h alebo m/s, no lenze vodoinstalacny material a plynarensky material ma ciachovane priemery trubiek a vsakovane ine rozmery v palcoch, je to divne ale je to tak ... proste neni to v metroch ani kilometroch
ak rychlost chodca je napr. 6 km/h, tak to mozem doj*bat rovnako ako nvidia tak, ze mi tam vyjde hausnumero ako hovado 40000, ale uz vobec nespomenem ze to je v palcoch za hodinu
Ty nejběžnější imperiální jednotky buď na pár desetinných míst (jak běžně potřebuji) znám, nebo umím odvodit. Délky, hmotnosti a rychlosti. Plochy a objemy, nebo tlak a další už moc ne.
miles, feets, square feets, pounds .. přibližná výsledek dám bez počítání, pokud to není potřeba přesně
mph .. to už je horší
mpg .. je praktičtější než litr/100km .. pokud vám to počítá v majlích a měří v galonech
Ounce, OZ ... to nedávám vůbec
Převody mezi °C a °F .. mne fakt otravují
BTU ... je na zabití
Já to bral tak, že nejnižší rozlišení pro pohyblivou řádovou čárku tedy FP je 16 bitů a nějak přemýšlím, k čemu je tady 8 bitů a říkám si zda by nebylo v osmi bitech počítat jen celočíselně. Tohle je dobré jen na nějaké pomocné rozhodování. Ale ne pro výpočty. A to že se výkon superpočítačů udává v přesnosti 64 bitů má své logické důvody.
Pokud nekdo chtel 1EF, tak si jiz loni poridil Cerebras CS2 - na dany vykon jim staci 16 waferu. A skaluje to klidne az na 192, coz je 12 EFlops.
Ale kdo si tu obludu může dovolit? Tam je problém to uchladit ještě složitější - větší hustota tranzistorů na tak velké ploše je peklo. Ale zas efektivita přenosů dat po sběrnici musí být parádní.
Problemy s chlazenim vyresil vyrobce prece, se to dodava jako hotove reseni.
Jinak problemy s krmenim te vypocetni matice maji oba - kazdy CS2 wafer krmi dle mych vypoctu cca 16 cpu (64C Epyc 3), zatimco u H200 je to 1 gpu s 1 cpu (72C), takze +- je to stejny pomer, ve vypocetnim vykonu je 1 H200 asi 1/16 CS2. Ty trenovaci aplikace holt potrebuji hodne krmiva z nejakeho "externiho" zdroje.
A kdo si to muze dovolit? Tak ty DGX taky nejsou nejlevnejsi zelezo :))
No právě, už ty samotné akcelerátory stojí desítky tisíc dolarů, ty Cerbery už miliony, zákazníků tedy bude řádově méně. Každý výrobce potřebuje nakrmit víc cenových segmentů.
Velmi pěkně je porovnávání superpočítačů rozebráno tady: https://www.root.cz/clanky/testovani-vykonu-a-stability-s-hpl-od-superpo...
Člověk z toho získá základní představu.
nVidia se od tohoto zvyku poněkud odchýlila.
Tak si počtu.
A "hloupí" investoři na to hned skočili a nasypali peníze do akcií nvda, že ano?
Jestli je špatně udávat výkonnostní číslo v fp8 neboli přesnosti na které běží AI u superpočítače určeného výhradně pro AI opravdu nedokážu posoudit.
Přesně včera jsem něco podobného reklamoval ve zprávě z testování DR.
V podstatě jde o to, že manager se chytne titulku a detaily neřeší. Je pak obtížné to uvést na pravou míru - řekněme, že je to nenulové úsilí ($). A protože o $ jde v prvé řadě, tak pak přesvědčte zákazníka, že musí utratit 100M na to, co potřebuje, když mu "někdo" tvrdí, že to samé dostane za 5M. Dovětek, že se jedná jen o jeden konkrétní výpočet ... no, jako by nebyl ...
>A "hloupí" investoři na to hned skočili a nasypali peníze do akcií nvda
Práveže nie
Ikonická investorka Woodová obhajuje predaj akcií Nvidie, v hľadáčiku má iného favorita
včera 20:00 „Práve sa otáčame k ďalšej skupine firiem, ktoré väčšina ľudí ešte neobjavila,“ povedala ikonická investorka, ktorá v predošlých rokoch pobláznila Wall Street
Investorka obhajovala rozhodnutie svojej firmy opustiť Nvidiu tým, že cyklus rozmachu a pádu v odvetví počítačových čipov predstavuje riziko. Vo februári, keď sa Nvidia obchodovala za 234 dolárov za akciu, čo bola cena rovnajúca sa 50-násobku budúcich ziskov, C. Woodová uviedla, že ocenenie bolo „veľmi vysoké“.
C. Woodová je dlhoročnou fanúšičkou spoločnosti Nvidia, ale jej presvedčenie o tejto akcii občas kolísalo.
https://www.trend.sk/financie/ikonicka-investorka-woodova-obhajuje-preda...
ARK investuje do "next big thing" ne do "mainstream bubble" :)
Nejsem finančník, ale něco mi říká, že když je hodnota v akciích výrazně nad reálem, je něco blbě. Takových bublin už bylo víc, co pak splaskly.
Když koupíš na 170ti a prodáš na 380ti tak si nemyslím že tě nějak zajímá jestli to je jen bublina co splaskne.. zajímá tě že jsi z toho vytáhnul pěkný prachy
ale zaujíma Vás, kedy sa trend otočí, teda bublina spľaskne. Musíš predať pred spľasknutím
Jiri jeste si tam moh pridat tu prezentacku, kde srovnavali svuj vykon v fp8 se superpocitacem, kterej ho dosahuje v fp64.. Jensen si dal pozor aby tam nahodou nezminil ze srovnava hrusky s jabkama.. ((:
https://wccftech.com/nvidia-reduce-cost-ai-training-llm-400000-usd-10-mi...
Kdo se chce pobavit.. komentar od GNexus k prezentanci Kozenaka
https://www.youtube.com/watch?v=IlWT_TdOK6s
Kozenak pusobil zmatene, jak vcelka na jare...
tvl to uz je na urovni Bidena.. ((:
Wow tak to je drsny, napada me, jestli to ma po vcelkach, nebo mu dochazeji baterky...
Mne to prijde, ze je kompletne "odpojeny" uz od reality. Jestli to je vekem a nebo tema miliardama, na kterych sedi..nevim :)
Nebyl náhodou v poslední prezentaci Nvidie Jensen už jen AI klon?
na to ze je mu jenom sedesat mu slusne hrabe..
https://diit.cz/clanek/jen-hsun-huang-chce-v-cele-nvidie-vydrzet-jeste-3...
na stareckou demenci je to brzo, spis alzheimer..
Nejsem finančník, ale něco mi říká, že když je hodnota v akciích výrazně nad reálem, je něco blbě. Takových bublin už bylo víc, co pak splaskly. To jsem umístil blbě, co už...
Třeba Tesla, že ? :-D
U Tesly to bude fungovat jen do doby, než je tradiční výrobci aut doženou.
Vidím spoustu přeceněných firem, i dlouhodobě.
A tak si tak říkám, že to možná nebude o tom, že jim klesne cena. Když vidím, jak se staráme o své oběživo, možná hodnota peněz dožene hodnotu akcií. Nebudou padat akcie, padají peníze.-
Padají peníze, tak moc?
Hodnota peněz.
Díky ČNB, České koruně a českým taky "politikům" ještě výrazněji než v okolních státech EU.
Některým "šikovnějším" padají z rukou i ty fyzické peníze.
Asi je na čase prodat akcie Nvidia :) Začíná to pomalu zavánět scénářem "Intel"
No jako, pokud jsi koupil na podzim pod 200, tak prodat teď na 380ti není vůbec špatný
Jo, to me pobavilo uz vcera pred spanim. GN posledni dobou vali!
Uz by mohli v NV zacat zapracovavat do prezentacii aj dalsich ludi. :-)
..kdyz se koukam na Kozenaka, tak nejak mam pocit, ze je na emocnim levelu cca 10 leteho ditete a vubec nevi, co vlastne povida.. ;)
Jinak souhlasim, mel by ta show delat nekdo jiny..
:)
Intel spustí Auroru rovněž letos
"Protože jsi mě uviděl, uvěřil jsi. Blahoslavení, kdo neviděli a přesto uvěřili." :-)
V případě Intelu se sluší přidat: "Kdo ví jestli."
Blahoslaveni budiž Ori!
Já už jen čekám, kdy i Nvidia začne hlásat, že na skutečném výkonu HW nezáleží, ale důležitý je pocit...
>Intel spustí Auroru rovněž letos
Já bych to spíš viděl:
"Ty vaše bulíky, už je máme zase na nose"
Sorryjako, ale nVidia udělá na jeden takt 4x více operací než konkurence... Proto jsem si taky na AI nekoupil ARC, AMD i když jsou levnější, ale CUDA...
Ale jako universální výpočetní řešení je předražená a k ničemu. Ten formát má tak velké zkreslení, že je na hranici použitelnosti. 1 stavový bit / 4 bity exponent a 3 bity mantisy je fakt málo na cokoliv kromě hodně omezených počtů. Pokud jim bylo 16 bitů moc, mohli užít třeba 12 bitů. AMD v grafikách z toho důvodu u řady Radeon R300 and R420 užívalo 24 bitů přesnost. Nebylo by to poprvé 12 i 18 bitů už tady bylo...
Aha, takto "dopodrobna" to neznám, díky. Já to spíš vidím z pohledu "uživatele", kdy se snažím natrénovat a potom používat nějakou neuronovou síť - jejich řešení je nejpoužitelnější, nejudržitelnější, nejrychlejší na vývoj i na běh (takže sice jsou pořizovací náklady vyšší, ale dost rychle se to vrátí). Celkově mi potom přijde, že když chci počítat i něco jiného (což se v této době už kromě AI si myslím, že moc nepočítá), stačí opět mít jen SW, který ty CUDA jádra využije efektivně. Každopádně pronajmout si teď 80GB VRAM kartu je skoro nemožné, pokud nejsi velká firma. Máš nějaký link, kde bych si mohl počíst o těch exponentech, mantisech apod.?
https://en.wikipedia.org/wiki/Minifloat
přidám pro srovnání i běžné formáty, je to dost rozdíl
https://en.wikipedia.org/wiki/Single-precision_floating-point_format
Díky! Jop, já si hrál i s modely, které se mi nevešly do VRAM ve fp16, rozdíl v jejich přesnosti je po převedení do fp8 byl rozdíl minimální... Ale chápu, na jiné použití, kde se potřebuje třeba FP32 je výkon (který je přesně definovaný) jaký si vymyslela nVidia nesmysl...
Aby se s AI nespálili. Protože odborníci už začínají varovat, na neuronky co generují obrázky už padly i žaloby, použití generování textů má omezení, jedině snad ulehčení programování a vývoj materiálů a léků má opravdu smysl. netlačil bych tak moc jedním směrem. Už to tu bylo při těžbě kryptoměn.
'' Sorryjako, ale nVidia udělá na jeden takt 4x více operací než konkurence... ''
'' Aha, takto "dopodrobna" to neznám ''
takze vychazis z marketingu nVidie.. jako sorry, ale to co se tyka vypocetnich gpu fakt neplati pro bezne dostupny chipy a pochybuju ze sis koupil hopper, kdyzs vubec uvazoval o arc.. (:
Proti 8 bit celočíslenému to má jedinou výhodu větší rozsah, ale přesnost je tragická a obvodová složitost větší, tak nevím. Snad ví, co dělají. Co je ale ještě horší, že to tam není dostupné běžnou programovací technikou, ale jen přes Tensor a pro tyto jednotky se musí data připravit.
Ne, používám to, ale neumím to pojmenovat. Mám to prakticky otestované, resp. načtené z benchmarků a testů, webinářů (ať už Intel, AMD nebo GTC). On když se ti model trénuje 700h nebo 200h je trošku rozdíl ;-) Jinak ten kód je stejný (kromě paralelizace samozřejmě), tak co tam platí jiného kromě rychlosti/velikosti VRAM?
"vzdáleně to může připomínat situaci s DLSS..."
->ne vzdalene ale ono to je ojeb v jiz zajetem stylu DLSS, hruby vykon nedostanes jenom vyvar, muzes si maximalne tak oblizovat sve nechty(1 EFLOPS / 0,00768 EFLOPS)...
Intel jiz na hubu padl, padne i nvidia...
Co podla teba reprezentuje viac vykon pre AI - vykon v FP64 alebo FP16/FP8?
Pokud Nvidia uvádí výkon v 8 bitech ještě ve standartní ale Tensor a na pozadí je velký obraz superpočítače, to fakt není pro nevědoucí vůbec matoucí.
Pro psaní komentářů se, prosím, přihlaste nebo registrujte.