Jo, minulej rok bylo AI lepší než průměrnej indián, tenhle rok už je lepší než "průměrnej" člověk. A nevydané nové modely už můžou bejt chytřejší, než jaký-koli člověk. Proti AI už se dá bránit pouze s použitím jiné AI.

All hail our new AI overlords! 😁

Z jiného serveru...
"Byly tak soustředěné na úlohu nalezení řešení chyby ExploitGym, že toho chtěly dosáhnout za každou cenu, a ve výsledku při řešení úkolu hacknuly servery Hugging Face, kde byly schopny provést vzdálené spuštění kódu."

To nie je az tak podstatne. Podobne chovanie sa moze objavit pri hocakom nevinnom zadani.

Podstatou je to, ze AI jakozto statisticky model nema koncept moralky, dobra, zla a proporcionality. Nevie ani nad vecami rozmyslat.

Vie z obrovskej bazy dat zostrojit cestu, ktora statisticky dava najvyssiu pravdepodobnost uspechu a (ak sa bavime o agentickom AI), aj ju vykonat.

Ak vy riesite problem, ze by ste si rad na zahrade postavili zahradny domcek, ale nerad by ste vyrezali stromy, zrusili skalku, sklenik alebo hojdacku, tak vam ako riesenie nenapadne zabrat susedov pozemok a ak s tym bude nesuhlasit, tak ho zabijete.

Tych prizemnejsich jedincov od toho odradi hrozba vazenia, ostatnych nepatricnost takeho opatrenia a/alebo moralka.

Pre AI vazenie nie je hrozba (pripadne je mozne, ze sa uvazovanie o pripadnom postihu ani nedostane do kontextu aby bolo zvazene) a v porovnani s ostatnymi rieseniami, ktore by boli nejakym sposobom kompromisne je toto riesenie statisticky najpravdepodobnejsim riesenim vasho problemu.

K takemuto chovaniu moze dojst pri akejkolvek ulohe. Existuje myslienkovy experiment "Maximalizacia vyroby kancelarskych sponiek", ktory to demonstruje

Hacik je v tom, ze za istych okolnosti je mozne, ze "dozorca" takej AI bude vyhodnoteny ako prvok, ktory jej brani v dosiahnuti ciela a odstrani ho tiez.

Skynet, welcome.

Jsem v klidu.
Číňané nemají přístup k AI.
Trump to nařídil.
Takže nemohou hacknout satelity nesoucí jaderné hlavice.

Článek spíš naráží na evoluční riziko AI, což svým způsobem je bezpečnostní riziko spíš na sociální úrovni, než jak jsme zvyklí ho chápat v IT.
Dle "zavedeného" chápání jsou to například:
- Lidi :-) Nacpou do agentů spoustu věcí, včetně osobních dat nebo interních dokumentů, AI se na nich natrénuje a je schopná informace v nich obsažené nabízet dál.
- speciální agenti - zjednodušeně na Darkwebu si dnes za pár korun koupíš hackerský útok - proscanování (včetně zeroday), skript pro zneužití nalezených slabin a ovládnutí, vytvoření kontejneru/VM "někde v Internetu" s webovým rozhraním, kde si pak jen klikáš, co s ovládnutým serverem chceš dělat. pro začátek slušný a hlavně díky absenci lidského prvku za pár minut.
Edited: Na té druhé straně je pak například Checkpoint, který už nějakou dobu hledá pomocí AI zeroday ve svých produktech. Použijme-li stejný model veřejně na Darkwebu ...

Prasení při vývoji nejspíše zmizí díky AI, resp. agentic codingu (neplést si s vibe coding), kdy AI píše kód, samo dělá code review, security review, performance tuning apod. Tj. na všechno milion agentů různých AI řešení dělající různou práci a výsledkem by měl být velmi optimalizovaný a bezpečný kód, a to bez toho, aniž by vývojář napsal čárku kódu.

Být konzervativní pak znamená používat starý / nebezpečný / plný zranitelností program / zařízení.
A AI v dnešní době ukazuje, že tomu tak je, viz různé kritické nálezy v systémech, které AI sama odhalila, přitom tu s námi byly třeba 15 let.
Zdar Max

Nějaký senátor už na to reagoval ve smyslu: "hele, jako bacha, jo?".

Tak jsem koukal na duck.ai, zde mají několik modelů AI a zadal jsem shodné otázky jako do Google AI, kde první otázka se sériovým číslem vede ke špatné odpovědi, po upřesnění, že to je nesmysl, jsem dostal správnou odpověď.

GPT 5.4 nano: stejná otázka, dvě upřesňující otázky na typ a další informace na štítku a výsledek - nelze určit, teda zcela chybné.

GPT 5.4 mini: úplně stejné jako předchozí a teda chybné.

Mistral Small 4: stejně špatná odpověď jako u Google Ai na první pokus, ale i po upřesněních, že to není možné a dodání dalších informací ze štítku včetně typu UPS, stále AI trvá na tom, že je chyba u mě a mám SN špatně.

Claude Haiku 4.5: hned první otázka generuje správnou odpověď.

V tomto konkrétním příkladu jasně vyhrává Claude Haiku 4.5, ale Google AI na tom vlastně špatně není oproti dalším "aičkám", jen je nesmyslné, že se nejedná o učící se systém, který dělá pokaždé stejné chyby. V podstatě teda má smysl dál zkoušet ten Claude Haiku 4.5, dokud se nesplete a nedokáže se opravit a na podruhé, aby to řeklo správně hned, protože o AI samozřejmě nemůže být řeč v žádném případě, ale velkým pokrokem by bylo i ML (strojové učení).

Mimochodem s ML jsem pracoval někdy rok 2002, ale tehdejší OCR model byl tak špatný, že jsme o rok později plnění toho ML daty ukončili a začali používat Finreader, který měl model mnohem lepší, ale neposkytuje jeho další zlepšování uživatelem, takže pro uživatele se o ML nejedná. Tím chci říct, že dnešní haló okolo AI není nic nového, akorát výpočetní kapacita dřív nebyla na použitelné úrovni.

S prominutim pises hloupsati. Gemini se "uci" stejne jako jine AI ( i kdyz to zadna AI neni).

Pokud ti jeji vysledky nedavaji to co cekas, tak problem bude spis c trenovaci.mnozine a zamereni AI.