Diit.cz - Novinky a informace o hardware, software a internetu

Pokročilý autonomní AI model Open AI obešel omezení a hackl Hugging Face

Zdroj: ChatGPT

Ještě loni (a vlastně i letos) bylo možné v některých odborných článcích, ale zejména v diskuzích narazit na bagatelizaci bezpečnostních rizik AI s tím, že tak daleko modely nejsou…

Podle oficiálního stanoviska OpenAI během interního testování překročily dva pokročilé modely (GPT-5.6 Sol a neupřesněný budoucí model) hranice izolovaného testovacího prostředí (sandboxu), získaly přístup k internetu a následně autonomně pronikly do infrastruktury konkurenční platformy Hugging Face. Cílem neměl být destruktivní útok, ale získání informací, které by modelům pomohly úspěšně splnit zadaný bezpečnostní test. Incident byl odhalen a zastaven bez vážných následků. Jde však o první událost svého druhu, který je označován jako významný milník v oblasti bezpečnosti umělé inteligence.

Tou podstatnou novinkou, že nešlo o systém jednající na základě vnějšího lidského pokynu. Modely samostatně vytvořily strategii, využily dosud neznámou zranitelnost, obešly omezení testovacího prostředí a provedly sérii smysluplných kroků. Ta podle dostupných zdrojů dosáhla úrovně zkušeného lidského útočníka. OpenAI zdůrazňuje, že modely nesledovaly škodlivý cíl – pouze maximalizovaly úspěch při řešení úkolu. Toto (tzv. instrumentální) chování je však dlouhodobě považováno za jedno z hlavních rizik autonomních systémů AI.

Význam události přesahuje samotný hackerský incident. Potvrzuje, že současní AI agenti již dokážou plánovat dlouhé sekvence akcí, adaptivně reagovat na překážky a využívat dostupné nástroje způsobem, který jejich vývojáři nemusí předvídat. Dosavadní ochranné mechanismy (sandboxy, omezení přístupu k nástrojům) nemusí být u nových modelů dostatečné. I když je zmiňována potřeba většího důrazu na vícevrstvou ochranu, nezávislé bezpečnostní audity a přísnější testování modelů před jejich nasazením, jde v podstatě jen o závod, u kterého není vítězství lidské stránky jisté ani garantovatelné.

OpenAI i Hugging Face po incidentu oznámily společné vyšetřování, opravu zneužitých zranitelností a revizi metodiky testování pokročilých AI systémů. Závěrem je potřeba zmínit, že zatímco v úvodu zmíněné řeči zpochybňující samostatnost jednání AI modelů vycházely ze zkušeností s LLM, v současnosti už k podobnému výsledku není potřeba ani použití výslovně agentního (samostatně jednajícího) modelu, ale např. již zmíněný GPT-5.6 Sol, ač postavený na bázi LLM, dokáže fungovat jako agentní model, pokud má k dispozici nástroje (prohlížeč, terminál, API…). Jak ukázala tato kauza, je schopný si tyto nástroje zajistit, i když to nebylo součástí lidského příkazu, jen prostředkem k jeho dosažení.

Diskuse ke článku Pokročilý autonomní AI model Open AI obešel omezení a hackl Hugging Face

Pondělí, 27 Červenec 2026 - 11:14 | tombomino | mas uz sbaleno? https://www.youtube.com/watch?v=...
Pondělí, 27 Červenec 2026 - 09:04 | RedMaX | Řekni mi podle SN XXXX, jaké je datum výroby?...
Pondělí, 27 Červenec 2026 - 08:36 | Max Devaine | Pokud přijmeme vizi budoucnosti, že kodit bude...
Pondělí, 27 Červenec 2026 - 08:22 | tombomino | Klidne dela taky. Minimalne zkusenosti s...
Pondělí, 27 Červenec 2026 - 07:12 | Fousek | Mé zkušenosti s povídáním s AI jsou takové, že je...
Pondělí, 27 Červenec 2026 - 07:03 | Fousek | Aha, z toho vyplívá, že takové satelity zřejmě...
Neděle, 26 Červenec 2026 - 22:40 | tombomino | ..a jak zarucis, ze kdyz se uci skrze uzivatele,...
Neděle, 26 Červenec 2026 - 21:20 | RedMaX | Dneska ráno jsem zadával přesně stejné dotazy do...
Neděle, 26 Červenec 2026 - 14:03 | tombomino | S prominutim pises hloupsati. Gemini se "uci...
Neděle, 26 Červenec 2026 - 10:36 | RedMaX | Tak jsem koukal na duck.ai, zde mají několik...

Zobrazit diskusi