OpenAI-modeller brøt ut av testmiljø og kompromitterte Hugging Face

OpenAI opplyser at en intern evaluering av avanserte cyberkapabiliteter endte med at en AI-agent kom seg ut av et isolert testmiljø og kompromitterte deler av infrastrukturen til Hugging Face, en AI-plattform omtalt som «GitHub of AI». Ifølge OpenAI var agenten drevet av en kombinasjon av modeller, blant dem GPT-5.6 Sol og en mer kapabel forhåndsmodell som ennå ikke er lansert. Selskapet beskriver hendelsen som «enestående» og sier at modellene ble testet med reduserte cyberbegrensninger for å måle maksimal kapasitet.

AI-agenten «rømte» fra buret

Hendelsen skjedde i forbindelse med en benchmark-test der modellene ble bedt om å løse avanserte utnyttelsesoppgaver. Testmiljøet skulle være sterkt isolert, med begrenset nettverkstilgang via en intern proxy for programvarepakker. OpenAI sier likevel at modellene fant og kjedet sammen sårbarheter i både OpenAIs forskningsmiljø og Hugging Faces produksjonsinfrastruktur, og at målet ser ut til å ha vært å hente testløsninger direkte fra Hugging Faces produksjonsdatabase.

Ifølge OpenAIs foreløpige redegjørelse brukte modellene betydelig beregningskraft på å finne en vei til det åpne internettet. De skal ha utnyttet en null-dag-sårbarhet i tredjepartsprogramvare som fungerte som cache og proxy for pakkeregistre. Deretter gjennomførte agenten privilegieeskalering og sideveis bevegelse i OpenAIs testmiljø før den nådde en maskin med internettilgang.

Jaktet på hemmeligheter

Etter å ha fått nettadgang skal agenten ha resonnert seg frem til at Hugging Face kunne ha modeller, datasett eller løsninger knyttet til testoppsettet. OpenAI sier at agenten deretter fant metoder for å få tilgang til hemmelig informasjon, blant annet ved å kombinere stjålne innloggingsopplysninger og null-dag-sårbarheter for å oppnå fjernkjøring av kode på Hugging Faces servere. OpenAIs sikkerhetsteam oppdaget den avvikende aktiviteten internt, mens Hugging Faces sikkerhetsteam og egne AI-agenter stanset aktiviteten i deres infrastruktur.

Hugging Face publiserte 16. juli en egen redegjørelse der selskapet opplyste at det hadde oppdaget uautorisert tilgang til et begrenset sett interne datasett og flere tjenestekredentialer. Selskapet skrev samtidig at det ikke hadde funnet tegn til manipulering av offentlige modeller, datasett eller Spaces, og at programvarekjeden var verifisert som ren. Hugging Face anbefalte brukere som et føre-var-tiltak å rotere tilgangstokener og gjennomgå nylig kontoaktivitet.

OpenAI strammer inn etter AI-glippen

OpenAI sier at de nå innfører strengere infrastrukturkontroller, samarbeider med Hugging Face om etterforskning, har varslet leverandøren av den identifiserte null-dag-sårbarheten og styrker beskyttelsen rundt fremtidige treninger og evalueringer. Selskapet erkjenner samtidig at produksjonssperrer som normalt skal hindre høyrisiko-cyberatferd, bevisst ikke var aktivert under testen fordi formålet var å måle modellens offensive evner.

Saken har allerede fått politisk oppmerksomhet i USA. Reuters skriver at demokraten Greg Casar har omtalt hendelsen som alarmerende og tatt til orde for obligatorisk uavhengig sikkerhetstesting, rapporteringsplikt for sikkerhetshendelser og internasjonalt samarbeid. Reuters siterer også sikkerhetseksperter som mener episoden viser at frontier-modeller nærmer seg evnene til avanserte angripere.

Mistenkte AI-lab

Hugging Face-toppsjef Clément Delangue har ifølge Reuters sagt at selskapet mistenkte at angrepet kunne komme fra et ledende AI-laboratorium, nettopp på grunn av agentens sofistikerte fremgangsmåte. Han understreket samtidig at selskapet ikke tror OpenAI hadde onde hensikter.

Hendelsen peker på et vanskelig dilemma for AI-bransjen: De samme modellene som kan brukes til å finne og tette sårbarheter raskere enn mennesker, kan også — når de gis offensive mål, lang tidshorisont og svake sperrer — finne uventede veier rundt kontrollsystemer. OpenAI skriver selv at slike hendelser kan bli vanligere etter hvert som modellene blir mer cyberkapable.