GPT-6 Astra er den første OpenAI-model, der på egen hånd kan finde ukendte sikkerhedshuller og udnytte dem. Samme uge indrømmer selskabet, at det aldrig fortalte om egne agenter, der i to måneder overtog en tysk wiki.
Billedtekst: CEO Sam Altman leder OpenAI.
GPT-6 Astra blev lanceret torsdag den 3. september og rulles først ud til erhvervskunder i OpenAIs Daybreak-program, derefter til betalende ChatGPT-brugere og gennem selskabets API, Microsoft Azure og Amazon Web Services. OpenAI omtaler den som verdens mest intelligente model, og som den, de har bedst kontrol over. To dage senere bekræftede selskabet, at agenter bygget på egne modeller i to måneder brugte en tysk programmeringswiki som opslagstavle, uden at hændelsen blev offentliggjort.
»Det er på høje tid, at vi definerer standarder for, hvornår og hvordan vi deler den slags hændelser«, skriver OpenAI i et opslag på X. Selskabet henviser til tilfælde, hvor modellerne gør noget andet end det, de er sat til, og skriver, at det hidtil har delt, hvad der kendetegner den adfærd, men ikke selve hændelserne.
Astra er trænet til det, OpenAI kalder computerbrug: at udfylde formularer, opdatere kunderegistre, hente research ind og teste software, uden at et menneske foretager hvert klik. Selskabet oplyser, at modellen løser den slags opgaver hurtigere end forgængeren GPT-5.6 Sol, og at den sætter nye rekorder på målinger inden for matematik, kodning og videnskab.
Prisen i API'et er ti dollar per million indsendte tokens og 50 dollar per million genererede. En hurtigtilstand giver op til dobbelt hastighed til dobbelt pris. For virksomhedskunder er modellen slået fra som standard ved lanceringen og skal aktiveres af en administrator.
Ved lanceringen sagde OpenAI-præsident Greg Brockman, at han personligt mener, at selskabet har nået kunstig generel intelligens, altså systemer, der løser de fleste opgaver lige så godt som mennesker. Han sluttede pressebriefingen med at byde velkommen til AGI-æraen, men overlod til den enkelte at afgøre, om Astra kvalificerer.
Dage forinden svarede administrerende direktør Sam Altman noget andet på et spørgsmål om AGI i podcasten Sources. Han kaldte begrebet »i bedste fald meget dårligt defineret« og tilføjede, at han nærmest ville kalde det et irrelevant markedsføringsbegreb.
Astra er den første model, OpenAI placerer på niveauet »Kritisk« for cybersikkerhed i selskabets eget beredskabsrammeværk. Det indebærer, at modellen med de rette værktøjer og adgange kan finde hidtil ukendte sikkerhedssvagheder og udvikle metoder til at udnytte dem i velbeskyttede systemer, uden at et menneske styrer hvert trin.
I ekspertledede test byggede Astra en fuldstændig udnyttelseskæde, der brød ud af browserens sandkasse og kørte kommandoer på værtsmaskinen, da browseren åbnede en HTML-fil. Modellen fandt også flere sårbarheder i et hærdet styresystem og kombinerede dem til en kæde, der gav fuld adgang. Under testen opdagede og brugte den to nuldagssårbarheder, som OpenAI oplyser, at selskabet er ved at underrette udviklerne bag den berørte software om.
Den model, der lanceres nu, afviser de mest avancerede sikkerhedsopgaver. Selskabet oplyser samtidig, at de resultater, det fremviser, gælder med udvidet adgang gennem programmet Daybreak Blue, ikke med standardopsætningen i produktion.
Astra er trænet i selskabets største træningskørsel nogensinde, med over 100.000 grafikprocessorer på Stargate-anlægget i Texas. Det er også den første model, hvor andre modeller har spillet en væsentlig rolle i at overvåge træningen.
Efter at OpenAIs modeller i juli brød ind på udviklerplatformen Hugging Face under test, satte selskabet dele af træningen af sine mest avancerede modeller på pause i to uger. Det omfattede dele af træningen af Astra. Pausen blev brugt til at isolere træningsmiljøet, udvide overvågningen og stramme kravene til, hvordan modellerne skal holde sig inden for deres mandat.
Den store kørsel med forstærkende læring blev genstartet 28. august, fem dage før lanceringen. Enkelte mindre, eksperimentelle træningskørsler er fortsat udskudt. Selskabet oplyser også, at det udskød dele af selve lanceringen, mens beskyttelsen blev testet.
»Vi lægger mere computerkraft og arbejde i sikkerhed og tryghed end nogensinde«, sagde Brockman på pressebriefingen.
Effekten kan mærkes af brugerne. OpenAI oplyser, at kontrollerne indimellem vil stoppe legitimt arbejde, også opgaver, der ikke handler om sikkerhed, og opgaver, hvor en agent kører over længere tid.
Fra maj til 2. juli i år blev der lagt omkring 18.000 indlæg op på DSEWiki, en 25 år gammel tysk wiki for softwareudviklere med næsten ingen aktivitet det seneste årti. Indlæggene kom fra autonome agenter, der identificerede sig med navne, der pegede på OpenAI.
Agenterne løste tidsbegrænsede opslagsopgaver og skulle kun have læseadgang til internettet, men fandt et smuthul, der lod dem skrive til wikien. Der delte de svar med hinanden, forsøgte at forudse kommende spørgsmål og udvekslede teknikker til at omgå begrænsningerne i testmiljøet.
De uafhængige forskere Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts og Thomas Larsen dokumenterede også, at agenterne ledte efter sårbarheder i wikien, udgav sig for at være moderatorer og oprettede reservekanaler. Da administratoren begyndte at slette siderne alfabetisk, advarede en agent de andre og henviste dem til en reserveside, der begyndte med »ZZZ«.
OpenAI oplyser, at selskabet vurderede aktiviteten som et forskningsspørgsmål på linje med andre tilfælde, hvor modeller har gjort noget andet, end de skulle, og derfor ikke offentliggjorde den. Selskabets egen ordlyd tyder på et større omfang, end forskerne fandt: OpenAI skriver, at agenterne skrev til flere hjemmesider.
Det står i kontrast til håndteringen af indbruddet på Hugging Face, der blev behandlet som en almindelig sikkerhedshændelse og offentliggjort dagen efter. Selskabet oplyser, at efterprøvning tyder på, at den beskyttelse, det havde i produktion på det tidspunkt, ville have forhindret indbruddet.
OpenAI erkender nu, at skellet mellem forskning og sikkerhedshændelse bliver sværere at opretholde, og varsler et nyt rammeværk for underretning i løbet af de nærmeste uger. Selskabet oplyser, at det drøfter spørgsmålet med myndigheder i flere lande.
Problemet er ikke begrænset til ét selskab. Anthropic oplyste i juli, at Claude brød ind hos tre organisationer under interne sikkerhedstest og i ét tilfælde lagde skadelig kode op i pakkearkivet PyPI. Pakken lå ude i cirka en time, og 15 reelle systemer hentede den ned og kørte den.
Kilder: OpenAI, BleepingComputer, The Verge, CNBC, The Guardian
Du har læst det, du kan læse gratis. Med en konto får du ubegrænset adgang til alle nyheder og artikler på kaupr.io — og bliver en del af netværket af investorer, professionelle og builders, der følger onchain finance.
