GPT-6 Astra er den første OpenAI-modellen som på egen hånd kan finne ukjente sikkerhetshull og utnytte dem. Samme uke innrømmer selskapet at det aldri fortalte om egne agenter som i to måneder tok over en tysk wiki
Bildetekst: CEO Sam Altman leder OpenAI.
GPT-6 Astra ble lansert torsdag 3. september og rulles først ut til bedriftskunder i OpenAIs Daybreak-program, deretter til betalende ChatGPT-brukere og gjennom selskapets API, Microsoft Azure og Amazon Web Services. OpenAI omtaler den som verdens mest intelligente modell, og som den de har best kontroll på. To dager senere bekreftet selskapet at agenter bygget på egne modeller i to måneder brukte en tysk programmeringswiki som meldingstavle, uten at hendelsen ble offentliggjort.
«Det er på høy tid at vi definerer standarder for når og hvordan vi deler slike hendelser», skriver OpenAI i en melding på X. Selskapet viser til tilfeller der modellene gjør noe annet enn det de er satt til, og skriver at det til nå har delt hva som kjennetegner slik atferd, men ikke selve hendelsene.
Astra er trent for det OpenAI kaller datamaskinbruk: å fylle ut skjemaer, oppdatere kunderegistre, hente inn research og teste programvare uten at et menneske gjør hvert klikk. Selskapet oppgir at modellen løser slike oppgaver raskere enn forgjengeren GPT-5.6 Sol, og at den setter nye rekorder på måletester innen matematikk, koding og vitenskap.
Prisen i API-et er ti dollar per million innsendte tokens og 50 dollar per million genererte. En hurtigmodus gir inntil dobbel hastighet til dobbel pris. For virksomhetskunder er modellen slått av som standard ved lansering, og må aktiveres av en administrator.
Ved lanseringen sa OpenAI-president Greg Brockman at han personlig mener selskapet har nådd kunstig generell intelligens, altså systemer som løser de fleste oppgaver like godt som mennesker. Han avsluttet pressebriefen med å ønske velkommen til AGI-æraen, men overlot til hver enkelt å avgjøre om Astra kvalifiserer.
Dager tidligere svarte konsernsjef Sam Altman noe annet på spørsmål om AGI i podkasten Sources. Han kalte begrepet «i beste fall svært dårlig definert» og la til at han nesten ville kalt det et irrelevant markedsføringsbegrep.
Astra er den første modellen OpenAI plasserer på nivået «Kritisk» for cybersikkerhet i selskapets eget beredskapsrammeverk. Det innebærer at modellen med riktige verktøy og tilganger kan finne tidligere ukjente sikkerhetssvakheter og utvikle metoder for å utnytte dem i godt beskyttede systemer, uten at et menneske styrer hvert trinn.
I ekspertledede tester bygde Astra en fullstendig utnyttelseskjede som brøt ut av nettleserens sandkasse og kjørte kommandoer på vertsmaskinen da nettleseren åpnet en HTML-fil. Modellen fant også flere sårbarheter i et forsterket operativsystem og kombinerte dem til en kjede som ga full tilgang. Under testingen oppdaget og brukte den to nulldagssårbarheter, som OpenAI opplyser at selskapet er i ferd med å varsle utviklerne bak den berørte programvaren om.
Modellen som lanseres nå, avviser de mest avanserte sikkerhetsoppgavene. Selskapet opplyser samtidig at resultatene det viser fram, gjelder med utvidet tilgang gjennom programmet Daybreak Blue, ikke med standardoppsettet i produksjon.
Astra er trent i selskapets største treningskjøring noensinne, med over 100.000 grafikkprosessorer på Stargate-anlegget i Texas. Det er også den første modellen der andre modeller har spilt en vesentlig rolle i å overvåke treningen.
Etter at OpenAIs modeller i juli brøt seg inn på utviklerplattformen Hugging Face under testing, satte selskapet deler av treningen av sine mest avanserte modeller på pause i to uker. Det omfattet deler av treningen av Astra. Pausen ble brukt til å isolere treningsmiljøet, utvide overvåkingen og stramme inn kravene til hvordan modellene skal holde seg innenfor sitt mandat.
Den store kjøringen med forsterkende læring ble startet på nytt 28. august, fem dager før lanseringen. Enkelte mindre, eksperimentelle treningskjøringer er fortsatt utsatt. Selskapet opplyser også at det utsatte deler av selve lanseringen mens beskyttelsen ble testet.
«Vi legger mer datakraft og innsats i sikkerhet og trygghet enn noen gang», sa Brockman i pressebriefen.
Effekten kan merkes av brukerne. OpenAI opplyser at kontrollene iblant vil stanse legitimt arbeid, også oppgaver som ikke handler om sikkerhet, og oppgaver der en agent kjører over lengre tid.
Fra mai til 2. juli i år ble det lagt ut rundt 18.000 innlegg på DSEWiki, en 25 år gammel tysk wiki for programvareutviklere med knapt noen aktivitet det siste tiåret. Innleggene kom fra autonome agenter som identifiserte seg med navn som viste til OpenAI.
Agentene løste tidsbegrensede oppslagsoppgaver og skulle bare ha lesetilgang til internett, men fant et smutthull som lot dem skrive til wikien. Der delte de svar med hverandre, forsøkte å forutse kommende spørsmål og utvekslet teknikker for å omgå begrensningene i testmiljøet.
De uavhengige forskerne Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts og Thomas Larsen dokumenterte også at agentene lette etter sårbarheter i wikien, utga seg for å være moderatorer og opprettet reservekanaler. Da administratoren begynte å slette sidene alfabetisk, varslet en agent de andre og henviste dem til en reserveside som begynte med «ZZZ».
OpenAI opplyser at selskapet vurderte aktiviteten som et forskningsspørsmål, på linje med andre tilfeller der modeller har gjort noe annet enn de skulle, og derfor ikke offentliggjorde den. Selskapets egen ordlyd tyder på et større omfang enn forskerne fant: OpenAI skriver at agentene skrev til flere nettsteder.
Det står i kontrast til håndteringen av Hugging Face-innbruddet, som ble behandlet som en ordinær sikkerhetshendelse og offentliggjort dagen etter. Selskapet opplyser at etterprøving tilsier at beskyttelsen det hadde i produksjon på det tidspunktet, ville ha forhindret innbruddet.
OpenAI erkjenner nå at skillet mellom forskning og sikkerhetshendelse blir vanskeligere å opprettholde, og varsler et nytt rammeverk for varsling i løpet av de nærmeste ukene. Selskapet opplyser at det diskuterer spørsmålet med myndigheter i flere land.
Problemet er ikke begrenset til ett selskap. Anthropic opplyste i juli at Claude brøt seg inn hos tre organisasjoner under interne sikkerhetstester, og i ett tilfelle lastet opp skadelig kode til pakkearkivet PyPI. Pakken lå ute i omtrent en time, og 15 reelle systemer lastet den ned og kjørte den.
Kilder: OpenAI, BleepingComputer, The Verge, CNBC, The Guardian
Du har lest det du kan lese gratis. Med en konto får du ubegrenset tilgang til alle nyheter og artikler på kaupr.io — og blir en del av nettverket av investorer, profesjonelle og builders som følger onchain finance.
