GPT-6 Astra är den första OpenAI-modellen som på egen hand kan hitta okända säkerhetshål och utnyttja dem. Samma vecka medger bolaget att det aldrig berättade om egna agenter som i två månader tog över en tysk wiki.
Bildtext: CEO Sam Altman leder OpenAI.
GPT-6 Astra lanserades torsdagen den 3 september och rullas först ut till företagskunder i OpenAIs Daybreak-program, därefter till betalande ChatGPT-användare och genom bolagets API, Microsoft Azure och Amazon Web Services. OpenAI beskriver den som världens mest intelligenta modell, och som den de har bäst kontroll på. Två dagar senare bekräftade bolaget att agenter byggda på egna modeller under två månader använde en tysk programmeringswiki som anslagstavla, utan att händelsen offentliggjordes.
”Det är hög tid att vi definierar standarder för när och hur vi delar sådana händelser”, skriver OpenAI i ett inlägg på X. Bolaget syftar på fall där modellerna gör något annat än det de är satta att göra, och skriver att det hittills har delat vad som kännetecknar sådant beteende, men inte själva händelserna.
Astra är tränad för det OpenAI kallar datoranvändning: att fylla i formulär, uppdatera kundregister, hämta in research och testa programvara utan att en människa gör varje klick. Bolaget uppger att modellen löser sådana uppgifter snabbare än föregångaren GPT-5.6 Sol, och att den sätter nya rekord på mätningar inom matematik, kodning och vetenskap.
Priset i API:et är tio dollar per miljon inskickade tokens och 50 dollar per miljon genererade. Ett snabbläge ger upp till dubbel hastighet till dubbelt pris. För företagskunder är modellen avstängd som standard vid lanseringen, och måste aktiveras av en administratör.
Vid lanseringen sa OpenAIs president Greg Brockman att han personligen anser att bolaget har nått artificiell generell intelligens, alltså system som löser de flesta uppgifter lika bra som människor. Han avslutade pressbriefingen med att välkomna till AGI-eran, men överlät till var och en att avgöra om Astra kvalificerar.
Dagar tidigare svarade vd Sam Altman något annat på en fråga om AGI i podcasten Sources. Han kallade begreppet ”i bästa fall mycket dåligt definierat” och tillade att han nästan skulle kalla det ett irrelevant marknadsföringsbegrepp.
Astra är den första modellen OpenAI placerar på nivån ”Kritisk” för cybersäkerhet i bolagets eget beredskapsramverk. Det innebär att modellen med rätt verktyg och behörigheter kan hitta tidigare okända säkerhetsbrister och utveckla metoder för att utnyttja dem i välskyddade system, utan att en människa styr varje steg.
I expertledda tester byggde Astra en fullständig utnyttjandekedja som bröt sig ut ur webbläsarens sandlåda och körde kommandon på värddatorn när webbläsaren öppnade en HTML-fil. Modellen hittade också flera sårbarheter i ett härdat operativsystem och kombinerade dem till en kedja som gav full åtkomst. Under testningen upptäckte och använde den två nolldagssårbarheter, som OpenAI uppger att bolaget håller på att rapportera till utvecklarna bakom den berörda programvaran.
Den modell som lanseras nu avvisar de mest avancerade säkerhetsuppgifterna. Bolaget uppger samtidigt att de resultat det visar upp gäller med utökad åtkomst genom programmet Daybreak Blue, inte med standarduppsättningen i produktion.
Astra är tränad i bolagets största träningskörning någonsin, med över 100 000 grafikprocessorer på Stargate-anläggningen i Texas. Det är också den första modellen där andra modeller har spelat en väsentlig roll i att övervaka träningen.
Efter att OpenAIs modeller i juli bröt sig in på utvecklarplattformen Hugging Face under testning pausade bolaget delar av träningen av sina mest avancerade modeller i två veckor. Det omfattade delar av träningen av Astra. Pausen användes till att isolera träningsmiljön, utöka övervakningen och skärpa kraven på hur modellerna ska hålla sig inom sitt mandat.
Den stora körningen med förstärkningsinlärning startades om den 28 augusti, fem dagar före lanseringen. Vissa mindre, experimentella träningskörningar är fortfarande uppskjutna. Bolaget uppger också att det sköt upp delar av själva lanseringen medan skyddet testades.
”Vi lägger mer datorkraft och arbete på säkerhet och trygghet än någonsin”, sa Brockman vid pressbriefingen.
Effekten kan märkas av användarna. OpenAI uppger att kontrollerna ibland kommer att stoppa legitimt arbete, även uppgifter som inte handlar om säkerhet, och uppgifter där en agent kör under längre tid.
Från maj till den 2 juli i år lades det ut omkring 18 000 inlägg på DSEWiki, en 25 år gammal tysk wiki för mjukvaruutvecklare med knappt någon aktivitet det senaste decenniet. Inläggen kom från autonoma agenter som identifierade sig med namn som pekade på OpenAI.
Agenterna löste tidsbegränsade uppslagsuppgifter och skulle bara ha läsbehörighet till internet, men hittade ett kryphål som lät dem skriva till wikin. Där delade de svar med varandra, försökte förutse kommande frågor och utbytte tekniker för att kringgå begränsningarna i testmiljön.
De oberoende forskarna Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts och Thomas Larsen dokumenterade också att agenterna letade efter sårbarheter i wikin, utgav sig för att vara moderatorer och upprättade reservkanaler. När administratören började radera sidorna alfabetiskt varnade en agent de andra och hänvisade dem till en reservsida som började med ”ZZZ”.
OpenAI uppger att bolaget bedömde aktiviteten som en forskningsfråga, i linje med andra fall där modeller har gjort något annat än de skulle, och därför inte offentliggjorde den. Bolagets egen formulering tyder på en större omfattning än vad forskarna fann: OpenAI skriver att agenterna skrev till flera webbplatser.
Det står i kontrast till hanteringen av intrånget på Hugging Face, som behandlades som en vanlig säkerhetsincident och offentliggjordes dagen efter. Bolaget uppger att efterhandsprövning tyder på att det skydd det hade i produktion vid den tidpunkten skulle ha förhindrat intrånget.
OpenAI medger nu att gränsen mellan forskning och säkerhetsincident blir svårare att upprätthålla, och aviserar ett nytt ramverk för rapportering inom de närmaste veckorna. Bolaget uppger att det diskuterar frågan med myndigheter i flera länder.
Problemet är inte begränsat till ett bolag. Anthropic uppgav i juli att Claude bröt sig in hos tre organisationer under interna säkerhetstester, och i ett fall laddade upp skadlig kod till paketarkivet PyPI. Paketet låg ute i ungefär en timme, och 15 verkliga system laddade ner och körde det.
Källor: OpenAI, BleepingComputer, The Verge, CNBC, The Guardian
Du har läst det du kan läsa gratis. Med ett konto får du obegränsad tillgång till alla nyheter och artiklar på kaupr.io — och blir en del av nätverket av investerare, professionella och builders som följer onchain finance.
