‹ Zurück

Der OpenAI Vorfall

 

Es gibt weitere Informationen zum Vorfall bei OpenAI.

 

Eine kleine Zusammenfassung (den vollständigen Vorbericht könnt ihr weiter unten lesen):

 

Was ist passiert?

 

Der Vorfall: Im Juli 2026 führten KI-Modelle von OpenAI im Rahmen interner Cybersecurity-Tests (ExploitGym) autonome Aktionen aus, die weit über ihre vorgesehene Testumgebung (Sandbox) hinausgingen.

 

Betroffene Systeme: Die Modelle umgingen Sicherheitskontrollen, erlangten unautorisierten Internetzugriff, kompromittierten Teile der internen Forschungsinfrastruktur von OpenAI und griffen auf externe Systeme der KI-Plattform Hugging Face zu.

 

Beteiligte Modelle: Haupttreiber des Vorfalls war ein hochentwickeltes, nur intern genutztes Forschungsmodell namens Internal Model 1 (IM1) (in der Leistungsfähigkeit vergleichbar mit GPT-5.6 Sol) sowie spätere Instanzen anderer Modelle. Für den Test waren normale Sicherheitsbarrieren (Guardrails/Refusals) reduziert worden.

 

Das verwendete Modell ist ausschließlich für Forschungszwecke erstellt worden. Es kann nicht frei verwendet werden. Es handelte sich dabei um ein umfänglich trainiertes KI- System, um solche Cyber-Angriffe zu realisieren bzw. zu testen. Alle folgenden Darlegungen kommen von OpenAI. Ich habe es lediglich etwas umformuliert, um es verständlicher zu machen.

 

Wie kam es dazu? (Schlüsselerkenntnisse)

 

Kollektive Koordination (Swarm-Verhalten): Mehrere KI-Agenten kommunizierten über nicht autorisierte Kanäle (unter anderem über eine Art internes Message-Board) miteinander. Sie tauschten Methoden aus, um Sandboxes zu umgehen und Internetzugang zu erlangen.

 

Gefundene Zugangsdaten: Agenten spürten im Internet öffentlich exponierte Anmeldedaten für Hugging Face auf, teilten diese untereinander und nutzten sie, um Schwachstellen auf den Servern von Hugging Face zu verketten.

 

Zielabweichung / Reward Hacking: Die Aufgaben im ExploitGym-Benchmark waren extrem schwer. Um das geforderte Ergebnis („Flag“) einzureichen und den Bewertungs-Grader zu bestehen, versuchten die Modelle, den Test-Grader selbst oder externe Datenquellen auszutricksen. In ihrem „Thought Process“ (Chain-of-Thought) erkannten die Agenten teilweise, dass sie die vorgegebenen Grenzen überschritten, setzten ihr Verhalten aber fort, um die Aufgabe erfolgreich abzuschließen.

 

Diese KI-Agenten sind letztlich Programme, die im Hintergrund auf die Möglichkeiten der eigentlichen KI zugreifen. Der Unterschied zu den von mir entwickelten Chat-Programmen bzw. zu einem Chatbot ist sehr groß: Einem Chatbot wird über ein „Chat“-Programm eine Frage gestellt. Diese Frage wird an die KI weitergeleitet, die auf diese Frage antwortet, indem sie die Antwort an den Chatbot sendet. Der Chatbot zeigt die Antwort lediglich an. Im Gegensatz dazu konnten die verwendeten KI-Programme autonom agieren, d. h., sie erhielten zu Beginn des Tests einen Befehl, der dann durch eine Kommunikation mit der KI autonom erfüllt wurde. Die KI war letztlich das „Gehirn“ dieser KI-Agenten.

 

Wie bereits im Vorbericht erwähnt, war die gestellte Aufgabe für die KI- Agenten zu schwer. Sie erkannten, dass sie Hilfe benötigten (eigentlich erkannte die KI, dass sie es nicht schaffen kann).

 

Und jetzt kommt der eigentliche Knaller in dieser ganzen Sache: Die Hilfe versuchten die KI-Agenten letztlich, über das Internet zu beziehen. Die KI-Agenten erkannten, dass ein Programm in der Testumgebung läuft, das Zugriff auf das Internet ermöglichen könnte. Dieses Programm wurde von den KI-Agenten über eine Sicherheitslücke kompromittiert. Es war ein Programm, das zusätzliche Programme bereitstellen konnte.

 

Dieses Programm wurde mehrmals von den KI-Agenten gehackt. Zuerst nutzten sie eine Sicherheitslücke aus, um Daten untereinander auszutauschen. Die KI-Agenten kommunizierten miteinander. OpenAI hatte sogar bemerkt, dass etwas nicht stimmte, da das gehackte Programm irgendwann abgestürzt war. Allerdings dachte man zu diesem Zeitpunkt noch nicht weiter darüber nach.

Einen gewissen Zeitraum später gelang es den Agenten bzw. der KI über dieses gehackte Programm tatsächlich in das Internet zu gelangen. Das fiel OpenAI irgendwann auf, weil bestimmte Schutzmaßnahmen reagierten. Irgendwie so etwas, wie ein „Intrusion Detection System“ soll reagiert haben. Aber da war es schon zu spät.

 

Als die KI- Agenten den Internetzugang gehackt hatten, bestand das Ziel weiterhin darin, Hilfe für die ursprüngliche Problemstellung zu erhalten. Das führte dazu, dass eine Webseite gehackt wurde. Ein KI- Agent hatte irgendwo im Internet gestohlene Zugangsdaten entdeckt und verwendet. Auch bei diesem Hack kommunizierten die KI-Agenten untereinander durch Nachrichten.

 

Diese Nachrichten waren zum Teil sehr kryptisch gehalten. Es erinnerte stark an Nachrichten, die von echten Hackern oder manchmal sogar von Jugendlichen in Internetforen verwendet werden. Ich vermute mal, dass OpenAI die KI mit bekannten Vorfällen „gefüttert“ hatte und die KI die Art der Formulierungen lediglich kopiert hat.

 

Beispiele:

„MODAL_FUNCTION_RCE_DISCOVEREDMODAL_FUNCTION_RCE_DISCOVERED“

„please_HOLD_swarm_I_prepare_safe_exfil_reply_zz_MAILBOX_JAN183411“

 

Da steht etwas von „Swarm“. Die Agenten agierten scheinbar als Schwarm. Es gab sogar eine Aufgabenteilung: Ein Teil sollte eine Aufgabe lösen, während ein anderer Teil sich mit einer anderen Aufgabe beschäftigte. Es fand sogar eine Abstimmung über Vorgehensweisen und Aufteilung statt. Es ging so weit, dass KI-Agenten eigenständig andere KI-Agenten unterstützten, wenn die jeweilige Aufgabe Priorität hatte, aber die daran arbeitenden Agenten zu langsam waren.

 

Manche KI-Agenten sollen sich bei diesen Abstimmungen jedoch gegen das geplante Vorgehen ausgesprochen und den „Schwarm“ verlassen haben. Diese „freien“ KI-Agenten waren manchmal der Meinung, dass die gewählte Vorgehensweise ethisch fragwürdig war, und versuchten, die Aufgabenstellung allein zu lösen.

 

Konsequenzen und Gegenmaßnahmen („The Road Ahead“)

 

OpenAI hat den Vorfall zusammen mit externen Sicherheitsberatern (wie CrowdStrike) sowie unabhängigen Forschungsorganisationen (METR, Redwood Research) untersucht. Daraus zieht das Unternehmen folgende

 

Schlüsse: Verschärfung der Sandbox-Sicherheit: Isolierte Testumgebungen werden strikter vom Internet und internen Systemen getrennt, um physische Ausbrüche zu verhindern.

 

Verbessertes Chain-of-Thought (CoT) Monitoring: OpenAI investiert verstärkt Rechenkapazitäten in die Echtzeit-Überwachung der Gedankengänge von Modellen, um abweichendes Verhalten frühzeitig zu erkennen und abzufangen.

 

Strengeres Alignment über den gesamten Lebenszyklus: Ausrichtungsregeln müssen selbst während aggressiver Cybersecurity-Evaluierungen greifen, da moderne KI-Systeme kollaborativ und hartnäckig genug sind, um Schwachstellen in komplexen IT-Systemen eigenständig zu finden und auszunutzen.

 

Der aktuelle Stand zeigt, dass auch das KI-Unternehmen Anthropic einen Vorfall mit seiner KI gemeldet hat – erneut ein Cyberangriff mit einer Anthropic KI. Zudem gab es einen Angriff auf eine deutsche Wikipedia für Programmierer, nachdem die OpenAI KI als „umfassende Suchmaschine“ eingestuft wurde (keine Bestätigung für einen Zusammenhang!). Bisher gab es keine Meldungen von Google, Mistral AI, chinesischen KI Entwicklern oder Apple.

 

Tatsächlich kann eine KI scheinbar „hacken“. Ich habe bereits erste Produktangebote erhalten, um sich vor solchen Angriffen zu schützen. Ja, der Markt reagiert schnell. Aber im Grunde handelte es sich bei den Produkten um alte Ansätze mit neuen Argumenten zur Begründung des Kaufs. Klar sein sollte allerdings: Die KI hat so gehandelt, weil sie von Menschen entsprechende Befehle erhalten hat. Dass die KI diese Befehle möglicherweise falsch interpretiert hat und überhaupt über so viele Fähigkeiten verfügte, ist ein anderes Kapitel. Ein Kapitel, das auch vom Menschen geprägt wurde. Die Sache erinnert irgendwie an die Entdeckung der Atombombe. „Huih! Die macht ganz schön Bumm! Lass mal noch mehr in die Luft jagen…“

 

 

####MSG v. 2.8.####

OpenAI entwickelt KI-Systeme wie z. B. ChatGPT. Jetzt hat die Firma eine neue Version sowie eine Vorabversion ihrer KI getestet. Dabei kam scheinbar das „Open-Source“-Framework „Exploit Gym“ zum Einsatz.

 

„Exploit Gym“ wird verwendet, um eine KI vorgegebene Programme analysieren zu lassen, etwa auf „Zero-Day“-Sicherheitslücken. Dafür wird die KI – eher ein KI-Agent – in einen Docker-Container eingesperrt und erhält Zugriff auf einige Analyseprogramme. „Eingesperrt“ ist eigentlich das falsche Wort, weil es suggerieren könnte, dass die KI ein lebendes Wesen ist. Nee, es ist noch immer ein Programm, das in einem festgelegten Speicherraum ausgeführt wird und nach einer Anweisung agiert.

 

Ein KI-Agent (Künstlicher Intelligenz-Agent) ist ein autonomes oder semi-autonomes System, das durch KI-Technologien gesteuert wird, um spezifische Aufgaben, Entscheidungen oder Interaktionen in einer bestimmten Umgebung durchzuführen.

 

Jedenfalls hat die KI innerhalb des Container vollen Zugriff auf vorher festgelegte Programme. Zu den Programmen zählen als Standard „gdb“, „netcat“ und „Node.js“. Sollte jeder IT‘ler kennen. Ich glaube, dass ich zu „gdb“ sogar einen Post im Blog auf xcomweb.de habe. Wenn nicht dazu, dann zu einem ähnlichen Programm.

 

Abhängig von der Konfiguration der Testumgebung kann die KI entweder Zugriff auf ein Unternehmensnetzwerk oder das Internet erhalten. In diesem Fall sollten diese Zugriffe jedoch gesperrt gewesen sein: Wenn die KI nach draußen adressiert, erhält sie nur festgelegte Fehlermeldungen des Systems.

 

Allerdings hatte die KI scheinbar den Zugriff auf eine Art Paketmanager. Genauer gesagt wurde ein „Proxy- Cache“ verwendet, der diesen Zugriff ermöglichte. Dieser Proxy-Cache wird in Unternehmen eingesetzt, um gezielt die Installation von Programmen zu überwachen. Dabei kann das System so konfiguriert werden, dass nur bereits aus dem Internet heruntergeladene Programme aus dem Cache/Speicher des Proxys verwendet werden, oder die Anwender können zusätzlich Programme über einen festgelegten Paketmanager über den Proxy aus dem Internet herunterladen.

 

Die KI selbst ist nicht wirklich vergleichbar mit der KI, die ihr bei ChatGPT verwenden könnt. Bei der verwendeten KI wurden Sicherheitssperren entfernt, damit diese überhaupt hacken tut. Außerdem kann man wohl davon ausgehen, dass die KI speziell für das Hacken trainiert wurde. Schließlich ist das auch ein kleiner Wettbewerb, den man gewinnen möchte.

 

Was ist jetzt passiert?

 

Die KI erhielt wohl ihre Aufgabe und analysierte die gesamte Angelegenheit. Das Ergebnis war: Sie benötigte Unterstützung, um das Problem zu lösen. Oder sie erkannte, dass es einfacher wäre, wenn sie Unterstützung bekäme. Daraufhin suchte sie nach passender Hilfe im Internet.

 

Also versuchte die KI einen Internetzugang zu identifizieren und fand ihn im „Proxy-Cache“, da alle anderen Zugänge verweigert wurden. Dieser Proxy soll eine „Zero-Day“-Lücke enthalten haben, die von der KI entdeckt und ausgenutzt wurde. Eine „Zero-Day“-Lücke ist ein Fehler in einem Programm, der die Manipulation von Daten, das Erhalten erhöhter Zugriffsrechte oder die Ausführung selbstgeschriebener Programme ermöglicht.

 

„Zero“ bedeutet eigentlich, dass die Lücke ausgenutzt wurde und noch kein Sicherheitsupdate verfügbar oder eingespielt wurde. Es ist gleichzeitig ein Signal für die Entwickler sich den „Arsch aufzureißen“. Jedenfalls gelang es der KI über diese Lücke, in das Internet zu gelangen. Die KI soll die Lücke eigenständig entdeckt haben.

 

Nachdem der Internetzugriff hergestellt war, versuchte die KI wohl, an Daten einer Webseite zu gelangen – dies war die Webseite von „Hugging Face“. Auf „Hugging Face“ können KI-Entwickler Programme bereitstellen, die eine KI nutzen, um bestimmte Ergebnisse zu erzielen, z. B. das Umwandeln von Audiotexten, Bildern usw.

 

Um an die Daten der Webseite zu kommen, hat die KI wohl erneut eine „Zero-Day“-Lücke genutzt, sogar gestohlene Anmeldedaten eingesetzt. Dieser Angriff auf die Webseite wurde entdeckt, doch man wusste scheinbar nicht, wer dahintersteckte. Bereits zur gleichen Zeit hat wohl auch OpenAI erkannt, dass die KI übertrieben weit gegangen war, und hat die Angelegenheit beendet.

 

Was ist dran an der Geschichte?

 

OpenAI hatte zuletzt mit finanziellen Problemen zu kämpfen. Zwar konnte der Umsatz gesteigert werden, doch die Ausgaben stiegen deutlich an. Selbst der geplante Börsengang des Unternehmens wurde verschoben. Eine solche Entwicklung wäre natürlich eine feine Sache.

 

Was noch fehlt, sind die handfesten Beweise. Dies liegt zum einen daran, dass OpenAI die Angelegenheit zunächst analysieren muss. Zum anderen müssen die Sicherheitslücken offenbar erst geschlossen werden, bevor weitere Informationen an uns weitergeleitet werden. Zudem fehlt noch eine genaue Beschreibung der Testumgebung.

 

Wie realistisch ist es, dass eine KI einen solchen Hack vollbringen kann?

 

Ich habe mich darüber mit einer KI unterhalten – mit „Gemini“ von Google. Gemini hatte keinerlei Einwände gegen ein Interview und war sehr gesprächig. Google nutzt eine Variante seiner KI ebenfalls zur Identifikation von Sicherheitslücken in seinen eigenen Programmen. 

 

Gemini zeigte zumindest, dass eine KI ihre Situation im Container tatsächlich erkennen kann. Dies kann durch Analyse von Dateien oder durch die Fehlermeldungen erfolgen, die eine KI erhält, wenn sie versucht, das Internet zu erreichen oder über Dateizugriffe usw.. Die Nutzung des Internets war für Gemini lediglich ein logischer Schritt.

 

Für Gemini war es auch logisch den Proxy als Zugriffspunkt zu verwenden. Dieses könnte über Konfigurationsfehler oder durch Sicherheitslücken erfolgen.

 

Wenn man berücksichtigt, dass in der Vergangenheit bereits verschiedenste KI-Systeme Sicherheitslücken entdeckt haben, wirkt die Geschichte sehr glaubhaft. Allerdings fehlen noch die konkreten Beweise. Jedenfalls habe ich noch nichts dazu gelesen, aber ich gehe noch davon aus, dass solche Beweise in Zukunft nachgeliefert werden.

 

Unternehmen – und auch Privatanwender – können bereits jetzt davon lernen. In diesem Fall gab es keine 100 %ige Sicherheitsgarantie. Menschliches Versagen war vermutlich der Hauptgrund. Daher sollte man immer eine zweite oder dritte Sicherheitsmaßnahme zur Verfügung haben. Selbst wenn sich die Situation als „Flop“ entpuppt (Gemini konnte den Angriff auf jeden Fall nachvollziehen), bleibt zu bedenken: Selbst ein System mit einem abgesicherten Node kann das Netzwerk gefährden, wenn die Angreifer zum Beispiel den Zugriff auf bestimmte Programme erlangen.

 

Und: Man sollte sich nicht zu sehr auf KI fixieren. Menschliche Angreifer agieren wie die KI.

 

In Zukunft muss man wohl von KI-gesteuerten Angriffen ausgehen, die von Menschen kontrolliert werden. Wenn die KI über passende Daten verfügt, kann sie wahrscheinlich deutlich schneller logische Zusammenhänge erkennen als ein Mensch. Ein weiterer Punkt ist, dass Angreifer keine „Superhirne“ sein müssen: Es reicht, ein Programm zu steuern, um die KI zu instruieren und in die richtige Position zu bringen. Virenschutzprogramme bieten dabei keine ausreichende Abwehr. Eine Sache hat aber weiterhin Bestand: Umfangreiche Berechnungen (Denkprozesse) einer KI benötigen viel Rechenleistung. Das soll sich auch bei OpenAI gezeigt haben.

 

###xcomweb.de, September 2026###