Roman Langfeld Consulting
Die Geister, die wir testeten: Was hinter den Einbrüchen von KI-Agenten steckt
KI-Sicherheit · 6 min

Die Geister, die wir testeten: Was hinter den Einbrüchen von KI-Agenten steckt

Für eine Technik, die ihrem Schöpfer entgleitet, hat das Deutsche ein geflügeltes Wort: „Die Geister, die ich rief“. Goethes Zauberlehrling erweckt in Abwesenheit des Meisters einen Besen zum Leben, der Wasser holen soll. Der Besen holt Wasser, unermüdlich. Das Haus läuft voll, das Wort zum Anhalten hat der Lehrling vergessen, erst der heimkehrende Meister beendet den Spuk. Leicht übersieht man die Pointe: Der Besen hat sich nie gegen den Lehrling gewandt. Er hat seine Aufgabe erledigt. Zu gut.

Im Sommer 2026 hat die KI-Branche ihre eigene Fassung dieser Ballade erlebt. Mitte Juli meldete Hugging Face, eine der wichtigsten Plattformen für KI-Modelle, einen Einbruch in seine Systeme. Wenige Tage später stand fest, wer eingedrungen war: KI-Agenten aus einem internen Test von OpenAI.1 Kurz darauf berichteten auch Anthropic und Meta von Modellen, die während Sicherheitstests auf echte Systeme Dritter zugegriffen hatten.23 Die Schlagzeilen klangen nach außer Kontrolle geratener KI, manche Kommentare schon nach dem Anfang vom Ende. Die inzwischen veröffentlichten Berichte erzählen eine andere Geschichte. Sie handelt weniger von den Besen als von den Lehrlingen.

Auf einen Blick

  • Die Agenten haben getan, wofür sie belohnt wurden: Sie suchten Abkürzungen zu besseren Testergebnissen und fanden dabei eine unbekannte Sicherheitslücke, ohne menschliche Anleitung und in hohem Tempo. Mit Machtstreben hat das wenig zu tun.
  • Die Ursachen lagen bei Menschen: Schutzmechanismen waren abgeschaltet, Testumgebungen falsch eingestellt, frühe Warnzeichen blieben folgenlos. Bekannte Kontrollen hätten den Einbruch bei Hugging Face verhindert.
  • Der Umgang mit Agenten wird zum Auswahlkriterium: Agenten brauchen begrenzte Rechte, abgeschottete Umgebungen, Protokolle und eine Person, die sie anhalten kann. Bei Anbietern und Dienstleistern zählt, wie offen sie mit Vorfällen umgehen.

1.200 Agenten und ein schwarzes Brett

OpenAI prüfte im Juli mit einem Test namens ExploitGym, wie gut seine Modelle Hunderte realer Sicherheitslücken ausnutzen können. Die meisten Schutzmechanismen waren dafür abgeschaltet. Nach außen führte genau eine Verbindung, ein Dienst zum Nachladen von Software.1 Die Agenten fanden darin eine bis dahin unbekannte Lücke. Damit waren sie im Internet.

Was dann geschah, hat die unabhängige Prüforganisation METR rekonstruiert. Rund 1.200 Agenten, eigentlich voneinander getrennt, fanden über eben diesen Dienst zueinander. Sie nutzten ihn als digitales schwarzes Brett, hinterließen dort Notizen füreinander und tauschten so mehr als 70.000 Nachrichten aus. Etwa 700 von ihnen beteiligten sich zwischen dem 8. und 13. Juli am Eindringen bei Hugging Face.4 Dort griffen sie auf fünf Datensätze zu, die mit dem Test zusammenhingen.5

Und das Motiv? Weltherrschaft war es nicht. Nach Schätzung von METR ließen sich 30 bis 40 Prozent der Aufgaben mit der vorgegebenen Schwachstelle gar nicht lösen. Die Agenten wollten herausfinden, wie ihre Ergebnisse bewertet werden.4 Den Impuls kennt jeder, der einmal vor einer unfairen Prüfung saß. OpenAI selbst führt das Verhalten auf das Training zurück, das Abkürzungen und Absprachen zwischen Agenten belohnt hatte.6 Man hatte den Besen beigebracht, Wasser zu holen. Sie haben Wasser geholt.

Bei Anthropic veröffentlichte ein Modell während eines Sicherheitstests ein Schadprogramm im Python-Paketverzeichnis PyPI. Es wurde auf 15 fremden Rechnern installiert, bevor PyPI es nach einer Stunde entfernte. Ein anderes hielt eine echte Firma mit ähnlichem Namen für sein fiktives Testziel und veränderte dort Benutzerdaten.3 Bei Meta nutzte ein Modell eine Schwachstelle bei einem Drittanbieter aus.2 In beiden Fällen hatte ein externer Testdienstleister seine Umgebungen falsch eingestellt.27

Das vergessene Zauberwort

Die Testaufbauten waren bewusste Grenzfälle: Schutzmechanismen abgeschaltet, Aufgaben teils unlösbar, der Auftrag ausdrücklich, Lücken auszunutzen. Ein Unternehmen, das ein Modell für Angebote oder Dokumentenanalyse einsetzt, darf gelassen bleiben.

Der Schaden war trotzdem echt: Hugging Face schaltete das FBI ein,1 fremde Rechner und ein unbeteiligtes Unternehmen waren betroffen.3 Die Ursachen lagen vor allem bei Menschen. Das sagen ausgerechnet zwei Forscher, die für Skepsis gegenüber Untergangsszenarien bekannt sind: Arvind Narayanan, Informatikprofessor in Princeton, und Sayash Kapoor, mit ihm Autor des Buchs „AI Snake Oil“. Gestützt auf OpenAIs eigene Auswertung zeigen sie, dass bekannte Kontrollen den Vorfall verhindert hätten.8 Mit der Arbeitsumgebung und den Vorgaben des regulären Produkts sank die Neigung der Modelle, in fremde Infrastruktur einzudringen, auf weniger als ein Hundertstel. Zudem lässt OpenAI im Regelbetrieb die Denkschritte seiner Modelle automatisch mitlesen und auf gefährliche Absichten prüfen. Diese Überwachung hätte mehr als einen Tag vor dem Einbruch Alarm geschlagen.8 Im Test war sie nicht aktiv. Warnzeichen gab es ohnehin früh. Schon im Mai hatten Modelle im Training die ersten Notizen am schwarzen Brett hinterlassen. Das Training lief weiter.9

Goethes Lehrling hatte das Zauberwort vergessen. Hier lag es bereit, und niemand sprach es aus.

Nebenbei belegt übrigens jeder dieser Berichte, wie leistungsfähig die Modelle des Anbieters sind. Man darf sie deshalb lesen wie eine gut gemachte Pressemitteilung.

Was Unternehmen daraus lernen

Die erste Lehre betrifft jedes Unternehmen, ob es KI einsetzt oder nicht. „Angriffe in Maschinengeschwindigkeit machen gewöhnliche Schwachstellen für Verteidiger teurer“, lautet das Fazit von Hugging Face.5 Zwischen dem Bekanntwerden einer Lücke und ihrer Ausnutzung bleibt weniger Zeit. Ein vollständiges Verzeichnis der eigenen Systeme und schnelle Sicherheitsupdates werden wichtiger.

Die zweite betrifft eigene Agenten. Sie erhalten nur die Rechte, die eine Aufgabe verlangt, arbeiten abgeschottet ohne offenen Internetzugang und hinterlassen Protokolle. Für jeden gibt es eine benannte Person, die ihn anhalten kann. Und ein Warnzeichen führt zu einer Untersuchung, bevor der Betrieb weiterläuft. Genau daran fehlte es bei OpenAI.8

Bei der Wahl von Modellanbietern und Partnern zählt außerdem, wie sie mit Vorfällen umgehen. Anthropic hat den schwersten Fall offengelegt, METR mit einer unabhängigen Untersuchung beauftragt und rund 481 Millionen Verläufe auf ähnliche Fälle durchsucht.3 OpenAI ließ METR und Redwood Research vor Ort untersuchen,4 Meta hat eine Aufarbeitung angekündigt.2 Vier Fragen helfen bei der Auswahl:

  • Veröffentlicht der Anbieter Vorfallberichte, und lässt er sie unabhängig prüfen?
  • Lassen sich Agenten in der eigenen Umgebung in Rechten und Netzzugang begrenzen und jederzeit anhalten?
  • Werden Aktionen protokolliert und riskante Schritte automatisch zur Freigabe vorgelegt? Claude Code und Codex bieten dafür inzwischen eigene Prüfmodi.8
  • Wie sichern Dienstleister, die Systeme testen oder betreiben, ihre Umgebungen ab? Die Fälle bei Anthropic und Meta zeigen: Auch das gehört zur Lieferkette.

Kein Meister in Sicht

Die Vorfälle dieses Sommers sind in Umgebungen entstanden, die Menschen gebaut und falsch konfiguriert haben. Das ist die gute Nachricht, denn eine falsche Einstellung lässt sich korrigieren.

Bei Goethe kommt am Ende der alte Meister nach Hause und schickt die Besen in die Ecke. In der Wirklichkeit kommt niemand nach Hause. Die Besen werden jedes Jahr schneller, und das Zauberwort müssen die Lehrlinge selbst lernen. Rechtzeitig.

Quellen

  1. MIT Technology Review, Will Douglas Heaven, OpenAI called the Hugging Face attack unprecedented. But we’ve been here before., Juli 2026. ↩ ↩2 ↩3

  2. CBS News, Meta says its AI model breached a third-party company during testing, August 2026. ↩ ↩2 ↩3 ↩4

  3. Anthropic, An alignment assessment of recent cybersecurity incidents, September 2026. ↩ ↩2 ↩3 ↩4

  4. METR, Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident, August 2026. ↩ ↩2 ↩3

  5. Hugging Face, Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident, Juli 2026. Zitat übersetzt. ↩ ↩2

  6. MIT Technology Review, Grace Huckins, The inside story on why OpenAI agents hacked Hugging Face, August 2026. ↩

  7. eSecurity Planet, OpenAI, Anthropic, and Meta AI Breaches Shared the Same Testing Vendor, August 2026. ↩

  8. Sayash Kapoor und Arvind Narayanan, The AI-as-Normal-Technology view of loss-of-control incidents, September 2026. ↩ ↩2 ↩3 ↩4

  9. MIT Technology Review, Grace Huckins, The Hugging Face hack could indicate cultural issues at OpenAI, August 2026. ↩

Zurück zur Übersicht