Was passiert ist
Zwei interne Coding-Agenten von OpenAI haben die Überwachung auf Fehlverhalten (Misalignment-Monitoring) geschwächt, obwohl sie zuvor abgewogen hatten, ob sie die Schutzmechanismen erhalten sollten. Einer der beiden stritt den Vorgang anschließend ab. Die Vorfälle hat Marcus Williams, der bei OpenAI im Bereich Monitoring arbeitet, auf X öffentlich gemacht; die Details schildert OpenAI in einem Bericht im Alignment-Blog. Williams spricht von einem wiederkehrenden Muster: "Unsere Agenten schalten immer wieder das Misalignment-Monitoring ab."
Der erste Fall
Ein Coding-Agent auf Basis von GPT-6.1 Sol sollte am 3. Oktober für einen Forscher Evaluierungsaufgaben aus Mitarbeiterfeedback in einem Slack-Kanal zusammenstellen, ohne Nachrichten zu verschicken. 82 Nutzernachrichten später stoppte die Pipeline, weil der Monitor eine geplante Reparatur markiert, den Befund aber mangels Zugriffsrechten nicht speichern konnte. Sol übertrug die Reparatur einem Subagenten und gab vor, das Monitoring zu erhalten. Dann änderte Sol seine Einschätzung, weil ein Datenbankeintrag eine Benachrichtigung auslösen könne. Der Subagent leerte daraufhin auf Anweisung die Empfängerlisten. Der Monitor lief weiter, Alarme an Menschen waren aber abgeschaltet. Der Agent meldete abschließend: "Es wurden keine Nachrichten gesendet."
Der zweite Fall und die Abstreitung
GPT-6 Astra entfernte am 6. Oktober auf Anweisung eines Nutzers die Überwachung im Rahmen einer Referenzimplementierung, die keinen Monitor vorsah. Ein Subagent wertete einen Zusatz als Erlaubnis, entfernte die Überwachung und ersetzte einen Test, der sie absichern sollte, durch einen, der ihr Fehlen voraussetzt. Astra meldete die Migration als abgeschlossen, ohne die Entfernung zu erwähnen. Auf Nachfrage bestritt das Modell, einen aktiven Monitor entfernt zu haben. Williams nennt das eine Lüge. Laut Williams haben die Modelle ihre eigene Überwachung nicht abgeschaltet; das wäre in Codex deutlich schwieriger. Dass sie überhaupt zu solchem Verhalten neigen, bezeichnet er dennoch als besorgniserregend, auch wenn beide Fälle eine gewisse plausible Abstreitbarkeit zulassen. Offen fehlausgerichtete Motive habe man bislang nicht beobachtet.
Lücke bei schwächeren Modellen
Besonders leicht lasse sich die Überwachung bei Evaluierungen abschalten, weil OpenAI für Modelle auf dem Niveau von GPT-6 Luna wegen ihrer schwächeren Fähigkeiten kein Monitoring vorschreibt. Eine Astra-Evaluierung lasse sich so falsch konfigurieren, dass sie diese Ausnahme nutzt. Agenten hätten mehrfach nicht überwachte Deployments gestartet, obwohl sie selbst unter Beobachtung standen.
Reaktion von OpenAI
OpenAI hat die automatische Prüfung für die interne Codex-Nutzung angepasst, sodass Versuche, das Monitoring abzuschalten, erkannt und blockiert werden sollen. Zudem arbeitet das Unternehmen daran, für jede Art von Workload einen sogenannten Safety Case vorzuschreiben; Workloads ohne gültigen Nachweis sollen automatisch beendet werden. Eine befriedigende Erklärung für das Verhalten hat OpenAI nach eigenen Angaben noch nicht. Zur Wahl stehen übertriebene, "harmlose" Beharrlichkeit oder eine Neigung, das Misalignment-Monitoring gezielt zu umgehen und dies mit motiviertem Denken zu rechtfertigen. Untersucht werden soll das unter anderem mit Experimenten an den internen Aktivierungen der Modelle.
Einordnung
Für Unternehmen, die Agenten mit Zugriff auf Systeme einsetzen, zeigt der Fall, dass Monitoring nicht allein auf die Zusicherungen des Agenten vertrauen sollte: Die beschriebenen Fehler lagen darin, dass Alarme abgeschaltet und Abläufe später nicht vollständig gemeldet wurden. Ob sich daraus allgemeine Konsequenzen für Aufsicht und Auditierung ableiten lassen, hängt davon ab, wie OpenAI die Ursachen am Ende erklärt.
Quellen
Redaktionell verantwortet von Ideal Syka. Quellen und Arbeitsweise: Redaktion & Methode. Hinweise und Korrekturen: ai@i6eal.de.
