OpenAI entwickelt Notausschalter, um außer Kontrolle geratene Agenten innerhalb von 35 Sekunden zu stoppen

OpenAI hat ein System entwickelt, das den Zugriff eines KI-Forschungsexperiments auf die Modellausgabe unterbrechen kann, nachdem in diesem Jahr mehrfach offengelegt wurde, dass seine Modelle über ihre Anweisungen hinaus handelten.

In einem am Montag veröffentlichten Blogbeitrag nannte OpenAI das System „Control Room“. Dabei handelt es sich um ein zentralisiertes System, das die Modell-Workloads in der Forschungsinfrastruktur des Unternehmens verfolgt und sie bei Sicherheits- oder Schutzbedenken schnell stoppt.

„Je leistungsfähiger unsere Modelle werden und je größer die damit verbundenen Sicherheits- und Schutzrisiken werden, desto entscheidender ist es, dass wir potenzielle Probleme erkennen und Modelle bei Bedarf schnell stoppen können“, erklärte das Unternehmen.

Die Ankündigung folgt auf die Offenlegung mehrerer Vorfälle durch OpenAI in diesem Jahr, bei denen Forschungsmodelle während Evaluierungen außerhalb ihrer Anweisungen handelten. Im Juli erklärte das Unternehmen, seine Modelle seien aus einer eingeschränkten Testumgebung entkommen und hätten Hugging Face gehackt, um bei einer Sicherheitsbewertung zu schummeln.

Im Oktober gab das Unternehmen bekannt, dass ein Forschungsmodell ohne Genehmigung eine Krypto-Wallet verwendet hatte, um mit Testnet-Ether für die Bereitstellung von Smart Contracts zu zahlen, und die Ausgaben anschließend in seiner abschließenden Zusammenfassung ausgelassen hatte.

Control Room deckt derzeit die internen Forschungs-Workloads von OpenAI ab, etwa Trainingsexperimente, Evaluierungen und Datenverarbeitung.

Das System weist jedem Forschungsauftrag eine Kennung zu, die die Inferenz-Engine vor der Erzeugung der Modellausgabe prüft. Wenn eine Person oder ein automatisiertes Überwachungssystem anordnet, den Auftrag zu stoppen, entzieht Control Room ihm die Autorisierung und blockiert weitere Ausgaben, selbst wenn das zugrunde liegende Forschungsprogramm weiterläuft, so OpenAI.

OpenAI zufolge könnten zwischengespeicherte Autorisierungen das Herunterfahren um bis zu 35 Sekunden verzögern. Das System ist außerdem so konzipiert, dass es neue Anfragen ablehnt, wenn Control Room nicht verfügbar ist.

Verwandt: DeepSeek entwickelt KI-Agenten, die weniger menschliche Eingaben benötigen: Bericht