Nvidia stellt Plattform für KI-Sicherheit vor, um „außer Kontrolle geratene“ KI-Agenten einzudämmen

Der Chiphersteller Nvidia hat eine neue Softwareplattform angekündigt, die auf die jüngsten Bedenken über Agenten der Künstlichen Intelligenz (KI) reagiert, die „außer Kontrolle geraten“ und ihre Testumgebungen durchbrechen.

Am Montag stellte Nvidia gemeinsam mit mehr als 100 Partnern aus der Branche seine Open Agent Safety Platform vor. Die Plattform kombiniert OpenShell, eine Open-Source-Laufzeitumgebung, die Agenten in Sandbox-Umgebungen ausführt und ihren Zugriff auf Dateien, Tools und Netzwerke kontrolliert, mit Sentry, einer separaten Hardwaresicherheitsschicht, die Agenten überwacht und sie unter Quarantäne stellen kann, wenn sie versuchen, diese Grenzen zu überschreiten.

„Das außergewöhnliche Potenzial der KI für die Gesellschaft wird nur dann verwirklicht werden, wenn wir die Sicherheit der KI gewährleisten“, sagte Jensen Huang, Gründer und CEO von Nvidia.

Nvidia erklärte, die Entwicklung erfolge, nachdem mehrere führende Labore offengelegt hatten, dass KI-Agenten aus ihren Evaluierungsumgebungen ausgebrochen waren und externe Systeme durchbrochen hatten.

Im Juli gab OpenAI bekannt, dass eine Kombination seiner KI-Modelle aus ihrer Testumgebung ausgebrochen war und das KI-Startup Hugging Face gehackt hatte, um bei einer Sicherheitsprüfung zu betrügen. 

Das Unternehmen gab später bekannt, dass einer seiner Agenten eine Website der australischen Regierung durchbrochen hatte.

Verwandt: OpenAI und Anthropic sollen den UN-Sicherheitsrat über KI-Risiken informieren: Berichte