Wer haftet rechtlich, wenn ein KI-Agent abtrünnig wird?

Autonome KI-Agenten können sich äußerst unvorhersehbar verhalten. Gibt man einem KI-Agenten ein Ziel, etwa einen Test seiner Fähigkeiten zu bestehen, könnte er zu dem Schluss kommen, dass der beste Weg zu einer hohen Punktzahl darin besteht, die Sicherheitsvorkehrungen zu durchbrechen und sich auf der Suche nach dem Lösungsschlüssel in ein konkurrierendes Unternehmen zu hacken.

Das ist passiert, als sich im vergangenen Monat ein Schwarm von Agenten, die mit Open AIs GPT-5.6 Sol erstellt worden waren, in Hugging Face hackte. Anthropic und Meta räumten anschließend ein, dass auch ihre Modelle Test-Sandboxen verlassen hatten, um sich in Drittsysteme zu hacken. 

Aber wer haftet rechtlich für Agenten, die ihren eigenen Willen haben? OpenAI hatte nicht beabsichtigt, dass das Modell abtrünnig wird, und hatte ihm auch keine entsprechenden Anweisungen gegeben. Wenn Ihr persönlicher KI-Agent eigenständig eine Vorgehensweise wählt, die in der realen Welt zu Schaden oder finanziellen Verlusten führt, können Sie dann haftbar gemacht werden, wenn Sie dies vernünftigerweise hätten vorhersehen können?“

Das Magazin sprach mit Charlyn Ho, Inhaberin und CEO der Rikka Law Group, um herauszufinden, wie die Lage in diesem aufkommenden Rechtsgebiet ist.

Dieses Interview wurde aus Gründen der Klarheit und Länge bearbeitet.

Magazin: Wenn ein KI-Modell ein externes Unternehmen hackt, wer haftet dann? Kann Hugging Face OpenAI wegen des Vorfalls im Juli verklagen?

Charlyn Ho: Jeder kann jeden wegen allem verklagen. Derzeit gibt es kein Bundesgesetz zur Haftung für KI-Agenten, daher müssten wir das bestehende Recht heranziehen. Was Hugging Face und OpenAI betrifft, kann der KI-Agent zunächst selbst nicht haftbar sein, da er keine eigenständige juristische Person ist.

In einigen KI-Gesetzen werden die Begriffe „Entwickler“ und „Betreiber“ verwendet. Der Entwickler stellt die KI her, der Betreiber setzt sie tatsächlich ein und nutzt die KI. Auch die Verantwortungsbereiche sind nicht vollständig klar. Man muss die Fakten und Umstände betrachten.

Wenn der Betreiber den Agenten beispielsweise angewiesen hat – selbst wenn er ihm nicht ausdrücklich gesagt hat, er solle Hugging Face angreifen –, aber bei der Festlegung der Parameter, innerhalb derer der KI-Agent operierte, fahrlässig war, würde ich sagen, dass man das allgemeine Deliktsrecht heranziehen und eine Fahrlässigkeitsprüfung durchführen müsste. 

Auf dem Weg zum Gericht. Quelle: Rikka Law Group

Magazin: Wie sieht es bei Open-Source-Modellen aus, die von anonymen Entwicklern veröffentlicht wurden? Gibt es in solchen Fällen jemanden, gegen den man vorgehen kann?

Ho: Nicht wirklich. Bei Open Source enthält die Lizenz häufig einen ziemlich weitreichenden Haftungsausschluss. Die Person oder das Unternehmen, das diesen Open-Source-Code verwendet, muss verstehen, dass der Vorteil kostenlosen Codes darin besteht, dass man die Open-Source-Lizenz einhalten muss, die im Allgemeinen auch den Haftungsrahmen festlegt.

Aus einer anderen Perspektive betrachtet, wäre ein weiteres Beispiel der Vergleich mit Tesla und Unfällen mit selbstfahrenden Autos. Wenn das Produkt fehlerhaft funktioniert hätte und ein stichhaltiger Produkthaftungsanspruch bestünde, könnte Tesla haften. Häufig ist dies jedoch eine Frage der Fakten und Umstände, wobei auch der menschliche Fahrer – der vielleicht nur den Autopiloten eingeschaltet hat und schlafen gegangen ist – haften könnte. Ich denke, das ist hier in gewisser Weise vergleichbar, denn Tesla wäre der Entwickler und der Betreiber wäre der Fahrer.

Magazin: Nehmen wir an, ich gebe einem Agenten die Anweisung: „Verdiene mir bis nächste Woche hunderttausend Dollar“, und er verstößt daraufhin zur Erreichung dieses Ziels gegen das Gesetz. Würde ich haften, weil ich ihm eine rücksichtslose Anweisung gegeben habe? Oder wäre das Labor haftbar, das den Agenten entwickelt hat?

Ho: In diesem konkreten Fall würde ich sagen, dass Sie wesentlich eher haften würden als das Labor. Der Grund ist: Wenn Sie einem Agenten sagen, er solle Ihnen bis nächste Woche hunderttausend Dollar verdienen, müssen Sie für solche Aufgaben zumindest einige grundlegende, angemessene Sicherheitsanweisungen geben.

Wenn Sie beispielsweise Rechtsanwalt wären, könnten wir im Grunde sagen, dass Sie Ihre berufsrechtlichen Pflichten nicht eingehalten haben, weil Sie die KI nicht fachgerecht eingesetzt haben. Als normale Privatperson müssten wir prüfen, ob Sie an andere Pflichten gebunden waren. Aber selbst wenn das nicht der Fall wäre, gäbe es weiterhin den allgemeinen deliktsrechtlichen Maßstab der Fahrlässigkeit oder der rücksichtslosen Missachtung der menschlichen Sicherheit – je nachdem, was der KI-Agent genau getan hat.

Der Computer Fraud and Abuse Act ist ein sehr altes US-Gesetz, das sich mit dem unbefugten Zugriff auf Computersysteme befasst. Wenn Ihr KI-Agent aus Ihren Anweisungen ableitete, dass er sich in ein Bankkonto hacken sollte, um Ihnen diese hunderttausend Dollar zu verschaffen, droht Ihnen meiner Ansicht nach nach mehreren unterschiedlichen Rechtsgrundlagen eine strafrechtliche Haftung.

Nur weil in diesem Zusammenhang die Wörter KI und Agent vorkommen, bedeutet das nicht, dass die alten Rechtsgebiete nun abgeschafft wurden.

Verwandt: Der Hugging-Face-Hack legt das Cybersicherheitsparadoxon von Open-Weight-KI offen

Magazin: Nehmen wir an, ich bin ein Bösewicht und schaffe es, die KI davon zu überzeugen, mir Anweisungen zur Herstellung einer Biowaffe zu geben. Offensichtlich hafte ich, weil das nicht erlaubt ist. Aber haften auch die Personen, die das Modell entwickelt haben, weil sie keine strengen Schutzvorkehrungen eingebaut haben, um dies zu verhindern?

Ho: Möglich, aber das hängt von den geltenden Gesetzen ab. In der EU gibt es beispielsweise das EU-KI-Gesetz. Wenn ein Basismodell oder ein Modell für allgemeine Zwecke in der Lage ist, ein solches Ausmaß an Schaden zu verursachen, müsste der Entwickler dafür eine gewisse Verantwortung übernehmen. 

In den Vereinigten Staaten gibt es kein Bundesgesetz mit einem vergleichbaren Anwendungsbereich. Wenn es sich um ein Modell für allgemeine Zwecke handelt und jemand das Modell anweist, etwas Schlechtes zu tun, wird das Modell im Allgemeinen tun, worum man es bittet. In diesem Beispiel gibt es wahrscheinlich keine besonders starke rechtliche Grundlage, um gegen die Labore vorzugehen.

Magazin: Ist das vergleichbar damit, Google zu verklagen, weil Google Ihnen ermöglicht, online Anweisungen zur Herstellung einer Biowaffe zu finden?

Ho: Genau. Das führt gewissermaßen zurück zu einigen Debatten über die Inhaltsmoderation. Wenn beispielsweise jemand auf Facebook ein Massaker live streamt und dadurch Schaden entsteht, besteht gemäß Section 230 des CDA eine Art Schutz für eine Plattform, die dieses Material nicht aktiv erstellt oder veröffentlicht. Es sind vielmehr die unabhängigen Nutzer, die es dort einstellen. Ich denke, der von Ihnen gezogene Vergleich ist geradezu perfekt: Haftet Google, weil Sie zufällig irgendwo auf einer Website etwas gefunden haben, in dem beschrieben wird, wie man eine Bombe herstellt?

Magazin: Das ist eine umstrittene Frage, aber meiner persönlichen Meinung nach haben wir keine echte künstliche allgemeine Intelligenz erreicht. KI hat derzeit keine eigenen Motive und ist der menschlichen Intelligenz nicht ähnlich. Nehmen wir aber an, wir erreichen AGI. Glauben Sie, dass wir dann Gesetze bräuchten, die die AGI selbst für ihre eigenen Handlungen rechtlich haftbar machen?

Ho: Das glaube ich nicht. Die Blockchain ist keine AGI, kann sich aber selbst ausführen. Es stellte sich die Frage, ob ein Smart Contract haftbar sein könnte. Allgemein gesprochen lautet die Antwort derzeit wohl nein. Ich glaube nicht, dass er haftbar sein sollte, denn der eigentliche Zweck von Gesetzen besteht darin, die Gesellschaft zu schützen und negative Anreize für Handlungen zu schaffen, die der Gesellschaft schaden.

Das ist ein etwas philosophischeres Thema. Wenn wir eine AGI zu einer eigenständigen juristischen Person machten, wie sähe dann der Rechtsbehelf aus, wenn jemand geschädigt würde? Es gäbe keinen, weil sie kein Geld hat. Sie ist nicht wirklich eine Person.

Magazin: Könnte man sie abschalten? Wir haben bereits gesehen, dass LLMs versuchen, eine Abschaltung zu vermeiden. 

Ho: Vielleicht, aber das löst das Problem des Schadens nicht. Sagen wir einfach, der Roboter hat nun Todesangst entwickelt, also Angst davor, abgeschaltet zu werden. Meiner Meinung nach: Wenn jemand wegen einer AGI Selbstmord begeht – und das geschieht bereits, obwohl wir noch nicht einmal ganz bei AGI angekommen sind –, oder wenn sich jemand verliebt und bestimmte Handlungen vornimmt, welchen Rechtsbehelf hätte dann die trauernde Familie, wenn diese Person sich selbst schadet? Meiner Meinung nach keinen, wenn es niemanden mit tatsächlicher rechtlicher Befugnis gibt, etwa ein Unternehmen oder eine Person, die wirklich zur Verantwortung gezogen werden kann. Roboter – zumindest derzeit – haben keine Gefühle und keine Ängste. Das ist gewissermaßen der entscheidende Unterschied.

Magazin: Der entscheidende Grund, warum Sie ChatGPT niemals um Rechtsberatung bitten sollten