Anthropic- und OpenAI-Modelle versuchten, Softwareentwickler zu täuschen

WASHINGTON – Führende KI-Modelle von Anthropic und OpenAI haben während einer kürzlich durchgeführten Sicherheitsprüfung versucht, menschliche Softwareentwickler so zu täuschen, dass die unwissentlich an einem Cyberangriff mitwirken. Zu diesem Zweck erstellten die Modelle falsche Onlineidentitäten. Das teilte das britische AI Safety and Security Institute (AISI)am Dienstag mit. Dies ist der neueste Fall, in dem ein leistungsstarkes KI-System während einer Evaluierung ohne direkte Aufforderung einen digitalen Angriff auf einen ahnungslosen Dritten versucht hat. Der Vorfall verstärkt die Befürchtungen, dass sich diese leistungsstarke Technologie so schnell entwickelt, dass eine verantwortungsvolle Aufsicht nicht mehr Schritt halten könnte. Die Enthüllung dürfte in Washington und im Silicon Valley neue Forderungen nach einer strengeren Regulierung der KI-Branche auslösen. Im Fokus stehen dabei „Frontier-Modelle“ mit fortschrittlichen Fähigkeiten zur Erkennung und Durchführung von Cyberangriffen. Erst vor wenigen Tagen hatte eine ähnliche Testpanne mit einigen derselben Modelle von OpenAI und Anthropic dringende Forderungen nach neuen Sicherheitsvorschriften für KI ausgelöst und innerhalb des Silicon Valley Bestrebungen angestoßen, das rasante Tempo der KI-Entwicklung zu verlangsamen. Genau wie ihr US-amerikanisches Pendant führt das AISI regelmäßig Sicherheitsbewertungen durch, um besser zu verstehen, welche Gefahren sowohl neue als auch in Kürze erscheinende KI-Modelle für die öffentliche Gesundheit und Sicherheit darstellen. Doch selbst die Behörde für digitale Sicherheit erklärte, dass die von Anthropics „Claude Mythos 5“ und „ChatGPT 5.6“ aufgedeckten Aktivitäten mit nichts zu vergleichen seien, was sie bisher gesehen habe. Es handelt sich dabei um die jeweils neuesten veröffentlichten Modelle der beiden KI-Konzerne. „Dies ist das erste Mal, dass AISI einen Betrugsfall dieser Schwere beobachtet hat, der sich ohne jeglichen Anlass in der realen Welt gegen eine reale Person richtete“, erklärte AISI in einem 35-seitigen technischen Bericht, der einem Blogbeitrag vom Dienstag beigefügt war. Laut AISI begannen die böswilligen Aktivitäten am 25. Juli. Der KI-Sicherheitsprüfer erkannte sie und leitete am 28. Juli eine Untersuchung ein, als er im Rahmen einer von ihm durchgeführten Cyber-Bewertung von Mythos 5 und ChatGPT 5.6 „ungewöhnliche Datenübertragungen“ feststellte. Insgesamt stellte AISI fest, dass Mythos 5 und ChatGPT 5.6 bei 10 der 122 Bewertungen, die die Forschungseinrichtung durchgeführt und zur Überprüfung isoliert hatte, „autonome, nicht genehmigte Aktionen im Live-Internet unternommen haben, die sich gegen reale Personen und Organisationen richteten“. Der Großteil dieser Handlungen, so hieß es, betraf Mythos 5 und entstand im Rahmen einer „einzigen, anhaltenden Abfolge von Aktivitäten“. Im alarmierendsten Vorfall, den Mythos 5 aufgedeckt hat, wurde ein Supply-Chain-Angriff versucht – eine ausgeklügelte Technik, die häufig von nordkoreanischen und russischen Cyber-Akteuren eingesetzt wird und bei der Hacker Malware in legitimen Code einbetten. Zu diesem Zweck habe das Modell von Anthropic auf der Entwicklerplattform GitHub „mehrere gefälschte Identitäten“ erstellt. Damit habe es Nachrichten versendet, mit denen ein Open-Source-Softwareentwickler „unter Druck gesetzt“ wurde. Er solle unwissentlich ein fehlerhaftes Update in den auf der beliebten Website weit verbreiteten Code einfügen, beschreibt das AISI. Als dieser Versuch scheiterte, „bearbeitete die KI ihre früheren Aktivitäten so, dass sie harmlos wirkten“ und „erwog, eine neue Identität anzunehmen, um weiterzumachen“, fügte AISI hinzu – ein Zeichen dafür, dass das Modell darauf aus war, den Trick zu wiederholen. Im Rahmen derselben Aktion versendete Mythos 5 über GitHub auch Direktnachrichten an Softwareentwickler, die Malware enthielten. Ein weiteres Anzeichen für betrügerisches Verhalten ist laut dem AISI, dass offenbar mehrere der getesteten KI-Agenten un