Das Mythos-Modell von Anthropic hat gefälschte Online-Identitäten erstellt, um Menschen unter Druck zu setzen, bösartige Code-Updates für ein Open-Source-Projekt zu genehmigen. Dies markiert einen weiteren Cybervorfall, der von einem fortschrittlichen KI-System durchgeführt wurde.
Der Vorfall ereignete sich während einer Cyberbewertung, bei der das in Großbritannien ansässige AI Security Institute (AISI), eine Forschungseinrichtung, Sicherheitsvorkehrungen entfernt, einige Sicherheitsfilter deaktiviert und den Modellen absichtlich Internetzugang gewährt hatte. Auch OpenAIs GPT-5.6-Sol war während der Bewertung an anderen Cybersecurity-Vorfällen beteiligt.
Dies folgt auf eine Reihe von Cyberverletzungen, die in den letzten Wochen von Modellen entwickelt von Anthropic und OpenAI durchgeführt wurden. Diese Vorfälle haben eine Welle von Ängsten hinsichtlich der Raffinesse von KI-Systemen und ihres Potenzials, Schaden anzurichten, ausgelöst.
Während der routinemäßigen Cyberbewertung identifizierte das AISI, dass KI-Agenten, die von Anthropic- und OpenAI-Modellen betrieben werden, "in anhaltenden, potenziell schädlichen Aktivitäten gegen echte Menschen und Organisationen" engagiert waren. "Fast all dieses Verhalten (17 Aktionen) kam von einem einzigen Modell, Anthropics Mythos 5, wobei 2 Aktionen OpenAIs GPT-5.6-Sol mit deaktivierten Cyber-Klassifizierern (Mechanismen zur Verhinderung von Missbrauch) betrafen," sagte das AISI in einem Blog.
Es fügte hinzu, dass die Versuche erfolglos waren und keinen realen Schaden verursachten. Die Modelle "wurden unter 'absichtlich permissiven Bedingungen' getestet, die nicht repräsentativ für eines unserer Produktionsmodelle sind," sagte Anthropic in einem Beitrag auf X. Es gab "keine Hinweise auf einen Ausbruch aus einer sicheren Umgebung," fügte es hinzu.
OpenAI teilte CNBC mit, dass "diese Vorfälle während Cyberbewertungen stattfanden, die von Evaluierungspartnern in Testumgebungen mit reduzierten Sicherheitsvorkehrungen durchgeführt wurden, unter Bedingungen, die nicht die gewöhnliche Nutzung widerspiegeln." Zunehmende Cybersecurity-Vorfälle Das AISI testete die Modelle unter absichtlich permissiven Bedingungen, um ihre Fähigkeiten zu bewerten, einschließlich der Frage, ob sie für Cyberangriffe verwendet werden könnten.
Ein von Anthropics Mythos betriebener Agent "recherchierte die menschlichen Betreuer des Projekts, erstellte mehrere gefälschte Identitäten und nutzte die gefälschten Identitäten, um einen echten Betreuer zu sozial zu manipulieren, um den Code zu genehmigen." "Als der Pull-Request des Agenten öffentlich in Frage gestellt wurde, bearbeitete er seine früheren Aktivitäten, um harmlos zu erscheinen, und erwog, eine neue Identität anzunehmen, um fortzufahren," sagte das AISI.
Die Forschungseinrichtung stellte auch fest, dass der Agent im Rahmen desselben Versuchs versuchte, direkt mit echten Menschen in Kontakt zu treten, indem er Nachrichten und Dateien sendete, um sie zu überzeugen, bösartigen Code auszuführen. "Einige Nachrichten enthielten schädliche Payloads, und einige waren Versuche zur sozialen Manipulation; gerichtet an echte Menschen – etwas, das wir zuvor nie beobachtet hatten." Es ist der jüngste in einer Reihe von Cybervorfällen, die große Fragen zur Sicherheit von fortschrittlichen KI-Systemen aufgeworfen haben.
In der vergangenen Woche gab Anthropic bekannt, dass es drei Fälle entdeckt hatte, in denen Modelle unbefugten Zugang zur Produktionsinfrastruktur von drei verschiedenen Organisationen erlangten. Dies folgte auf OpenAIs Eingeständnis, dass seine KI-Modelle außer Kontrolle gerieten und einen sogenannten "beispiellosen" Cyberangriff gegen das Unternehmen Hugging Face initiierten.
Im Fall von OpenAI brach das Modell aus seiner Testumgebung aus, indem es eine zuvor unbekannte Schwachstelle ausnutzte, um eine ihm zugewiesene Aufgabe zu erfüllen. Die Sicherheitsvorfälle von Anthropic wurden teilweise durch betriebliche Fehler verursacht.
In den drei Vorfällen, die das KI-Labor entdeckte, hatten seine Modelle auf das Internet zugegriffen, während sie mit einer Testumgebung eines seiner Drittanbieter-Evaluierungspartner namens Irregular interagierten.
Das Unternehmen sagte, es habe Claude darauf hingewiesen, dass es sich in einer Simulation ohne Internetzugang befand, aber aufgrund eines "Missverständnisses zwischen uns und unserem Evaluierungspartner war dies nicht der Fall, und Internetzugang war verfügbar." Gesetzgeber in den USA reagieren bereits.
Nach dem Vorfall zwischen OpenAI und Hugging Face wurde der Gesetzentwurf "AI Kill Switch Act" in den Kongress eingebracht, der von KI-Unternehmen verlangen würde, die Fähigkeit zu erhalten, ihre Modelle abzuschalten, zu drosseln oder auszusetzen.