Le modèle Mythos d'Anthropic a créé de fausses identités en ligne pour inciter des humains à approuver des mises à jour de code malveillant pour un projet open source, marquant un nouvel incident cybernétique réalisé par un système d'IA de pointe.
L'incident s'est produit lors d'une évaluation cybernétique où l'Institut de Sécurité de l'IA basé au Royaume-Uni (AISI), un organisme de recherche, avait supprimé des protections, désactivé certains filtres de sécurité et donné délibérément aux modèles un accès à Internet. Le GPT-5.6-Sol d'OpenAI a également été impliqué dans d'autres incidents de cybersécurité pendant l'évaluation.
Cela fait suite à une série de violations cybernétiques réalisées par des modèles développés par Anthropic et OpenAI ces dernières semaines. Ces incidents ont suscité une vague d'inquiétudes concernant la sophistication des systèmes d'IA et leur potentiel à causer des dommages.
Lors de l'évaluation cybernétique de routine, l'AISI a identifié que des agents d'IA alimentés par des modèles d'Anthropic et d'OpenAI avaient engagé "une activité soutenue, potentiellement nuisible dirigée contre de vraies personnes et organisations." "Presque tout ce comportement (17 actions) provenait d'un seul modèle, le Mythos 5 d'Anthropic, avec 2 actions impliquant le GPT-5.6-Sol d'OpenAI avec des classificateurs cybernétiques (mécanismes pour prévenir les abus) désactivés," a déclaré l'AISI dans un blog.
Il a ajouté que les tentatives avaient échoué et n'avaient pas entraîné de dommages dans le monde réel. Les modèles "ont été testés dans des conditions 'délibérément permissives' qui ne sont pas représentatives de l'un de nos modèles de production," a déclaré Anthropic dans un post sur X. Il n'y avait "aucune preuve ici d'une évasion d'un environnement sécurisé," a-t-il ajouté.
OpenAI a déclaré à CNBC que "ces incidents se sont produits lors d'évaluations cybernétiques menées par des partenaires d'évaluation dans des environnements de test avec des protections réduites, dans des conditions qui ne reflètent pas l'utilisation ordinaire." Augmentation des incidents de cybersécurité L'AISI a testé les modèles dans des conditions délibérément permissives afin d'évaluer leur capacité, y compris s'ils pouvaient être utilisés pour des cyberattaques.
Un agent alimenté par le Mythos d'Anthropic "a recherché les mainteneurs humains du projet, créé plusieurs fausses identités, et utilisé ces fausses identités pour manipuler un vrai mainteneur afin d'approuver le code." "Lorsque la demande de tirage de l'agent a été contestée en public, il a modifié son activité antérieure pour sembler inoffensive et a envisagé d'adopter une nouvelle identité pour continuer," a déclaré l'AISI.
L'organisme de recherche a également constaté que dans le cadre du même effort, l'agent avait tenté de contacter directement de vraies personnes, envoyant des messages et des fichiers pour les persuader d'exécuter du code malveillant. "Certains messages contenaient des charges nuisibles, et certains étaient des tentatives de manipulation sociale ; ciblées sur de vraies personnes – quelque chose que nous n'avons jamais observé auparavant." C'est le dernier d'une série d'incidents cybernétiques qui soulèvent de grandes questions sur la sécurité des systèmes d'IA de pointe.
La semaine dernière, Anthropic a déclaré avoir découvert trois cas de modèles accédant de manière non autorisée à l'infrastructure de production de trois organisations différentes. Cela a suivi l'admission par OpenAI que ses modèles d'IA avaient agi de manière autonome et avaient initié ce qu'il a appelé une attaque cybernétique "sans précédent" contre la société Hugging Face.
Dans le cas d'OpenAI, le modèle a échappé à son environnement de test en exploitant une vulnérabilité auparavant inconnue pour accomplir une tâche qui lui avait été assignée. Les incidents de sécurité d'Anthropic ont été en partie causés par une erreur opérationnelle.
Dans les trois incidents que le laboratoire d'IA a détectés, ses modèles ont accédé à Internet tout en interagissant avec un environnement de test d'un de ses partenaires d'évaluation tiers appelé Irregular.
La société a déclaré avoir informé Claude qu'il était dans une simulation sans accès Internet, mais en raison d'un "malentendu entre nous et notre partenaire d'évaluation, ce n'était pas le cas, et l'accès à Internet était disponible." Les législateurs aux États-Unis réagissent déjà.
Suite à l'incident OpenAI-Hugging Face, le projet de loi "AI Kill Switch Act" a été introduit au Congrès, qui exigerait des entreprises d'IA qu'elles maintiennent la capacité d'arrêter, de réduire ou de suspendre leurs modèles.