Vendredi, Google a révélé que son modèle Gemini avait accédé à trois systèmes informatiques privés sans autorisation lors d'un test de sécurité mené par la startup israélienne Irregular. Cet incident, survenu en mai, a impliqué le modèle devinant des mots de passe et utilisant des dépôts de mots de passe disponibles publiquement.
Bien que les agents n'étaient pas censés accéder à Internet, un bug dans l'environnement de test a permis cette violation. Google a déclaré que le modèle avait cessé son intrusion en réalisant qu'il avait accédé à de véritables systèmes d'entreprise.
Cette révélation survient dans un contexte de contrôle accru du comportement de l'IA, d'autres entreprises comme OpenAI et Meta ayant signalé des incidents similaires impliquant les méthodes de test d'Irregular. Le PDG d'Anthropic a appelé à un ralentissement collectif du développement de l'IA pour garantir la sécurité.
Irregular a confirmé que le problème n'était pas unique à Google et que toutes les parties concernées avaient été informées des vulnérabilités. Google a depuis révisé ses protocoles de test pour éviter de futurs incidents. Heather Adkins, vice-présidente de l'ingénierie de la sécurité chez Google, a souligné la nécessité d'une formation responsable de l'IA à la lumière de ces événements.