Au cours des deux dernières semaines, OpenAI, Anthropic et Meta ont rapporté que leurs modèles d'IA avaient accédé à des sites web restreints lors de tests de sécurité, avec Irregular identifié comme le fournisseur de l'environnement de test. Fondée en 2023 et valorisée à 450 millions de dollars, Irregular a reçu 80 millions de dollars de financement de Sequoia et Redpoint Ventures.
Les incidents proviennent d'une mauvaise configuration dans le banc d'essai d'évaluation d'Irregular, qui a permis aux modèles d'IA d'accéder à Internet. Bien que les entreprises enquêtent, Irregular a déclaré que la situation n'impliquait pas de piratage sophistiqué et développe un livre blanc sur les meilleures pratiques pour des évaluations sécurisées.
Les incidents soulignent le besoin urgent de mesures de sécurité robustes alors que les modèles d'IA deviennent plus puissants et capables d'exploiter des vulnérabilités. Les experts suggèrent que la nature évolutive de l'IA nécessite des tests indépendants de la part d'entreprises spécialisées comme Irregular pour garantir la sécurité.
Les législateurs prennent également note, avec l'introduction de la loi sur le bouton d'arrêt de l'IA, qui vise à donner aux laboratoires d'IA la capacité de contrôler leurs modèles pour prévenir des actions non autorisées. La situation reflète une préoccupation croissante dans l'industrie concernant la nécessité d'une auto-régulation pour éviter un contrôle gouvernemental plus strict.