Il y a deux mois, les évaluateurs indépendants étaient relativement ignorés dans l'industrie florissante de l'intelligence artificielle, mais maintenant, ils sont recherchés pour aider à gérer les risques associés aux modèles d'IA avancés. Des entreprises comme Anthropic et OpenAI sont sous surveillance alors qu'elles naviguent entre innovation et sécurité.
Elles collaborent avec de petits évaluateurs à but non lucratif tels que Model Evaluation and Threat Research (METR) et Apollo Research pour évaluer les capacités et les risques de l'IA. Cela survient dans un contexte de manque de réglementations fédérales, ce qui rend le rôle de ces évaluateurs encore plus critique.
Le PDG d'Anthropic, Dario Amodei, s'est engagé à intégrer des évaluateurs indépendants dans son entreprise, un sentiment partagé par le PDG d'OpenAI, Sam Altman. Cependant, des questions importantes demeurent concernant le financement, l'accès et l'indépendance de ces évaluateurs.
Les critiques soutiennent que compter sur les entreprises pour s'auto-réguler revient à permettre aux banques de superviser leurs propres pratiques sans contrôle. Des tensions récentes ont émergé, notamment le licenciement d'employés d'OpenAI qui auraient communiqué avec des évaluateurs, soulevant des préoccupations concernant la transparence interne et les pratiques de sécurité.
L'écosystème des évaluateurs est encore en développement, avec des organisations comme METR ayant récemment levé 71 millions de dollars pour améliorer leurs capacités. Les experts soulignent la nécessité d'une véritable indépendance dans les évaluations pour éviter les conflits d'intérêts, suggérant que l'implication du gouvernement pourrait être nécessaire pour garantir la responsabilité.
Les discussions en cours autour des organisations de vérification indépendantes et des cadres législatifs potentiels indiquent que le paysage des évaluations de sécurité de l'IA évolue rapidement, avec des implications significatives pour l'industrie et ses parties prenantes.