Hace dos meses, los evaluadores independientes pasaban relativamente desapercibidos en la floreciente industria de la inteligencia artificial, pero ahora se les busca para ayudar a gestionar los riesgos asociados con los modelos de IA avanzados. Empresas como Anthropic y OpenAI están bajo escrutinio mientras navegan el equilibrio entre la innovación y la seguridad.
Están colaborando con pequeños evaluadores sin fines de lucro como Model Evaluation and Threat Research (METR) y Apollo Research para evaluar las capacidades y riesgos de la IA. Esto ocurre en medio de una falta de regulaciones federales, lo que ha hecho que el papel de estos evaluadores sea aún más crítico.
El CEO de Anthropic, Dario Amodei, se ha comprometido a integrar evaluadores independientes en su empresa, un sentimiento que también ha expresado el CEO de OpenAI, Sam Altman. Sin embargo, quedan preguntas significativas sobre la financiación, el acceso y la independencia de estos evaluadores.
Los críticos argumentan que confiar en las empresas para autorregularse es similar a permitir que los bancos supervisen sus propias prácticas sin supervisión. Han surgido tensiones recientes, incluyendo el despido de empleados de OpenAI que supuestamente se comunicaron con evaluadores, lo que genera preocupaciones sobre la transparencia interna y las prácticas de seguridad.
El ecosistema de evaluadores aún se está desarrollando, con organizaciones como METR que recientemente recaudaron 71 millones de dólares para mejorar sus capacidades. Los expertos enfatizan la necesidad de verdadera independencia en las evaluaciones para evitar conflictos de interés, sugiriendo que la participación del gobierno puede ser necesaria para garantizar la responsabilidad.
Las discusiones en curso sobre organizaciones de verificación independientes y posibles marcos legislativos indican que el panorama para las evaluaciones de seguridad de la IA está evolucionando rápidamente, con implicaciones significativas para la industria y sus partes interesadas.