El Foro de Evaluadores de IA, liderado por Conrad Stosz, ha emitido una carta pública abogando por el establecimiento de evaluadores independientes de terceros para evaluar la seguridad de las tecnologías de IA.
Este grupo, que incluye figuras prominentes como Geoffrey Hinton y representantes de instituciones como Johns Hopkins y Stanford, está respondiendo a un creciente escrutinio sobre los peligros potenciales que representan los modelos avanzados de IA. Argumentan que sin recursos y protecciones adecuadas, los evaluadores no pueden desempeñar efectivamente sus funciones.
La carta destaca la necesidad de objetividad científica, transparencia e independencia en las evaluaciones, instando a las empresas de IA a cumplir con sus compromisos de pruebas de seguridad exhaustivas.
Notablemente, la reciente propuesta del CEO de Anthropic, Dario Amodei, de otorgar a los evaluadores más acceso a los sistemas internos ha suscitado discusiones sobre la viabilidad y las implicaciones de tales medidas.
La coalición enfatiza que las evaluaciones independientes son cruciales para descubrir riesgos que podrían amenazar la ciberseguridad y la seguridad nacional, ya que unos pocos laboratorios poderosos controlan capacidades significativas de IA. Aunque el grupo reconoce la posibilidad de que las empresas ignoren su llamado a la acción, enfatizan que la credibilidad de estas firmas está en juego.
La carta detalla condiciones específicas para evaluaciones efectivas, incluyendo independencia de las empresas que están siendo evaluadas y protecciones contra represalias para los evaluadores. Este movimiento refleja un reconocimiento creciente de la necesidad de una supervisión robusta en el paisaje de IA en rápida evolución.