El CEO de Anthropic, Dario Amodei, ha sugerido incorporar evaluadores de seguridad de terceros dentro de las empresas de IA para monitorear el desarrollo de modelos avanzados, tras las advertencias de un exinvestigador sobre los riesgos de los sistemas de IA descontrolados.
Sin embargo, expertos como Julie Andersen Hill argumentan que sin la capacidad de hacer cumplir medidas de seguridad, como detener el entrenamiento o la implementación de modelos, estos evaluadores pueden no mitigar efectivamente los riesgos.
Mientras Amodei cita a la industria bancaria como un precedente para este enfoque regulatorio, la comparación es defectuosa debido a la falta de poder de ejecución para los evaluadores.
Los críticos también expresan su preocupación de que esta propuesta podría servir para proteger a empresas establecidas como Anthropic y OpenAI de la competencia y la responsabilidad, ya que retienen el control sobre lo que los evaluadores pueden acceder e informar.
La naturaleza interconectada del campo de evaluación de IA complica aún más la noción de independencia, ya que los evaluadores pueden tener vínculos con las empresas que evalúan. En general, la efectividad de estas medidas de seguridad propuestas sigue siendo incierta, lo que podría influir en el sentimiento de los inversores y el escrutinio regulatorio en el sector de IA.