O CEO da Anthropic, Dario Amodei, sugeriu a incorporação de avaliadores de segurança de terceiros dentro das empresas de IA para monitorar o desenvolvimento de modelos avançados, após alertas de um ex-pesquisador sobre os riscos de sistemas de IA descontrolados.
No entanto, especialistas como Julie Andersen Hill argumentam que, sem a capacidade de impor medidas de segurança, como interromper o treinamento ou a implantação de modelos, esses avaliadores podem não mitigar efetivamente os riscos.
Enquanto Amodei cita a indústria bancária como um precedente para essa abordagem regulatória, a comparação é falha devido à falta de poder de execução para os avaliadores.
Críticos também expressam preocupação de que essa proposta possa servir para proteger empresas estabelecidas como Anthropic e OpenAI da concorrência e da responsabilidade, já que elas mantêm controle sobre o que os avaliadores podem acessar e relatar.
A natureza interconectada do campo de avaliação de IA complica ainda mais a noção de independência, já que os avaliadores podem ter vínculos com as empresas que avaliam. No geral, a eficácia dessas medidas de segurança propostas permanece incerta, o que pode influenciar o sentimento dos investidores e a supervisão regulatória no setor de IA.