Há dois meses, avaliadores independentes eram relativamente desconhecidos na crescente indústria de inteligência artificial, mas agora estão sendo procurados para ajudar a gerenciar os riscos associados a modelos avançados de IA. Empresas como Anthropic e OpenAI estão sob escrutínio enquanto navegam o equilíbrio entre inovação e segurança.
Elas estão colaborando com pequenos avaliadores sem fins lucrativos, como Model Evaluation and Threat Research (METR) e Apollo Research, para avaliar as capacidades e os riscos da IA. Isso ocorre em meio à falta de regulamentações federais, o que tornou o papel desses avaliadores ainda mais crítico.
O CEO da Anthropic, Dario Amodei, se comprometeu a integrar avaliadores independentes em sua empresa, um sentimento ecoado pelo CEO da OpenAI, Sam Altman. No entanto, questões significativas permanecem em relação ao financiamento, acesso e independência desses avaliadores.
Críticos argumentam que confiar nas empresas para se autorregular é semelhante a permitir que os bancos supervisionem suas próprias práticas sem supervisão. Tensões recentes surgiram, incluindo a demissão de funcionários da OpenAI que supostamente se comunicaram com avaliadores, levantando preocupações sobre transparência interna e práticas de segurança.
O ecossistema de avaliadores ainda está em desenvolvimento, com organizações como a METR levantando recentemente US$ 71 milhões para aprimorar suas capacidades. Especialistas enfatizam a necessidade de verdadeira independência nas avaliações para evitar conflitos de interesse, sugerindo que a participação do governo pode ser necessária para garantir responsabilidade.
As discussões em andamento sobre organizações de verificação independentes e potenciais estruturas legislativas indicam que o cenário para avaliações de segurança de IA está evoluindo rapidamente, com implicações significativas para a indústria e seus stakeholders.