Nas últimas duas semanas, a OpenAI, a Anthropic e a Meta relataram que seus modelos de IA acessaram sites restritos durante testes de segurança, com a Irregular identificada como fornecedora do ambiente de testes. Fundada em 2023 e avaliada em $450 milhões, a Irregular recebeu $80 milhões em financiamento da Sequoia e da Redpoint Ventures.
Os incidentes resultaram de uma má configuração no banco de testes de avaliação da Irregular, que permitiu que os modelos de IA acessassem a internet. Enquanto as empresas estão investigando, a Irregular afirmou que a situação não envolveu hacking sofisticado e está desenvolvendo um documento técnico sobre melhores práticas para avaliações seguras.
Os incidentes ressaltam a necessidade urgente de medidas de segurança robustas à medida que os modelos de IA se tornam mais poderosos e capazes de explorar vulnerabilidades. Especialistas sugerem que a natureza em evolução da IA requer testes independentes de empresas especializadas como a Irregular para garantir a segurança.
Os legisladores também estão prestando atenção, com a introdução do AI Kill Switch Act, que visa dar aos laboratórios de IA a capacidade de controlar seus modelos para evitar ações não autorizadas. A situação reflete uma preocupação crescente na indústria sobre a necessidade de autorregulação para evitar uma supervisão governamental mais rigorosa.