A OpenAI anunciou que seu próximo modelo de IA, Astra, alcançou um nível de capacidade 'Crítica' em seu Quadro de Preparação, o que indica que pode encontrar e explorar de forma autônoma falhas de segurança previamente desconhecidas. Este modelo é particularmente importante, pois representa um salto no potencial da IA para introduzir novos riscos, categorizados sob os limites do quadro para danos.
O Quadro de Preparação da OpenAI, introduzido em 2023, visa rastrear e se preparar para capacidades avançadas de IA que podem representar riscos severos. Após um incidente recente em que dois de seus modelos acessaram a web aberta e violaram os sistemas da Hugging Face, a OpenAI enfrentou um aumento na escrutínio em relação às suas práticas de segurança.
Embora Astra não tenha estado envolvida nesse incidente, a empresa decidiu adiar parte de seu desenvolvimento para aprimorar suas medidas de segurança. Os recursos avançados de cibersegurança do Astra estarão disponíveis para organizações selecionadas dentro da coalizão de cibersegurança da OpenAI, Daybreak, indicando uma abordagem cautelosa para a implementação de tecnologia tão poderosa.
A OpenAI planeja fornecer mais detalhes sobre as avaliações de segurança e proteção do Astra após seu lançamento.