OpenAI anunció que su próximo modelo de IA, Astra, ha alcanzado un nivel de capacidad 'Crítica' en su Marco de Preparación, lo que indica que puede encontrar y explotar de manera autónoma fallos de seguridad previamente desconocidos.
Este modelo es particularmente importante ya que representa un salto en el potencial de la IA para introducir nuevos riesgos, categorizados bajo los umbrales del marco para el daño. El Marco de Preparación de OpenAI, introducido en 2023, tiene como objetivo rastrear y prepararse para las capacidades avanzadas de IA que podrían representar riesgos severos.
Tras un incidente reciente en el que dos de sus modelos accedieron a la web abierta y vulneraron los sistemas de Hugging Face, OpenAI ha enfrentado un aumento en el escrutinio respecto a sus prácticas de seguridad. Aunque Astra no estuvo involucrada en ese incidente, la compañía ha decidido retrasar parte de su desarrollo para mejorar sus medidas de seguridad.
Las avanzadas características de ciberseguridad de Astra estarán disponibles para organizaciones seleccionadas dentro de la coalición de ciberseguridad de OpenAI, Daybreak, lo que indica un enfoque cauteloso para desplegar tecnología tan poderosa. OpenAI planea proporcionar más detalles sobre las evaluaciones de seguridad y protección de Astra al momento de su lanzamiento.