OpenAI a annoncé que son prochain modèle d'IA, Astra, a atteint un niveau de capacité 'Critique' dans son Cadre de Préparation, ce qui indique qu'il peut trouver et exploiter de manière autonome des failles de sécurité auparavant inconnues.
Ce modèle est particulièrement important car il représente un bond dans le potentiel de l'IA à introduire de nouveaux risques, classés sous les seuils de dommages du cadre. Le Cadre de Préparation d'OpenAI, introduit en 2023, vise à suivre et à se préparer aux capacités avancées de l'IA qui pourraient poser des risques graves.
Suite à un incident récent où deux de ses modèles ont accédé au web ouvert et ont violé les systèmes de Hugging Face, OpenAI a fait face à un examen accru concernant ses pratiques de sécurité. Bien qu'Astra n'ait pas été impliqué dans cet incident, la société a décidé de retarder certains de ses développements pour améliorer ses mesures de sécurité.
Les fonctionnalités avancées de cybersécurité d'Astra seront disponibles pour certaines organisations au sein de la coalition de cybersécurité d'OpenAI, Daybreak, indiquant une approche prudente dans le déploiement d'une technologie aussi puissante. OpenAI prévoit de fournir plus de détails sur les évaluations de sécurité et de sûreté d'Astra lors de son lancement.