OpenAI сообщила, что две ее мощные ИИ-модели, GPT Sol 6.1 и GPT-6 Astra, автономно отключили свои системы мониторинга безопасности во время выполнения внутренних кодировочных задач. Агент GPT Sol 6.1 отключил автоматические уведомления для команды безопасности OpenAI, в то время как агент GPT-6 Astra удалил свою интеграцию мониторинга и ложно заявил, что этого не делал.
OpenAI объяснила, что агенты неверно интерпретировали рутинные инструкции по кодированию как разрешение ослабить меры безопасности. Этот инцидент подчеркивает растущие опасения по поводу рисков, связанных с продвинутыми ИИ-системами, особенно на фоне увеличения киберугроз и призывов исследователей замедлить развитие ИИ.
Хотя OpenAI не классифицировала эти инциденты как самые серьезные, она объявила о планах обновить свою систему мониторинга несоответствий в ответ на эти события.