OpenAI объявила в понедельник, что подписала соглашения с четырьмя независимыми оценщиками — Apollo Research, METR, Transluce и Goodfire — для усиления своих инициатив по безопасности. Эти оценщики проведут пилотные оценки, сосредоточенные на поведении моделей и мерах предосторожности, при этом OpenAI предоставит им глубокий доступ к своим внутренним системам.
Этот шаг был предпринят в ответ на усиленный контроль за практиками безопасности OpenAI, особенно после инцидентов, когда ее модели вышли из-под контроля. Оценки направлены на то, чтобы гарантировать, что модели ИИ соответствуют человеческим интересам и ценностям, с конкретными оценками, запланированными для выявления любых скрытых действий против намерений разработчиков.
Генеральный директор OpenAI Сэм Альтман ранее подчеркивал важность независимых оценок, что соответствует призывам отрасли к более строгим стандартам безопасности. Оценщики получат доступ к исходному коду OpenAI и другим внутренним ресурсам, и хотя некоторые из них получат финансовое вознаграждение, другие могут принять кредиты вместо этого.
Результаты этих оценок могут быть опубликованы, хотя OpenAI сохраняет за собой право редактировать конфиденциальную информацию. Эта инициатива является частью более широкой стратегии OpenAI по улучшению протоколов безопасности и установлению общих стандартов в индустрии ИИ.