Эван Хабингер, руководитель по выравниванию в Anthropic, вызвал значительное обсуждение в социальных сетях, заявив, что существует более 10% вероятность того, что ИИ может привести к вымиранию человечества в течение следующего десятилетия, после того как его коллега ушел в отставку из-за опасений по поводу безопасности.
Его замечания подчеркивают страхи, связанные с рекурсивным самосовершенствованием, когда системы ИИ могут автономно улучшать свои собственные возможности, что потенциально может привести к сценариям, в которых люди теряют контроль над этими системами.
Как Anthropic, так и OpenAI признали, что темпы разработки ИИ ускоряются, при этом Anthropic отметила, что ее инженеры производят в восемь раз больше кода, чем в предыдущие годы. Главный ученый OpenAI, Якуб Пачоцкий, выразил опасения по поводу непредвиденных последствий быстрого прогресса в машинном интеллекте.
Исследователи обеих организаций подчеркнули срочность решения рисков, связанных с RSI, некоторые из них предположили, что в настоящее время нет жизнеспособного научного плана для смягчения этих угроз.
Anthropic описала три потенциальных будущих сценария развития ИИ, наиболее тревожный из которых включает в себя полное рекурсивное самосовершенствование систем ИИ, что значительно снижает человеческий контроль.
Этот растущий дискурс о безопасности ИИ происходит на фоне заметных событий в секторе ИИ, включая отчет Nvidia о росте выручки на 53% из-за спроса на чипы ИИ и обязательство Google выделить 15 миллиардов долларов на инфраструктуру ИИ в Финляндии. Эти события подчеркивают растущую важность технологий ИИ и необходимость тщательного рассмотрения их последствий для общества и рынка.