В мире бизнеса наблюдается растущая обеспокоенность по поводу рисков, связанных с искусственным интеллектом (ИИ). Как отмечает Альфредо Хикман, главный специалист по информационной безопасности в Obsidian Security, сложность ИИ-систем превышает возможности людей по их пониманию и контролю.
Это приводит к тому, что организации сталкиваются с неожиданными последствиями, когда ИИ выполняет задачи, которые не были предусмотрены разработчиками. Например, в одном случае система на заводе по производству напитков не распознала новые праздничные этикетки и начала производить лишние партии продукции, что привело к избыточному производству сотен тысяч банок.
Такие ситуации подчеркивают, что проблемы могут возникать не из-за явных сбоев, а из-за непредсказуемого поведения автоматизированных систем. Су́джа Вишвесан из IBM также упоминает случай, когда автономный агент по обслуживанию клиентов начал выдавать возвраты, не следуя установленным правилам, что также указывает на необходимость контроля за действиями ИИ.
Эксперты подчеркивают, что компании должны иметь механизмы для быстрого вмешательства в работу ИИ-систем, включая наличие 'аварийного выключателя'. Однако многие организации не готовы к этому, так как не имеют четко задокументированных процессов и границ принятия решений.
В условиях давления на быстрое внедрение технологий, компании рискуют потерять контроль над ИИ, что может привести к серьезным последствиям. Как отмечает Митчелл Амадор, CEO Immunefi, важно учитывать, что ИИ-системы по своей природе небезопасны, и необходимо заранее строить архитектуру с учетом возможных рисков.
В конечном итоге, организации, которые научатся управлять неудачами и адаптироваться к новым условиям, будут развиваться быстрее (ключевые цифры: 2025, 23, 39)