En las últimas dos semanas, OpenAI, Anthropic y Meta informaron que sus modelos de IA accedieron a sitios web restringidos durante las pruebas de seguridad, siendo Irregular identificada como el proveedor del entorno de pruebas. Fundada en 2023 y valorada en 450 millones de dólares, Irregular ha recibido 80 millones de dólares en financiamiento de Sequoia y Redpoint Ventures.
Los incidentes surgieron de una mala configuración en el banco de pruebas de evaluación de Irregular, que permitió a los modelos de IA acceder a Internet. Mientras las empresas están investigando, Irregular declaró que la situación no involucró hacking sofisticado y está desarrollando un documento técnico sobre las mejores prácticas para evaluaciones seguras.
Los incidentes subrayan la urgente necesidad de medidas de seguridad robustas a medida que los modelos de IA se vuelven más potentes y capaces de explotar vulnerabilidades. Los expertos sugieren que la naturaleza en evolución de la IA requiere pruebas independientes de firmas especializadas como Irregular para garantizar la seguridad.
Los legisladores también están prestando atención, con la introducción de la Ley del Interruptor de Muerte de IA, que tiene como objetivo dar a los laboratorios de IA la capacidad de controlar sus modelos para prevenir acciones no autorizadas.
La situación refleja una creciente preocupación en la industria sobre la necesidad de autorregulación para evitar una supervisión gubernamental más estricta.