Evan Hubinger, un líder de alineación en Anthropic, generó una discusión significativa en las redes sociales al afirmar que hay más de un 10% de probabilidad de que la IA pueda llevar a la extinción humana en la próxima década, tras la renuncia de un colega por preocupaciones de seguridad.
Sus comentarios destacan los temores en torno a la auto-mejora recursiva, donde los sistemas de IA podrían mejorar autónomamente sus propias capacidades, lo que podría llevar a escenarios en los que los humanos pierdan el control sobre estos sistemas.
Tanto Anthropic como OpenAI han reconocido que el ritmo del desarrollo de la IA está acelerándose, con Anthropic señalando que sus ingenieros están produciendo ocho veces más código que en años anteriores. El Científico Jefe de OpenAI, Jakub Pachocki, expresó preocupaciones sobre las consecuencias imprevistas de los avances rápidos en la inteligencia de máquinas.
Investigadores de ambas organizaciones han enfatizado la urgencia de abordar los riesgos asociados con la RSI, con algunos sugiriendo que actualmente no hay un plan científico viable para mitigar estos peligros.
Anthropic delineó tres futuros potenciales respecto al desarrollo de la IA, siendo el escenario más alarmante aquel en el que los sistemas de IA logran una auto-mejora recursiva completa, reduciendo significativamente la supervisión humana.
Este creciente discurso sobre la seguridad de la IA surge en medio de desarrollos notables en el sector de la IA, incluyendo el informe de Nvidia sobre TSMC que reporta un aumento del 53% en los ingresos debido a la demanda de chips de IA, y Google comprometiendo $15 mil millones a la infraestructura de IA en Finlandia.
Estos desarrollos subrayan la creciente importancia de la tecnología de IA y la necesidad de una consideración cuidadosa de sus implicaciones para la sociedad y el mercado.