Evan Hubinger, responsable de l'alignement chez Anthropic, a suscité une discussion significative sur les réseaux sociaux en déclarant qu'il y a plus de 10 % de chances que l'IA puisse conduire à l'extinction humaine dans la prochaine décennie, suite à la démission d'un collègue en raison de préoccupations de sécurité.
Ses remarques mettent en lumière les craintes entourant l'auto-amélioration récursive, où les systèmes d'IA pourraient améliorer de manière autonome leurs propres capacités, menant potentiellement à des scénarios où les humains perdent le contrôle de ces systèmes.
Anthropic et OpenAI ont tous deux reconnu que le rythme de développement de l'IA s'accélère, Anthropic notant que ses ingénieurs produisent huit fois plus de code que les années précédentes. Le scientifique en chef d'OpenAI, Jakub Pachocki, a exprimé des inquiétudes concernant les conséquences imprévues des avancées rapides dans l'intelligence machine.
Les chercheurs des deux organisations ont souligné l'urgence de traiter les risques associés à la RSI, certains suggérant qu'il n'existe actuellement aucun plan scientifique viable pour atténuer ces dangers.
Anthropic a esquissé trois futurs potentiels concernant le développement de l'IA, le scénario le plus alarmant impliquant des systèmes d'IA atteignant une auto-amélioration récursive complète, réduisant considérablement la supervision humaine.
Ce discours croissant sur la sécurité de l'IA survient dans un contexte de développements notables dans le secteur de l'IA, notamment le rapport de TSMC de Nvidia faisant état d'une augmentation de 53 % des revenus en raison de la demande de puces IA, et Google s'engageant à investir 15 milliards de dollars dans l'infrastructure IA en Finlande.
Ces développements soulignent l'importance croissante de la technologie IA et la nécessité d'une réflexion approfondie sur ses implications pour la société et le marché.