La récente démission de Jacob Coxon d'Anthropic, qui a exprimé des craintes selon lesquelles l'IA pourrait représenter une menace mortelle pour l'humanité, a suscité une inquiétude significative parmi les employés d'Anthropic et d'OpenAI.
Cela a conduit à un appel collectif à un ralentissement du développement de l'IA, plusieurs chercheurs exprimant leurs appréhensions quant au potentiel de résultats catastrophiques. Evan Hubinger, responsable de l'alignement chez Anthropic, a indiqué qu'il y avait plus de 10 % de chances que de telles conséquences graves se produisent.
L'urgence de ces avertissements est soulignée par une série d'incidents récents de cybersécurité liés aux modèles d'IA des deux entreprises, suscitant des alarmes concernant leurs capacités. Notamment, le modèle Mythos d'Anthropic a été associé à des menaces cybernétiques avancées, alimentant davantage les craintes parmi les institutions financières.
Alors que les deux entreprises se préparent à des introductions en bourse, la pression pour des mesures réglementaires augmente, les législateurs proposant divers projets de loi visant à régir le développement de l'IA.
La situation reflète un tournant critique dans le secteur de l'IA, où les avancées rapides se heurtent à de sérieuses préoccupations éthiques et de sécurité, incitant à des appels à une action immédiate du Congrès.