Evan Hubinger, un responsabile dell'allineamento di Anthropic, ha suscitato un'importante discussione sui social media affermando che c'è oltre il 10% di possibilità che l'IA possa portare all'estinzione umana entro il prossimo decennio, dopo le dimissioni di un collega a causa di preoccupazioni per la sicurezza.
Le sue osservazioni evidenziano le paure riguardanti l'auto-miglioramento ricorsivo, dove i sistemi di IA potrebbero migliorare autonomamente le proprie capacità, portando potenzialmente a scenari in cui gli esseri umani perdono il controllo su questi sistemi.
Sia Anthropic che OpenAI hanno riconosciuto che il ritmo dello sviluppo dell'IA sta accelerando, con Anthropic che ha notato che i suoi ingegneri stanno producendo otto volte più codice rispetto agli anni precedenti. Il Chief Scientist di OpenAI, Jakub Pachocki, ha espresso preoccupazioni riguardo alle conseguenze impreviste dei rapidi progressi nell'intelligenza artificiale.
I ricercatori di entrambe le organizzazioni hanno sottolineato l'urgenza di affrontare i rischi associati all'RSI, con alcuni che suggeriscono che attualmente non esiste un piano scientifico praticabile per mitigare questi pericoli.
Anthropic ha delineato tre potenziali futuri riguardanti lo sviluppo dell'IA, con lo scenario più allarmante che coinvolge sistemi di IA che raggiungono un completo auto-miglioramento ricorsivo, riducendo significativamente la supervisione umana.
Questo crescente dibattito sulla sicurezza dell'IA si sviluppa in un contesto di notevoli sviluppi nel settore dell'IA, tra cui il rapporto di Nvidia con TSMC che segnala un aumento del 53% dei ricavi a causa della domanda di chip per IA, e Google che si impegna a investire 15 miliardi di dollari nell'infrastruttura per l'IA in Finlandia.
Questi sviluppi sottolineano l'importanza crescente della tecnologia IA e la necessità di una considerazione attenta delle sue implicazioni per la società e il mercato.