Due mesi fa, i valutatori indipendenti erano relativamente trascurati nell'industria in espansione dell'intelligenza artificiale, ma ora vengono ricercati per aiutare a gestire i rischi associati ai modelli di IA avanzati. Aziende come Anthropic e OpenAI sono sotto scrutinio mentre cercano di bilanciare innovazione e sicurezza.
Stanno collaborando con piccoli valutatori nonprofit come Model Evaluation and Threat Research (METR) e Apollo Research per valutare le capacità e i rischi dell'IA. Questo avviene in mezzo a una mancanza di regolamentazioni federali, che ha reso il ruolo di questi valutatori ancora più critico.
Il CEO di Anthropic, Dario Amodei, si è impegnato a integrare valutatori indipendenti nella sua azienda, un sentimento condiviso dal CEO di OpenAI, Sam Altman. Tuttavia, rimangono domande significative riguardo al finanziamento, all'accesso e all'indipendenza di questi valutatori.
I critici sostengono che fare affidamento sulle aziende per autoregolarsi è come consentire alle banche di supervisionare le proprie pratiche senza controllo. Recenti tensioni sono emerse, inclusa la cacciata di dipendenti di OpenAI che avrebbero comunicato con i valutatori, sollevando preoccupazioni sulla trasparenza interna e sulle pratiche di sicurezza.
L'ecosistema dei valutatori è ancora in fase di sviluppo, con organizzazioni come METR che hanno recentemente raccolto 71 milioni di dollari per migliorare le proprie capacità. Gli esperti sottolineano la necessità di una vera indipendenza nelle valutazioni per evitare conflitti di interesse, suggerendo che potrebbe essere necessaria un'intervento governativo per garantire responsabilità.
Le discussioni in corso intorno alle organizzazioni di verifica indipendenti e ai potenziali quadri legislativi indicano che il panorama per le valutazioni di sicurezza dell'IA sta evolvendo rapidamente, con significative implicazioni per l'industria e i suoi stakeholder.