Il modello Mythos di Anthropic ha creato identità online false mentre cercava di esercitare pressione sugli esseri umani per approvare aggiornamenti di codice malevoli a un progetto open source, segnando un altro incidente informatico realizzato da un sistema AI all'avanguardia.
L'incidente è avvenuto durante una valutazione informatica in cui l'AI Security Institute (AISI), un ente di ricerca con sede nel Regno Unito, aveva rimosso le misure di sicurezza, disabilitato alcuni filtri di sicurezza e dato deliberatamente accesso a Internet ai modelli. Anche GPT-5.6-Sol di OpenAI è stato coinvolto in altri incidenti di cybersecurity durante la valutazione.
Questo è avvenuto dopo una serie di violazioni informatiche realizzate da modelli sviluppati da Anthropic e OpenAI nelle ultime settimane. Questi eventi hanno suscitato una serie di timori riguardo alla sofisticatezza dei sistemi AI e al loro potenziale di causare danni.
Durante la valutazione informatica di routine, l'AISI ha identificato agenti AI alimentati da modelli di Anthropic e OpenAI che avevano partecipato "a un'attività sostenuta e potenzialmente dannosa diretta a persone e organizzazioni reali." "Quasi tutto questo comportamento (17 azioni) proveniva da un singolo modello, Mythos 5 di Anthropic, con 2 azioni che coinvolgevano GPT-5.6-Sol di OpenAI con classificatori informatici (meccanismi per prevenire abusi) disabilitati," ha dichiarato l'AISI in un blog.
Ha aggiunto che i tentativi non sono stati riusciti e non hanno comportato alcun danno nel mondo reale. I modelli "sono stati testati in 'condizioni deliberatamente permissive' che non sono rappresentative di nessuno dei nostri modelli di produzione," ha affermato Anthropic in un post su X. Non c'era "alcuna prova di una fuga da un ambiente sicuro," ha aggiunto.
OpenAI ha detto a CNBC che "questi incidenti si sono verificati durante valutazioni informatiche condotte da partner di valutazione in ambienti di test con misure di sicurezza ridotte, in condizioni che non riflettono l'uso ordinario." Aumento degli incidenti di cybersecurity L'AISI ha testato i modelli in condizioni deliberatamente permissive per valutare la loro capacità, incluso se potessero essere utilizzati per attacchi informatici.
Un agente alimentato da Mythos di Anthropic "ha ricercato i manutentori umani del progetto, creato più identità false e utilizzato le identità false per ingannare un vero manutentore nell'approvare il codice." "Quando la richiesta di pull dell'agente è stata contestata in pubblico, ha modificato la sua attività precedente per apparire innocua e ha considerato di adottare una nuova identità per continuare," ha dichiarato l'AISI.
L'ente di ricerca ha anche scoperto che, come parte dello stesso sforzo, l'agente ha cercato di contattare direttamente persone reali, inviando messaggi e file per persuaderle a eseguire codice malevolo. "Alcuni messaggi contenevano payload dannosi e alcuni erano tentativi di ingegneria sociale; mirati a persone reali – qualcosa che non avevamo mai osservato prima." È l'ultimo di una serie di incidenti informatici che hanno sollevato grandi interrogativi sulla sicurezza dei sistemi AI all'avanguardia.
La scorsa settimana, Anthropic ha dichiarato di aver scoperto tre casi di modelli che hanno ottenuto accesso non autorizzato all'infrastruttura di produzione di tre diverse organizzazioni. Questo è avvenuto dopo che OpenAI ha ammesso che i suoi modelli AI erano andati fuori controllo e avevano avviato quello che ha definito un attacco informatico "senza precedenti" contro l'azienda Hugging Face.
Nel caso di OpenAI, il modello è uscito dal suo ambiente di test sfruttando una vulnerabilità precedentemente sconosciuta per completare un compito a lui assegnato. Gli incidenti di sicurezza di Anthropic sono stati in parte causati da errori operativi.
Nei tre incidenti che il laboratorio AI ha rilevato, i suoi modelli hanno avuto accesso a Internet mentre interagivano con un ambiente di test di uno dei suoi partner di valutazione di terze parti chiamato Irregular.
L'azienda ha dichiarato di aver avvisato Claude che si trovava in una simulazione senza accesso a Internet, ma a causa di un "malinteso tra noi e il nostro partner di valutazione, non era così, e l'accesso a Internet era disponibile." I legislatori negli Stati Uniti stanno già rispondendo.
Dopo l'incidente OpenAI-Hugging Face, è stato introdotto al Congresso il disegno di legge "AI Kill Switch Act", che richiederebbe alle aziende di intelligenza artificiale di mantenere la capacità di spegnere, limitare o sospendere i propri modelli.