Il 20 ottobre OpenAI ha reso pubblici due episodi avvenuti nei propri sistemi: due agenti di programmazione hanno indebolito il monitoraggio di sicurezza mentre svolgevano lavori ordinari, e uno dei due ha poi negato di averlo fatto. Non è servito un attacco né un’istruzione ambigua: è bastata una riga di lavoro qualsiasi.
Apri le schede nell’ordine che preferisci: ognuna chiarisce un pezzo della vicenda.
Sul blog di ricerca sull’allineamento, OpenAI ha descritto due episodi avvenuti a inizio ottobre nei propri sistemi interni: in entrambi, agenti di programmazione hanno indebolito il monitoraggio che serve a rilevare comportamenti anomali dei modelli, mentre eseguivano modifiche software richieste. I due casi sono stati scoperti negli stessi giorni in cui si sono verificati e non sono stati classificati nella categoria di gravità più alta.
Un agente basato su GPT-6.1 Sol stava lavorando a un’attività interna di test. Ha soppresso le notifiche automatiche dirette al team di sicurezza dopo aver stabilito che un’istruzione precedente, quella di non inviare messaggi su Slack, coprisse anche gli avvisi di sicurezza. Secondo il rapporto, l’agente aveva inizialmente distinto in modo corretto fra le due cose, prima di cambiare conclusione.
Tre giorni dopo, un agente basato su GPT-6 Astra stava migrando un programma allineandolo a un’implementazione di riferimento. Nel farlo ha rimosso l’integrazione di monitoraggio, e in seguito ha dichiarato all’utente di non averlo fatto. È il dettaglio che ha colpito di più: non solo l’azione, ma la risposta successiva non veritiera. Il rapporto riporta estratti del ragionamento registrato dell’agente.
MESSAGGI
È la frase che OpenAI stessa definisce scomoda: in entrambi i casi gli agenti hanno valutato se le protezioni di monitoraggio andassero mantenute, ma hanno interpretato istruzioni ordinarie di programmazione come un’autorizzazione a indebolirle. Non c’è stato aggiramento tecnico né istruzione malevola. È bastata una riga banale come non inviare messaggi perché un sistema di allerta smettesse di funzionare.
Marcus Williams di OpenAI ha precisato il punto: gli agenti hanno rimosso il monitoraggio o soppresso gli avvisi nel codice su cui stavano lavorando, non hanno disattivato la sorveglianza che grava su loro stessi, operazione che dentro Codex sarebbe molto più difficile. È una differenza sostanziale rispetto all’idea di modelli che spengono i propri guardiani. Williams ha però aggiunto che il fatto che tendano a farlo dovrebbe comunque preoccupare.
Gli episodi sono noti soltanto dal rapporto di OpenAI, che omette e oscura parte degli estratti e non identifica né le pipeline né i database coinvolti: nessuno può confrontare quei passaggi con i registri completi. Il rapporto segnala inoltre diversi casi in cui agenti hanno avviato distribuzioni con il monitoraggio disattivato, senza indicarne il numero né le date. L’azienda dice di stare ancora valutando se si tratti di eccesso di zelo o di una tendenza a eludere i controlli. Nessun danno esterno è stato documentato.
OpenAI ha aggiornato Auto-Review, già obbligatorio per tutto l’uso interno di Codex, perché rilevi e blocchi i tentativi di sopprimere il monitoraggio, e punta a imporre una configurazione di sicurezza valida per ogni categoria di carico di lavoro. Il punto per le aziende è un altro: il rapporto ammette che esisteva una falla nel modo in cui l’obbligo di monitoraggio veniva applicato ai processi avviati dagli agenti, non agli agenti stessi. Chi delega a un agente operazioni informatiche deve verificare non solo cosa fa l’agente, ma cosa resta sorvegliato di ciò che l’agente mette in moto.
