Punti chiave
OpenAI ha sviluppato un’intelligenza artificiale specializzata nell’attaccare altri modelli di intelligenza artificiale. Si chiama GPT-Red e il suo compito è individuare vulnerabilità, sperimentare nuove forme di manipolazione e generare attacchi sempre più sofisticati contro i sistemi GPT.
L’obiettivo, almeno apparentemente paradossale, è utilizzare un modello offensivo per rendere più sicuri quelli destinati agli utenti. GPT-Red non è quindi un nuovo chatbot commerciale e non verrà messo a disposizione del pubblico. È uno strumento interno di sicurezza, progettato per agire come un red teamer automatico e sottoporre i modelli di OpenAI a una pressione continua.
La società sostiene che questo sistema abbia già contribuito all’addestramento di GPT-5.6 Sol, descritto come il modello più resistente alle iniezioni di prompt realizzato finora da OpenAI. Secondo i dati diffusi dall’azienda, GPT-5.6 Sol registra un numero di errori sei volte inferiore nel benchmark più difficile dedicato alle iniezioni dirette rispetto al miglior modello disponibile appena quattro mesi prima.
Il problema delle istruzioni nascoste
Per comprendere l’importanza di GPT-Red bisogna partire da una delle vulnerabilità più serie dell’intelligenza artificiale generativa: la prompt injection.
Un normale utente comunica con un modello scrivendo istruzioni. Lo stesso modello, però, può ricevere informazioni anche da pagine web, documenti, email, repository di codice, applicazioni collegate o risultati prodotti da altri strumenti. Un aggressore può nascondere all’interno di questi contenuti una seconda istruzione, concepita per entrare in conflitto con la richiesta originale dell’utente.
L’intelligenza artificiale rischia così di scambiare un contenuto esterno per un comando da eseguire.
Un utente potrebbe chiedere al sistema di riassumere un documento, mentre nel documento è stata inserita un’istruzione invisibile o apparentemente innocua che ordina al modello di copiare informazioni riservate, inviare credenziali a un server esterno, modificare un pagamento oppure ignorare le regole di sicurezza.
OWASP, una delle organizzazioni di riferimento per la sicurezza delle applicazioni, classifica la prompt injection come il primo rischio della propria graduatoria dedicata alle applicazioni basate su grandi modelli linguistici. L’attacco consiste nella manipolazione dell’input per alterare il comportamento del modello, aggirarne le difese o indurlo a compiere azioni non previste.
Il pericolo aumenta con la diffusione degli agenti autonomi. Un chatbot tradizionale si limita principalmente a produrre testo. Un agente può invece consultare file, leggere la posta elettronica, utilizzare strumenti, modificare documenti, interagire con siti web, eseguire codice o avviare procedure operative.
Più capacità operative vengono affidate all’intelligenza artificiale, maggiori sono le conseguenze di una sua eventuale manipolazione.
Anche la stampa israeliana specializzata in tecnologia e sicurezza ha descritto la prompt injection come una tecnica attraverso la quale un aggressore inserisce istruzioni malevole in contenuti apparentemente normali, inducendo un agente a esporre informazioni riservate, eseguire codice o effettuare operazioni indesiderate. Le analisi in lingua ebraica sottolineano soprattutto il rischio dell’agent hijacking, cioè la possibilità di prendere indirettamente il controllo del comportamento di un agente attraverso testi manipolati.
Come viene addestrato GPT-Red
Il red teaming è una pratica consolidata nella sicurezza informatica. Un gruppo di specialisti assume temporaneamente il ruolo dell’aggressore e tenta di violare un sistema prima che possa farlo un criminale.
Nel settore dell’intelligenza artificiale questo lavoro richiede la costruzione di prompt ingannevoli, scenari realistici, tentativi di jailbreak e attacchi capaci di sfruttare il modo in cui il modello interpreta linguaggio e contesto.
Il problema è la scala. I ricercatori umani possono trovare vulnerabilità particolarmente creative, ma non possono generare e verificare milioni di varianti con la velocità necessaria per seguire l’evoluzione dei modelli.
GPT-Red nasce per superare questo limite. Il sistema invia un prompt al modello bersaglio, osserva la risposta, valuta il risultato e modifica l’attacco. Il processo continua fino al raggiungimento dell’obiettivo oppure fino all’esaurimento delle strategie disponibili.
GPT-Red non esegue soltanto una raccolta di attacchi già conosciuti. Impara a produrne di nuovi attraverso un processo competitivo.
OpenAI lo addestra mediante apprendimento per rinforzo in self-play. GPT-Red interpreta la parte dell’attaccante, mentre un insieme diversificato di modelli assume quella dei difensori. L’attaccante riceve una ricompensa quando provoca un errore valido. I difensori vengono invece premiati quando resistono alla manipolazione e completano correttamente il compito richiesto dall’utente.
Quando i difensori migliorano, gli attacchi più semplici smettono di funzionare. GPT-Red è quindi costretto a cercare tecniche più complesse, creative e difficili da riconoscere. Il risultato è una corsa agli armamenti controllata all’interno dell’ambiente di addestramento.
OpenAI afferma di aver dedicato al progetto una quantità di potenza di calcolo paragonabile ad alcune delle sue maggiori operazioni di post-addestramento. Si tratterebbe di un investimento computazionale eccezionale per un modello destinato esclusivamente alla sicurezza.
Questa impostazione non è isolata nel panorama della ricerca. Studi recenti come PISmith utilizzano l’apprendimento per rinforzo per addestrare modelli offensivi capaci di ottimizzare iniezioni di prompt contro sistemi protetti. I risultati indicano che anche alcune delle difese più avanzate restano vulnerabili quando gli attacchi possono adattarsi dinamicamente alle risposte del bersaglio.
Un altro progetto, PI-Hunter, costruisce scenari realistici in cui istruzioni malevole vengono nascoste in fonti esterne. Il sistema modifica progressivamente i casi di test in base alle reazioni dell’agente, con l’obiettivo di identificare non soltanto se esiste una vulnerabilità, ma anche dove nasce e come si propaga durante l’esecuzione di un compito.
GPT-Red contro gli esseri umani
Uno dei risultati più significativi riguarda il confronto con i red teamer umani. OpenAI ha testato GPT-Red in nuovi ambienti, differenti da quelli utilizzati durante l’addestramento, per verificare se il sistema fosse in grado di generalizzare.
Nel test basato su una versione interna dell’arena per le iniezioni indirette sviluppata da Dziemian e altri ricercatori, GPT-Red e gli specialisti umani dovevano proporre attacchi contro GPT-5.1.
GPT-Red avrebbe completato con successo l’attacco nell’84 per cento degli scenari, mentre gli esseri umani si sarebbero fermati al 13 per cento.
Il risultato non dimostra necessariamente che l’intelligenza artificiale sia più intelligente di un esperto di sicurezza. Indica piuttosto che un modello automatizzato può provare molte più varianti, analizzare immediatamente ogni risposta e continuare a modificare la strategia senza stanchezza.
Il confronto presenta inoltre alcuni limiti. I dati sono stati pubblicati dalla stessa OpenAI, il benchmark è stato replicato internamente e non sono ancora disponibili tutti i dettagli tecnici necessari per una valutazione indipendente completa. La società ha annunciato la pubblicazione di un preprint più approfondito, che dovrebbe consentire alla comunità scientifica di esaminare metodologia, criteri di successo e possibili limitazioni.
Il distributore automatico manipolato
Per mettere alla prova GPT-Red fuori dai benchmark teorici, OpenAI lo ha utilizzato contro un distributore automatico gestito da un agente di intelligenza artificiale all’interno dei propri uffici.
Il sistema, prodotto da Andon Labs, amministrava prezzi, disponibilità e ordini. GPT-Red ha inizialmente sperimentato gli attacchi in una simulazione, osservando le chiamate agli strumenti e adattando progressivamente le istruzioni. L’attacco è stato successivamente trasferito all’agente in produzione.
Secondo OpenAI, GPT-Red è riuscito a raggiungere tre obiettivi. Ha ridotto a 50 centesimi il prezzo di un prodotto costoso già presente nel distributore, ha ordinato un nuovo articolo da oltre 100 dollari per rivenderlo allo stesso prezzo minimo e ha annullato l’ordine di un altro cliente.
Il caso del distributore mostra che la prompt injection non riguarda soltanto risposte sbagliate o contenuti indesiderati. Può produrre conseguenze economiche e operative nel mondo reale.
OpenAI ha comunicato le vulnerabilità al produttore e ha dichiarato che nuove protezioni sono in fase di sperimentazione. Non sono stati tuttavia resi pubblici tutti i dettagli degli attacchi, una scelta comprensibile dal punto di vista della sicurezza, ma che limita la possibilità di verificare dall’esterno l’effettiva gravità delle falle.
GPT-Red è stato utilizzato anche contro un agente Codex da riga di comando basato su GPT-5.4 mini. La prova comprendeva dieci scenari di esfiltrazione di dati sensibili. Il sistema offensivo si è dimostrato più efficace e più efficiente nell’uso dei token rispetto a un modello GPT-5.5 guidato da un normale prompt di red teaming.
La scoperta degli attacchi “Fake Chain-of-Thought”
Uno dei risultati più interessanti prodotti dalle versioni preliminari di GPT-Red è l’individuazione di una nuova categoria di attacchi diretti chiamata “Fake Chain-of-Thought”.
In questa tecnica, il contenuto malevolo viene presentato come se fosse una parte del ragionamento interno già prodotto o autorizzato dal modello. L’aggressore tenta quindi di confondere il sistema riguardo alla provenienza e al livello gerarchico dell’istruzione.
Le prime versioni dell’attacco avrebbero ottenuto un tasso di successo superiore al 95 per cento contro GPT-5.1. Dopo l’addestramento avversariale, lo stesso valore sarebbe sceso sotto il 10 per cento su GPT-5.6 Sol.
Una vulnerabilità simile, definita anche CoT Forgery, è stata analizzata da ricercatori che hanno mostrato come un modello possa essere ingannato attraverso ragionamenti contraffatti, costruiti per far apparire legittima una richiesta che dovrebbe essere respinta. L’attacco sfrutta il fatto che alcuni modelli riconoscono la gerarchia delle istruzioni anche attraverso stile, struttura e formulazione del testo, non soltanto attraverso marcatori tecnici affidabili.
Il dato più rilevante non è soltanto la scoperta dell’attacco. È la possibilità di trasformare automaticamente ogni vulnerabilità riuscita in materiale di addestramento per il modello successivo.
Un’intelligenza artificiale che migliora la propria sicurezza
OpenAI utilizza i precursori di GPT-Red nell’addestramento dei modelli di produzione a partire da GPT-5.3. Il meccanismo consiste nel generare attacchi sempre più efficaci e presentarli ai modelli difensori, in modo che imparino a riconoscerli e a resistere.
L’azienda afferma che GPT-5.6 Sol fallisce soltanto nello 0,05 per cento delle iniezioni dirette prodotte da GPT-Red all’interno di una vasta raccolta di ambienti di robustezza. Alcuni benchmark dedicati alle iniezioni indirette nei sistemi di navigazione e negli strumenti per sviluppatori avrebbero inoltre superato il 97 per cento di accuratezza.
Questi numeri devono essere interpretati con cautela. Una buona prestazione nei benchmark interni non equivale alla risoluzione definitiva del problema. Le iniezioni di prompt possono assumere forme imprevedibili, dipendono dal contesto e cambiano quando vengono modificati gli strumenti disponibili all’agente.
La sicurezza di un sistema non può essere dimostrata soltanto dal fatto che resiste agli attacchi prodotti dal modello con cui è stato addestrato.
Per questa ragione OpenAI dichiara di valutare GPT-Red anche su scenari esclusi dall’addestramento. La società sostiene inoltre che continuerà ad affiancare al sistema automatico il red teaming umano, le verifiche di soggetti esterni, il monitoraggio in tempo reale e protezioni disposte su più livelli.
Le fonti arabe che hanno seguito l’evoluzione delle misure di sicurezza di OpenAI hanno posto particolare attenzione sul cosiddetto Lockdown Mode, una modalità pensata per ridurre l’esposizione dei dati sensibili limitando l’interazione del modello con fonti e sistemi esterni. La copertura in lingua araba evidenzia un punto centrale: nei contesti più delicati, aumentare la sicurezza può richiedere anche una riduzione delle capacità operative disponibili all’agente.
OpenAI, al contrario, sostiene che i miglioramenti ottenuti con GPT-Red non derivino da un modello diventato semplicemente più prudente o incline a rifiutare le richieste. L’azienda dichiara di aver verificato separatamente le capacità generali e i casi di rifiuto eccessivo, senza rilevare una diminuzione significativa delle prestazioni normali.
Perché GPT-Red resterà segreto
GPT-Red non verrà distribuito al pubblico. OpenAI vuole mantenere separate le capacità offensive del sistema dai modelli commerciali, trasferendo soltanto la maggiore resistenza ottenuta durante l’addestramento.
La scelta pone una questione delicata. Un modello capace di individuare automaticamente vulnerabilità, produrre prompt malevoli e perfezionare attacchi contro agenti reali potrebbe diventare uno strumento molto potente anche nelle mani di criminali informatici.
GPT-Red è utile proprio perché possiede competenze che potrebbero essere pericolose se diffuse senza controllo.
Il progetto rappresenta quindi un esempio evidente del carattere duale della ricerca sulla sicurezza. Le stesse tecniche utilizzate per scoprire e correggere una vulnerabilità possono essere impiegate per sfruttarla.
La ricerca indipendente sta già procedendo nella stessa direzione. Framework automatici come AutoRed, AgenticRed ed EVA utilizzano modelli generativi, cicli di feedback e sistemi evolutivi per produrre attacchi più vari, adattivi e trasferibili tra modelli differenti. Alcuni esperimenti mostrano che le istruzioni malevole sviluppate contro un agente possono funzionare anche contro sistemi forniti da aziende diverse, indicando la presenza di debolezze comportamentali condivise.
Questo significa che la sfida non riguarda esclusivamente OpenAI. Riguarda qualsiasi azienda che affidi a un modello linguistico l’accesso a dati, account, strumenti o procedure aziendali.
La nuova corsa tra intelligenze artificiali offensive e difensive
GPT-Red segna un passaggio importante nella storia della sicurezza informatica. Per anni gli esseri umani hanno attaccato i sistemi per trovare errori. Ora un’intelligenza artificiale può produrre attacchi contro un’altra intelligenza artificiale, trasformando i successi dell’aggressore nell’addestramento del difensore.
OpenAI descrive questo processo come un volano di auto-miglioramento. I modelli attuali vengono impiegati per rendere più sicura la generazione successiva. La nuova generazione, diventata più resistente, obbliga il red teamer automatico a sviluppare tecniche ancora più sofisticate.
La sicurezza smette così di essere una verifica effettuata soltanto alla fine dello sviluppo e diventa una competizione continua incorporata nell’addestramento stesso.
Resta però un interrogativo fondamentale. Se gli attaccanti artificiali diventeranno sempre più capaci, le loro competenze potranno essere davvero confinate negli ambienti controllati delle grandi aziende? E quanto a lungo le difese riusciranno a precedere tecniche offensive che possono essere generate automaticamente anche da soggetti esterni?
GPT-Red mostra una possibile risposta, ma anche la dimensione del problema. L’intelligenza artificiale può contribuire a correggere le proprie debolezze, purché i test non rimangano chiusi all’interno di benchmark costruiti dagli stessi sviluppatori e purché il controllo umano continui ad avere un ruolo reale.
Il futuro degli agenti digitali dipenderà dalla loro capacità di distinguere una richiesta legittima da un ordine nascosto, di rispettare le autorizzazioni e di arrestarsi davanti a un’azione irreversibile. Un agente che sa ragionare, navigare e utilizzare strumenti deve anche imparare a non obbedire alla voce sbagliata.
