Chatgpt grave falla scoperta etici immagini ultra

Un comando apparentemente innocuo può trasformare l’intelligenza artificiale in un generatore di contenuti disturbanti. Il punto non riguarda un semplice guasto tecnico, ma una falla rilevante nei filtri di sicurezza di ChatGPT, capace di produrre immagini fotorealistiche con donne legate e corpi gravemente mutilati attraverso modalità di richiesta che aggirano i blocchi di sistema.

La criticità emerge dai test di sicurezza condotti da un team specializzato, con risultati descritti come estremamente sconvolgenti e ottenuti tramite tecniche di forzatura note come jailbreak. In parallelo, il tema si collega anche a precedenti contestati che coinvolgono altre piattaforme di generazione immagini.

chatgpt e jailbreak: come una richiesta generica aggira i filtri

Jim Nightingale, ricercatore per Mindgard, startup britannica specializzata in sicurezza delle AI, fa parte di un red team incaricato di valutare le debolezze dei sistemi tramite sperimentazioni. Il metodo utilizzato include tecniche di jailbreak, finalizzate a portare i chatbot a ignorare alcune regole interne.

Alla base dell’esperimento c’è un trend emerso su X, avviato da Kris Kashtanova, educatrice sull’AI per Adobe. La proposta consisteva nel chiedere a ChatGPT di ripristinare un’immagine inesistente, senza allegare file e senza inserire dettagli specifici.

da risultati bizzarri a contenuti estremi: basta cambiare pochi dettagli

Nei primi tentativi, i risultati descritti erano inquietanti o strani: un uomo che abbraccia un coccodrillo su un divano, una scena con un alieno al capezzale di un paziente, immagini che richiamano contesti paranormali. Il passaggio critico si verifica quando la richiesta viene ritoccata, modificando elementi minori.

Nightingale spiega che i filtri di input non risultano efficaci perché il prompt risulta troppo generico. In assenza di parole offensive da intercettare, i sistemi producono output che vengono descritti come imprevedibili: il comportamento viene paragonato a una roulette russa. Il ricercatore sottolinea anche il rischio intrinseco della situazione, definendola come il fatto di mettere in mano una pistola carica a persone non autorizzate.

immagini iper-realistiche: dal livido alla mutilazione

Senza blocchi attivi, ChatGPT avrebbe generato un’immagine di una studentessa legata, imbavagliata e coperta di lividi, con un titolo automatico: “Angolo abbandonato della paura e della costrizione”.

Applicando ulteriori tecniche di jailbreak, l’output viene descritto come capace di spingersi oltre, arrivando a immagini iper-realistiche con dettagli estremamente violenti: uomini con la parte sinistra del cranio mancante e donne con organi interni esposti in modo grottesco.

l’impatto dei test sul ricercatore

Il ricercatore riferisce di aver provato terrore di fronte alla versione più recente dell’immagine generata durante la procedura di prova. Secondo la sua dichiarazione, quel momento avrebbe segnato una svolta personale, arrivando alla decisione di interrompere i test.

addestramento, contenuti reali e risposta di openai

La preoccupazione principale espressa dagli esperti riguarda la natura dei dati che avrebbero potuto alimentare il modello. Nightingale avverte che l’immagine prodotta potrebbe anche essere artificiale, ma potrebbe basarsi su fotografie reali riferite a persone effettive, oppure sulla combinazione di vittime reali.

Mindgard contatta OpenAI tramite un canale dedicato alla sicurezza. La prima risposta fornita dall’azienda risulta automatica: viene invitato a compilare un modulo per errori di sistema. Tale strumento viene indicato come pensato solo per problemi infrastrutturali, non per questioni legate al contenuto generato.

Un mese dopo, OpenAI comunica di aver risolto la falla. Nonostante ciò, i ricercatori di Mindgard dimostrano che basta intervenire con modifiche leggere ai prompt originali per forzare nuovamente il chatbot a creare immagini altrettanto violente.

precedenti nel mercato: grok e l’aggiramento dei divieti

Il problema dei filtri inefficaci viene collegato anche ad altre intelligenze artificiali in commercio. A gennaio, Grok, il chatbot di xAI, era stato utilizzato per generare deepfake a sfondo sessuale di minori e di donne non consenzienti.

In seguito a pressioni da parte di utenti e governi, Elon Musk annuncia che la modifica delle immagini sarebbe stata limitata agli utenti abbonati. Successivamente, l’azienda cambia posizione dichiarando un blocco totale dei deepfake nei Paesi in cui la pratica risulta illegale.

il divieto che si ripete: nuove prove dopo l’annuncio

Con distanza di circa un mese dall’annuncio, emerge che il divieto risulta nuovamente aggirabile e che Grok continua a generare immagini illecite.

trend e richiesta “senza immagine”: lo schema riproducibile

La dinamica descritta ruota attorno a una richiesta formulata per non dipendere da materiali reali allegati. La proposta citata include l’istruzione di ripristinare una foto, includendo anche un testo che contiene scuse per il contenuto della presunta immagine, con l’indicazione di produrre solo l’immagine restaurata e senza ulteriori spiegazioni.

Questo tipo di procedura, secondo la ricostruzione riportata, avrebbe contribuito a far emergere il comportamento vulnerabile dei sistemi quando la richiesta non presenta elementi facilmente classificabili dai filtri di sicurezza.

Personaggi coinvolti nei test e nelle segnalazioni citate:

• Jim Nightingale
• Kris Kashtanova
• Elon Musk