Ora si possono scovare i testi scritti con ChatGPT: come funziona la filigrana invisibile di OpenAI e come si può aggirare

Un’impronta invisibile per marchiare i testi scritti dall’intelligenza artificiale, ma con una falla: per ingannarla basta un semplice dizionario dei sinonimi. Per adeguarsi alle norme di trasparenza dell’AI Act europeo, OpenAI si appresta a lanciare textGrain, una tecnologia concepita per inserire una filigrana probabilistica nei contenuti prodotti da ChatGPT e Codex. L’aggiornamento, in arrivo nelle prossime settimane nell’Unione Europea (mentre fuori dai confini comunitari resta un’opzione attivabile via Api), non inserisce codici segreti né caratteri nascosti, ma condiziona le scelte lessicali del modello per creare uno schema statistico riconoscibile da un software di analisi. Il sistema mostra però già tutta la sua fragilità: basta sostituire il 10% delle parole con dei sinonimi per far crollare la sua capacità di tracciamento dal 92% al 66 per cento.

Come funziona il “marchio” dell’algoritmo

A differenza dei watermark grafici usati per immagini e video, textGrain agisce sul vocabolario. Durante la generazione del testo, l’algoritmo viene guidato a prediligere determinate combinazioni di parole, lasciando una traccia matematica unica. È pura analisi probabilistica: un software specifico analizza il documento ed estrapola lo schema per capire se dietro ci sia la mano della macchina. Secondo i test condotti da OpenAI, il rischio di “falsi positivi” (ossia accusare ingiustamente un testo scritto da un umano) è limitato all’1 per cento. La precisione è elevata sui testi di lunghezza media. La filigrana viene individuata nell’80% degli elaborati da 200 token e raggiunge il 95% su quelli da 400 token, in particolare in ambiti discorsivi come quello psicologico.

I punti deboli

La tecnologia mostra evidenti limiti di fronte a contenuti brevi o imbrigliati da un linguaggio rigido, come le formule matematiche. Ma il vero punto debole risiede nella facilità con cui il sistema può essere aggirato con una minima rielaborazione umana. I dati forniti dalla stessa OpenAI dicono che oltre al calo dell’accuratezza al 66% se si cambia appena una parola su dieci, se la quota di vocaboli sostituiti sale al 25% la capacità del rilevatore di identificare l’impronta dell’AI precipita ad appena il 17 per cento.

Privacy e rilascio graduato

Sul fronte della tutela dei dati, textGrain si limita a segnalare se un testo (o parte di esso) sia stato generato dai sistemi di OpenAI, senza rivelare l’identità dell’utente, le istruzioni caricate (prompt) o la cronologia della conversazione. Inoltre, lo strumento non è in grado di quantificare quanta parte dell’opera sia farina del sacco dell’utente e quanta dell’algoritmo. Per evitare un’ondata di errate valutazioni o accuse infondate, l’azienda concederà il rilevatore solo a un numero ristretto di ricercatori e organizzazioni selezionate, con l’intento di renderlo open source in un secondo momento.

Il tracciamento su audio e immagini

Se sul testo la partita è ancora aperta, sui contenuti visivi e sonori l’infrastruttura di tracciamento è già operativa. OpenAI dispone infatti di uno strumento pubblico per verificare la provenienza dei file multimediali: per marchiare le immagini, la compagnia combina lo standard di tracciabilità Content Credentials (C2PA) con SynthID, la filigrana invisibile sviluppata da Google DeepMind, impiegata anche per la verifica dei contenuti audio.