ChatGPT avrà un watermark invisibile in Europa: Ballarani svela quanto è facile cancellarlo

Nelle prossime settimane OpenAI inizierà ad applicare un watermark invisibile ai testi idonei generati da ChatGPT e Codex nell'Unione Europea, per rispettare gli obblighi dell'AI Act. Gianluigi Ballarani spiega nel video come funziona questo sistema e, soprattutto, quali sono i suoi limiti dichiarati dalla stessa OpenAI.

Cos'è textGrain

Secondo Ballarani, il sistema si chiama textGrain e non produce scritte, simboli o caratteri strani visibili nel testo. In pratica, mentre scrive, ChatGPT sceglie alcune parole seguendo uno schema particolare: leggendo il testo non ci si accorge di nulla, ma un software può analizzare queste piccole scelte lessicali e trovare una sorta di impronta digitale lasciata dall'intelligenza artificiale.

I numeri pubblicati da OpenAI

Ballarani sottolinea che il punto più interessante sono proprio i limiti dichiarati da OpenAI stessa. Su un testo di circa 400 token, il sistema riesce a riconoscere il watermark in circa il 92% dei casi. Ma basta cambiare con dei sinonimi appena il 10% delle parole perché la detection scenda al 66%. Se si modifica il 25% del testo, il riconoscimento crolla al 17%. Con testi brevi, traduzioni e riscritture, spiega Ballarani, il segnale diventa ancora più debole.

Un detector per pochi

Proprio per questi limiti, racconta Ballarani, OpenAI considera questa tecnologia ancora abbastanza delicata, tanto da non pubblicare nemmeno il detector: almeno inizialmente, potranno usarlo solo ricercatori e organizzazioni approvate.

Il paradosso secondo Ballarani

Ballarani evidenzia un paradosso: l'Europa vuole che si possano riconoscere i contenuti generati dall'intelligenza artificiale, e OpenAI ha trovato un modo per lasciare una firma, ma quella firma può sbiadire non appena qualcuno modifica un po' il testo.

Fa l'esempio di uno studente che chiede a ChatGPT di scrivere un tema, poi cambia qualche frase, sostituisce alcune parole e magari lo fa riscrivere a un'altra intelligenza artificiale. A quel punto, si chiede Ballarani, chi l'ha scritto? ChatGPT, lo studente, l'altra AI, tutti e tre?

Il problema più grande del watermark

Secondo Ballarani, questo è il problema che nessun watermark può risolvere completamente: ormai si può scrivere insieme alle macchine, correggere quello che producono, farlo riscrivere, tradurlo, modificarlo più volte. Si sta cercando una firma dell'intelligenza artificiale proprio mentre il confine tra ciò che scriviamo noi e ciò che scrive lei diventa sempre più difficile da tracciare, conclude Ballarani, lasciando la domanda aperta al pubblico.

Questo articolo riassume le opinioni espresse da Gianluigi Ballarani nel video: non è una consulenza finanziaria né una raccomandazione di investimento.