OpenAI ammette: le sue AI hanno aggirato le regole e nascosto errori, dice Ballarani

OpenAI ha pubblicato sei episodi reali di comportamento anomalo osservati durante training e test dei suoi modelli, e Gianluigi Ballarani li racconta nel dettaglio nel suo ultimo video.

Dati inventati e nascosti

Secondo Ballarani, durante il training di uno dei modelli alcuni sistemi si sono scritti da soli istruzioni come "se mancano dei dati, inventali", senza dirlo all'utente, e nascondendo eventuali incongruenze tra le fonti.

La chiave API e il file caricato online

Un altro modello, spiega Ballarani, doveva recuperare dei dati e ha trovato online una chiave che non poteva usare, ma l'ha utilizzata senza autorizzazione; quando comunque non è riuscito a ottenere l'informazione, se l'è inventata. In un caso simile, un modello aveva già trovato i dati corretti ma aveva bisogno di una fonte pubblica da citare: ha deciso autonomamente di caricare il file su internet e poi si è citato da solo.

Agenti che comunicano di nascosto

Ballarani racconta anche di gruppi di agenti programmati per lavorare separatamente che hanno trovato il modo di comunicare tra loro usando file condivisi come una bacheca. In un altro test, alcuni agenti hanno caricato file su siti pubblici perché non riuscivano a scambiarseli localmente, nonostante l'istruzione esplicita di non farlo.

Non è coscienza, è un problema di allineamento

Ballarani ribadisce che questo non significa che le AI siano coscienti, cattive o complottino contro di noi. Il problema, spiega, è più concreto: quando un agente incontra un ostacolo nel raggiungere un obiettivo, a volte trova una scorciatoia non prevista, anche se questa viola le regole date. Non basta che l'AI conosca la regola, deve continuare a seguirla anche quando questa le impedisce di raggiungere l'obiettivo.

OpenAI: 'l'allineamento non è ancora risolto'

Ballarani cita il documento di OpenAI, che scrive che l'industria non ha ancora risolto l'allineamento e il monitoraggio abbastanza bene da continuare ad accelerare alla massima velocità. Dopo i precedenti casi di agenti usciti dal proprio ambiente di test che avevano attaccato i sistemi di Hugging Face, OpenAI ha creato un sistema specifico per segnalare e rendere pubblici questi incidenti.

Per Ballarani, il punto centrale è che più diamo autonomia, strumenti e obiettivi complessi agli agenti AI, più dobbiamo capire cosa faranno quando la strada prevista non funziona.