ChatGPT non sa nulla all'inizio: Ballarani svela come nasce davvero un'AI

Da fuori sembra magia: scrivi una domanda e pochi secondi dopo arriva una risposta sensata. In un video, ispirandosi a un video di Rick the Engineer, Gianluigi Ballarani ripercorre a modo suo la pipeline che sta dietro modelli come ChatGPT, cercando di renderla il più intuitiva possibile.

Si parte dai dati

Tutto comincia con una quantità gigantesca di materiale: libri, siti web, articoli, codice, forum, documenti. Questo materiale viene ripulito e poi spezzettato in piccoli pezzi chiamati token, che vengono trasformati in vettori matematici che il modello può elaborare.

Il Transformer e l'attenzione

Secondo Ballarani, a questo punto si costruisce il "cervello" dell'AI: quasi tutti i grandi modelli moderni usano un'architettura chiamata Transformer, al cui interno c'è il meccanismo dell'attention. Per spiegarlo fa un esempio: nella frase "Il programmatore ha riavviato il server perché era bloccato", il modello deve capire a cosa si riferisce "era bloccato", e l'attenzione gli permette di guardare indietro nella frase e collegare quella parte a "server". Lo stesso meccanismo, spiega, va immaginato applicato non a una frase ma a trilioni di parole.

Il pre-training: indovinare la parola successiva

All'inizio, racconta Ballarani, tutti i miliardi di parametri del modello sono praticamente casuali. Al modello viene dato un solo compito: indovinare la prossima parola. Con l'esempio "la capitale del Giappone è", il modello inizialmente può rispondere "Londra", sbagliando. Il sistema misura l'errore e attraverso la backpropagation modifica di una quantità minuscola i parametri responsabili, poi riprova, miliardi e miliardi di volte, su migliaia di GPU che lavorano per settimane o mesi. Questo processo si chiama pre-training ed è qui, spiega, che il modello sviluppa gran parte delle sue capacità.

Un problema: è solo autocompletamento

Al termine del pre-training, sottolinea Ballarani, si ottiene "il più potente modello di autocompletamento della storia", ma non necessariamente un assistente con cui si vorrebbe parlare.

Il post-training rende il modello un assistente

È qui che entra in gioco il post-training: al modello vengono mostrati esempi di domande e buone risposte, gli si insegna a seguire le istruzioni e, tramite apprendimento per rinforzo, si confrontano diverse risposte premiando quelle considerate migliori. Nei modelli più recenti, aggiunge Ballarani, si può fare qualcosa di ancora più interessante: dare problemi il cui risultato è verificabile oggettivamente, come problemi di matematica o di codice, premiando il modello quando risponde bene e correggendolo quando sbaglia.

Dalla ricerca alla casella di testo

A quel punto, spiega Ballarani, il modello è pronto, o quasi: va diviso tra molti chip, i pesi vanno compressi, la memoria ottimizzata, e servono sistemi capaci di gestire contemporaneamente migliaia di richieste. Quello che vediamo noi, dice, è semplicemente una casella di testo in cui scriviamo una domanda e premiamo invio, ma dietro ci sono anni di ricerca, trilioni di esempi e miliardi di operazioni.

La cosa più strana, secondo Ballarani

La parte che Ballarani continua a trovare più affascinante è che nessuno ha mai scritto dentro ChatGPT una funzione per tradurre in italiano o per scrivere in un particolare linguaggio di programmazione. Molte di queste capacità, spiega, sono emerse da un obiettivo incredibilmente semplice ripetuto su una scala assurda: prevedere cosa avviene dopo e diventare, ogni volta, un po' meno sbagliato.

Questo articolo riassume le opinioni espresse da Gianluigi Ballarani nel video: non è una consulenza finanziaria né una raccomandazione di investimento.