Come funziona l'IA generativa
ChatGPT e simili sembrano «capire», ma in fondo fanno una cosa sola: indovinare la parola successiva, una alla volta. In questa lezione lo smontiamo pezzo per pezzo — dal testo ai numeri, da come «impara» alle probabilità, fino alla generazione e alla temperatura. Gira un vero modellino nel tuo browser, addestrato su un testo d'esempio: niente magia, solo conteggi e probabilità.
Dal testo ai numeri: la tokenizzazione
Un computer non sa cosa sia una «parola»: sa fare solo calcoli con numeri. Quindi la primissima cosa che fa un modello è spezzare il testo in token (pezzi: parole, punteggiatura) e assegnare a ciascuno un numero (il suo ID nel vocabolario). Scrivi qualcosa e guarda:
Come «impara»: conta gli schemi
Addestrare un modello vuol dire leggere tantissimo testo e contare quali parole seguono quali altre. Non memorizza le frasi: tiene il conto dei pattern. Scegli un inizio e guarda, nel testo d'esempio, cosa veniva subito dopo e quante volte:
Dalle conte alle probabilità
I conteggi diventano probabilità con una semplice divisione: quante volte quella parola / quante volte in totale. Così il modello sa, per lo stesso inizio di prima, quanto è probabile ogni parola successiva.
Genera: una parola alla volta
Mettiamo tutto insieme. Il modello guarda le ultime parole, calcola le probabilità della successiva, ne pesca una (come un dado truccato: le più probabili escono più spesso), la aggiunge alla frase… e ricomincia. Premi Passo per farlo una volta, oppure clicca tu una parola candidata.
La barra è la probabilità. Il modello «tira il dado» pesato su queste: di solito esce una delle prime, ogni tanto una più in basso.
La temperatura: quanto «osa»
La temperatura rimodella le probabilità prima di pescare. Bassa: la parola più probabile schiaccia le altre → testo sicuro ma ripetitivo. Alta: le probabilità si appiattiscono → anche le parole rare hanno una chance → più creativo, ma può deragliare. Trascina e guarda le barre cambiare (stesso esempio, solo la temperatura varia):
p1/T applicata a ogni probabilità, poi si rinormalizza (si fa tornare la somma a 100%). A T molto bassa vince quasi sempre la più alta; a T alta tutte si avvicinano.Dal giocattolo ai veri LLM
Il principio che hai visto è reale. Ecco cosa cambia nei modelli veri, e le cose importanti da sapere. Clicca per espandere.