Che cosa succede se lascio cadere il mio nuovo libro dalla torre di Pisa? Sono certo che non l’abbia mai fatto nessuno, eppure non tutti gli esiti mi sorprenderebbero allo stesso modo. Qui entrano in ballo il concetto di modello e quello di intelligenza, vediamo perché. Se l’intelligenza è la capacità di affrontare situazioni nuove e impreviste, i modelli sono dei meccanismi (matematici, fisici, o altro) che ci aiutano a prevedere gli sviluppi di tali situazioni e le conseguenze delle nostre azioni. Nell’esempio di sopra, mi aspetto che il libro cada verticalmente verso il basso, perché nel mio modello del mondo la traiettoria è determinata dalla sua massa, non dai suoi contenuti (grazie Newton!).
Lo stesso discorso vale anche per un agente che deve operare in un ambiente linguistico, come un chatbot o un filtro anti-spam: quasi ogni frase di sufficiente lunghezza è unica, e quindi memorizzare la risposta giusta per ogni situazione è impossibile: ci vuole un modello del linguaggio.
È su questo fronte che c’è stata la grande svolta nell’IA degli ultimi anni. Andiamo con ordine.
All’interno di agenti come ChatGPT ci sono modelli del linguaggio (large language models), per esempio GPT-4, che li aiutano a predire come una frase andrà a finire, dopo averne visto la parte iniziale. Questo meccanismo, usato con creatività, può produrre risposte, riassunti, traduzioni, e molto altro. Il problema è: come si costruisce un modello del linguaggio?
La svolta è arrivata nel 2017, con la creazione di un nuovo algoritmo di machine learning, un tipo di rete neurale chiamato “Transformer”, in grado di leggere rapidamente quantità immense di testo, e usarle per creare un modello di linguaggio.
Ecco quindi i tre livelli da tenere distinti: l’agente (ChatGPT), il modello (GPT-4) e l’algoritmo che lo ha appreso (Transformer). Addestrato su miliardi di documenti, il Transformer ne ha distillato i contenuti, creando un modello in grado di completare le parti mancanti in un testo.
La cosa sorprendente è successa durante i primi test: GPT dimostrava di avere appreso ben di più che l’abilità di completare i testi. Sapeva completare sillogismi, eseguire traduzioni, e rispondere alle domande.
Ora devo aggiungere la parte imbarazzante per noi studiosi: non abbiamo alcuna teoria che spieghi le proprietà emergenti, così che non possiamo né predire né escludere che ne emergeranno delle altre.
Dal momento di quelle prime osservazioni di abilità emergenti, è iniziata una corsa alla costruzione di modelli sempre più grandi, pre-addestrati una volta per tutte e con grande spesa, destinati poi ad essere inseriti all’interno di molti agenti e sistemi diversi. Ne avrebbero costituito le fondamenta, o la base: quelli che oggi chiamiamo Foundation Models in inglese, e Modelli di Base, in italiano.
A proposito: come chiamereste un algoritmo che genera testi (generative), che è pre-addestrato (pretrained) e usa il transformer? Generative Pretrained Transformer, ovvero: GPT.
Questi modelli sono difficili da ispezionare (la conoscenza di GPT 3.5 è racchiusa in 175 miliardi di parametri, ovvero valori numerici regolati durante l’addestramento, immaginate una spreadsheet di un chilometro quadrato). E sono anche difficili da regolamentare.
Eppure il loro valore economico può essere immenso, e nessuno Stato o industria può permettersi di ignorarli.
Ecco un esempio tra i mille che mi vengono in mente, basato sul mio lavoro quotidiano: immaginate di mostrare due articoli scientifici a un computer e chiedergli di riassumerne le differenze: questo richiederebbe ben più di un confronto tra le parole, ma tra i contenuti dei due documenti.
Immaginate ora di mostrarne 20.000, in lingue e materie diverse, e chiedere di scegliere quelli che sono più utili per rispondere a una data domanda.
Il modo in cui si interagisce con loro è molto semplice, ovvero attraverso il nostro linguaggio: gli si fornisce un’imbeccata, o uno spunto (prompt, in inglese) e questi continuano da soli, per esempio generando la risposta o la traduzione.
I nuovi modelli di base sono in grado di combinare immagini, audio e testo (sono multimodali), e sono in una fase di rapidissima evoluzione. Mi pare molto probabile che tali modelli (o i loro discendenti) finiranno in una posizione centrale nelle infrastrutture intelligenti del futuro.
Ma prima dovremo risolvere i problemi che stiamo osservando: dalle allucinazioni (quando il modello crede di avere visto un’informazione nei dati di addestramento, ma questa non esiste), alle varie forme di “jailbreaking” (trucchi inventati dagli hacker per indurre il modello a comportarsi in modi non appropriati); fino ai rischi di decisioni inique, dichiarazioni offensive, e così via.
La nuova legge europea sottopone questi modelli a degli obblighi di trasparenza (per esempio dichiarare i dati usati nell’addestramento), e – se molto grandi e con rischio sistemico – anche a delle verifiche approfondite sulle loro prestazioni, e all’obbligo di informare la Commissione dell’esistenza del modello e del relativo rischio sistemico, nonché di riportare ogni notizia di eventuali incidenti.
Nei prossimi anni possiamo aspettarci un numero crescente di prodotti che si basano sui modelli di base, e metodi sempre nuovi per tenerli sotto controllo, evitando i rischi di malfunzionamento.
(Estratto dalla newsletter Appunti di Stefano Feltri. Ci si iscrive qui)
