“Così come in passato l’assenza di linguaggio parlato [in alcune persone] è stata erroneamente interpretata come prova di assenza di intelligenza, oggi la presenza di linguaggio fluente viene erroneamente interpretata come prova di intelligenza. È lo stesso errore, rovesciato”, ha recentemente scritto la scienziata informatica Margaret Mitchell. “Ci sono due potenti tecnologie generative il cui utilizzo è schizzato alle stelle – la generazione di linguaggio e la generazione di immagini (audio e video stanno rapidamente recuperando terreno)”, prosegue Mitchell. Eppure, nonostante il funzionamento sia identico, “è il solo paradigma generativo del linguaggio che consideriamo indicativo di ragionamento e intelligenza”.

Mitchell sta facendo ovviamente riferimento agli strumenti di intelligenza artificiale generativa e in particolare ai large language model (i modelli linguistici che alimentano i vari ChatGPT, Gemini o Claude), la cui abilità nel rispondere alle nostre richieste producendo testi formalmente corretti e semanticamente plausibili viene a volte considerata la dimostrazione della capacità di questi strumenti di comprendere, pensare, ragionare e, in definitiva, dare prova di intelligenza.

Come segnala sempre Mitchell, a rafforzare questa interpretazione sono anche le stesse parole che utilizziamo in questo ambito, a partire ovviamente dal termine “intelligenza artificiale” stesso (oggetto di controversie fin da quando venne coniato, negli anni Cinquanta, dallo scienziato informatico John McCarthy). Parliamo poi di apprendimento automatico, di meccanismo dell’attenzione, di modelli che ragionano (reasoning models) ed elaborano la cosiddetta catena di pensiero (chain-of-thought), cioè la sequenza di passaggi intermedi che porta alla formulazione della risposta finale.

“Tutto ciò ci ha portati al momento in cui ci troviamo oggi”, prosegue Mitchell. “In cui nel discorso sull’intelligenza artificiale la distinzione tra linguaggio letterale e linguaggio metaforico sta collassando. Le metafore iniziano a ripiegarsi su se stesse: che cosa fanno i sistemi di AI prima di produrre una risposta? Ragionano. Come lo sappiamo? Perché chiamiamo ‘ragionamento’ ciò che fanno”.

Di metafore, d’altra parte, Margaret Mitchell se ne intende, essendo co-autrice del paper che ha introdotto la più celebre metafora nel mondo dell’intelligenza artificiale generativa: quella dei pappagalli stocastici. Pubblicato nel 2021 e associato soprattutto alla prima firmataria, la linguista computazionale Emily Bender, l’articolo scientifico “On the dangers of stochastic parrots” si soffermava anche sull’impatto ambientale di modelli linguistici dalle dimensioni (e dal consumo energetico) sempre crescente e sui pregiudizi insiti in sistemi addestrati attraverso dati raccolti dal web, che rischiano di riprodurre e amplificare stereotipi, discriminazioni e rapporti di potere già presenti nella società.

A rendere questo articolo un “classico” della letteratura scientifica sull’intelligenza artificiale fu però proprio la definizione di “pappagallo stocastico”, con la quale le co-autrici (comprese Timnit Gebru e Angelina McMillan-Major) volevano smentire la diffusa convinzione che questi modelli linguistici fossero dotati di qualche forma di genuina comprensione, spiegando come invece si limitassero a generare testi scegliendo, parola dopo parola, le combinazioni più probabili in base agli enormi archivi di testi su cui erano stati addestrati. Senza però poter attribuire un significato a ciò che viene prodotto.

Un pappagallo, quindi. Che ripete quanto appreso dai dati creati dall’essere umano in maniera stocastica, cioè secondo un processo in cui l’esito non è predeterminato, ma dipende da una serie di probabilità calcolate a partire dai dati disponibili. “Sono senza dubbio motori stocastici: attrezzi che per costruzione eseguono la ‘next token prediction’ (cioè la previsione statistica del prossimo elemento linguistico – token – che ha la maggiore probabilità di essere coerente con quelli che l’hanno preceduto, ndA)”, spiega a Lucy Walter Quattrociocchi, docente di Scienze Informatiche a La Sapienza di Roma e tra i massimi esperti in materia. “La metafora dei ‘pappagalli’ di Bender funziona bene se la si intende non come sostantivo – il pappagallo – ma come verbo: ‘pappagalleggiare’. Anche così, però, coglie il processo solo fino a un certo punto. In generale, però, sono contrario alle metafore, perché rischiano di distorcere il discorso e fuorviarlo”.

A differenza di un vero pappagallo, come segnala la stessa Emily Bender, un LLM in effetti non “rigurgita direttamente l’input ricevuto, ma crea un remix dello stesso”. Volendo uscire dalla metafora, ma restando in ambito tecnologico, lo potremmo considerare una sorta di parente lontano – molto più sofisticato e complesso – dei sistemi di “autocomplete” che tutti noi utilizziamo quando digitiamo sullo smartphone, intuendo però istintivamente come si tratti di un sistema statistico e senza attribuirgli nessuna intenzione comunicativa o comprensione.

Come funziona, allora, un large language model come quelli alla base di ChatGPT? Come si legge su Quanta Magazine (che per semplificare fa l’esempio delle parole invece dei più corretti token), l’addestramento di un large language model “consiste nel fornire al sistema una frase in cui l’ultima parola è nascosta, per esempio: ‘La benzina costa un occhio della ___’. Il modello prevede allora una distribuzione di probabilità su tutto il suo vocabolario: se conosce, poniamo, mille parole, assegna mille probabilità diverse. Poi sceglie la parola più probabile per completare la frase: presumibilmente, ‘testa’. All’inizio, il LLM potrebbe scegliere parole poco adatte. L’algoritmo di addestramento calcola allora una perdita (cioè una misura matematica dell’errore, ndA) e usa questa perdita per modificare i parametri. A quel punto, di fronte alla stessa frase, il LLM calcolerà una distribuzione di probabilità migliore e la sua perdita sarà leggermente più bassa. L’algoritmo ripete questo processo per ogni frase presente nei dati di addestramento — potenzialmente miliardi di frasi — finché la perdita complessiva del LLM scende a livelli considerati accettabili. Un processo simile viene usato per testare il modello su frasi che non facevano parte dei dati di addestramento. Una volta addestrato e testato, quando riceve un nuovo prompt testuale, il LLM genera la parola successiva più probabile, la aggiunge al testo, genera un’altra parola successiva e continua in questo modo, producendo una risposta apparentemente coerente”.

Dal punto di vista logico, ciò vuol dire che i modelli linguistici operano sulla forma del linguaggio piuttosto che sul suo significato. Come spiegano Bender e colleghe, un LLM apprende relazioni statistiche tra stringhe di simboli — parole, token, sequenze — ma non ha accesso ai referenti del mondo reale né agli intenti comunicativi umani che danno senso a quelle forme. Il risultato è che il legame tra espressioni linguistiche e realtà esterna, ciò che in filosofia del linguaggio viene chiamato grounding o ancoraggio semantico, rimane strutturalmente assente. 

Per un essere umano, la parola “mela” evoca anche un’esperienza sensoriale (colore, sapore, consistenza). Per un LLM, la parola “mela” corrisponde solo a vettori matematici che indicano la sua probabilità di apparire vicino a parole come “mangiare”, “frutto” o “rossa”. È proprio questa discrepanza a rendere particolarmente ingannevole la verosimiglianza dei testi prodotti. Poiché gli esseri umani sono naturalmente portati ad attribuire significato e intenzionalità al linguaggio, tendono a interpretare come comprensione ciò che è in realtà un effetto della manipolazione formale delle parole. La coerenza percepita non è quindi una proprietà interna del modello, ma nasce dall’incontro tra il contenuto prodotto dall’intelligenza artificiale e la nostra predisposizione cognitiva a leggere intenzioni dove c’è soltanto struttura linguistica.

“È un’approssimazione statistica che si porta dietro la simulazione dei processi umani, ma il processo umano non c’è”, prosegue Quattrociocchi. “Non c’entra l’antropocentrismo e non significa sostenere la superiorità dell’essere umano: sono semplicemente due processi di natura diversa. Non bisogna però neanche sostenere, come fa Bender, che tutto ciò non meriti un’attenta indagine. Anzi, il problema si pone proprio quando questi sistemi interagiscono con l’essere umano, che delega a essi molti compiti e si aspetta da essi qualcosa che non c’è, ovvero del materiale cognitivo. Il processo con cui gli esseri umani producono linguaggio passa anche per la validazione, mentre negli LLM questo non avviene: non sanno cosa significhino errore e verifica. Ciò introduce un vincolo importante: noi assumiamo che l’output sia verificato ma non lo è, è solo ottimizzato per plausibilità statistica. È per questo che faccio ricadere tutto ciò sotto il cappello dell’epistemia (ovvero l’illusione di conoscenza prodotta dall’interazione con l’AI generativa, ndA)”.

Riassumendo: gli esseri umani comprendono il linguaggio perché lo “ancorano” alla realtà fisica in cui vivono e perché hanno un intento comunicativo. Le macchine si limitano invece a manipolare pattern linguistici per via statistica. Da una parte c’è il significato, dall’altra soltanto la forma.

Non tutti, però, sono d’accordo. Secondo la teorica del postumano Katherine Hayles, le operazioni compiute dai large language model possono essere considerate come “interpretazione”, perché il sistema seleziona continuamente tra diverse alternative in base a condizioni contestuali interne alla sua architettura e al suo addestramento. Queste selezioni non sono né casuali né imposte dall’esterno nel momento della lettura da parte dell’essere umano. Emergono invece all’interno dell’orizzonte operativo del sistema. Il significato, in questo senso, viene generato all’interno dell’umwelt (l’insieme dei vincoli, delle strutture e dei processi interni) dell’AI, invece di essere conferito retroattivamente dall’interpretazione umana.

Il punto di Hayles non è fornire al linguaggio delle macchine uno statuto pari a quello umano, ma respingere l’idea che il significato debba per forza rispecchiare la semantica umana per essere considerato tale. Quella delle intelligenze artificiali, in questo senso, potrebbe essere considerata una “epistemologia aliena”.

Da questo punto di vista, le tesi radicali di Hayles hanno alcuni punti di contatto con le conclusioni a cui giunge un filone della ricerca linguistica noto come “semantica distribuzionale”, secondo cui il significato delle parole emerge anche dai contesti d’uso e dalle relazioni statistiche che esse intrattengono tra loro. “La semantica distribuzionale ci dice una cosa: buona parte del significato delle parole e delle costruzioni linguistiche si riflette nel modo in cui sono usate. Quindi, se analizziamo la struttura statistica recuperiamo anche il significato delle parole”, spiega a Lucy Alessandro Lenci, docente di Linguistica Computazionale all’Università di Pisa. “Questo significa che possono apprendere tutti gli aspetti del significato? No, perché il significato non è solo distribuzione statistica. Ma il fatto che siano senza dubbio dei motori stocastici non vuol dire che non possano comunque cogliere alcuni elementi del significato”.

Rovesciando la questione, alcune teorie derivate dalle neuroscienze e dalla psicologia cognitiva considerano anche l’essere umano una sorta di “sistema predittivo”. Nell’interpretazione della codifica predittiva, per esempio, il cervello non riceve passivamente le informazioni provenienti dai sensi, ma produce in continuazione previsioni sul mondo circostante, correggendole poi sulla base degli errori. In questa prospettiva, non vediamo semplicemente la realtà “così com’è”: vediamo il modello che il nostro cervello costruisce della realtà, continuamente aggiornato dai segnali che arrivano dai sensi. Quando qualcosa conferma le nostre aspettative, il sistema procede senza scosse; quando invece la realtà le smentisce, quell’errore serve a ricalibrare il modello interno.

È un meccanismo che, inevitabilmente, richiama il modo in cui gli LLM vengono addestrati, producendo previsioni e riducendo progressivamente l’errore rispetto all’esito atteso. La differenza sostanziale è che la nostra conoscenza deriva anche dall’esperienza acquisita nel mondo fisico, mentre gli LLM hanno accesso soltanto a contenuti testuali. Per comprendere meglio la differenza, è utile rifarsi ancora una volta a Emily Bender e al suo esperimento mentale dell’Octopus Test (contenuto in un paper del 2020 scritto assieme ad Alexander Koller). 

Nell’esperimento, due persone, A e B, vivono su isole separate e comunicano esclusivamente tramite un collegamento telegrafico. Un polipo estremamente intelligente osserva per anni queste conversazioni, imparando a prevedere con grande accuratezza come B risponde ai messaggi di A. Quando il polipo decide di sostituirsi a B, inizialmente riesce a ingannare A riproducendo in modo statisticamente plausibile gli schemi linguistici appresi. Nel momento in cui A si trova ad affrontare una situazione inedita, che non era mai stata affrontata nelle loro conversazioni e che richiede conoscenza del mondo reale — per esempio come difendersi da un animale pericoloso usando solo quanto reperibile sull’isola — il sistema fallisce nel fornire suggerimenti adeguati. 

Avendo accesso solo a testi e correlazioni linguistiche, il polipo non è in grado di generare risposte ancorate alla realtà, ma soltanto sequenze verbalmente plausibili prive di vero contenuto pratico. Il carattere inedito della situazione fa emergere il limite del modello: quando esce dai pattern già osservati, l’illusione della comprensione si rompe. Se il polipo avesse comunque provato a rispondere, avrebbe quasi certamente generato una “allucinazione”: un’affermazione sbagliata o completamente inventata che viene presentata dall’intelligenza artificiale come se fosse un fatto.

L’obiettivo dell’esperimento mentale – che ricorda da vicino quello celebre della Stanza Cinese di Searle – è di aiutarci a non confondere un output linguistico fluente con la comprensione, o la correlazione statistica applicata al linguaggio con il ragionamento. Questa interpretazione rischia però di essere eccessivamente binaria. Come scrive Christopher Manning, tra i massimi studiosi di linguistica computazionale ed elaborazione del linguaggio naturale, “il significato non è questione di tutto o niente: in molte circostanze comprendiamo solo parzialmente il significato di una forma linguistica. […] Se possediamo una rete fitta di connessioni, allora abbiamo una buona percezione del significato di quella forma linguistica”.

Manning fa poi l’esempio di uno strumento indiano ai più sconosciuto: lo shehnai. “Anche se non ho mai visto, toccato o sentito uno shehnai, ma qualcuno mi dice che è simile a un oboe tradizionale indiano, allora quella parola ha comunque per me un certo significato: è collegata all’India, agli strumenti a fiato che usano ance e all’esecuzione musicale”. Se il significato consiste nel comprendere reti di connessioni tra forme linguistiche, conclude Manning, “allora non c’è dubbio che i modelli linguistici apprendano significati. Oltre al significato delle parole, apprendono anche molte cose del mondo”.

“C’è una sostanziale diffidenza verso l’idea che si possa ricavare qualcosa andando ad analizzare come le parole ricorrono assieme”, prosegue Alessandro Lenci. “Pensa però ai non vedenti congeniti: non hanno mai visto la luce, eppure usano le parole della percezione visiva – ‘osservare’, ‘brillare’, ‘spiare’ – in modo identico a chi ci vede. Persone che non hanno mai visto la luce sanno usare questi termini come gli altri: l’hanno imparato su base distribuzionale. Ed è qualcosa che succede anche nei modelli computazionali. L’errore, piuttosto, è pensare che tutto sia ricavabile in questa maniera. Attenzione anche a un altro aspetto: parlare di ‘significato’ in riferimento agli LLM non significa parlare di ‘comprensione’. Vuol dire semplicemente che possono produrre frasi non solo sintatticamente corrette, ma semanticamente significative”.

Per alcuni studiosi, quindi, non si può attribuire significato alle operazioni degli LLM. Per altri c’è significato, ma non comprensione. Per altri ancora, le cui posizioni rischiano però di cadere nel territorio della fantascienza, si può perfino parlare di comprensione. Il problema di questo dibattito, soprattutto quando si avvicina alla speculazione filosofica, è che nessuna delle posizioni è definitivamente dimostrabile o falsificabile. E se, proprio a causa della sua indimostrabilità, stessimo affrontando il problema nel modo sbagliato?

Adottando una posizione “wittgensteiniana” – o anche “turinghiana”, visto che il test di Turing nasce proprio per sostituire le indimostrabili domande metafisiche con un criterio operativo e comportamentale – dovremmo forse smettere di cercare l’esistenza di un “fatto interno” comunque indimostrabile, e guardare invece all’uso del linguaggio che questi strumenti sono, o non sono, in grado di fare. E al modo in cui noi interpretiamo le loro risposte.

“Potremmo anche vederla così”, precisa Lenci. “A patto però, e riprendendo Wittgenstein, che gli LLM giochino ai giochi linguistici alla nostra stessa maniera. Non importa che siano fatti di silicio, ma dobbiamo essere sicuri che organizzino lo spazio semantico in modo simile al nostro. E questo ancora non lo sappiamo”.

Più netto è invece Walter Quattrociocchi: “No, non ci stiamo ponendo un falso problema solo perché inverificabile”. Se si resta nella speculazione pura si finisce “nell’ambito della definizione, dell’ontologia”. Ma “dal punto di vista ingegneristico sappiamo benissimo che cos’è un LLM”. Possiamo ancora non avere una definizione unanimemente accettata di “significato”, “comprensione” o “intelligenza”, ma questo – conclude Quattrociocchi – “non ci permette di sussumere sotto questi insiemi degli elementi che potrebbero non appartenervi”.

È un dibattito che, ovviamente, non è destinato a concludersi a breve, ma che è importante continuare a indagare. Anche perché, come ha chiosato durante un dibattito il “padrino dell’AI” Geoff Hinton – tra i più propensi ad attribuire una forma di comprensione e addirittura di coscienza alle macchine – “finché continueremo ad avere queste differenze di opinione, non saremo in grado di raggiungere un consenso sui pericoli che questi strumenti presentano”.