Quando la statistica sostituisce la verifica
Nel 1963 il filosofo Edmund Gettier mise in discussione la definizione tradizionale della conoscenza come credenza vera e giustificata.
Dimostrò che un individuo può formulare una convinzione corretta, sostenuta da ragioni apparentemente valide, senza possedere una conoscenza autentica.
Il problema nasce dalla possibilità che la verità di una convinzione dipenda da una circostanza fortuita, anziché dalle ragioni che dovrebbero giustificarla.
L'avvento dell'intelligenza artificiale generativa, e in particolare dei modelli linguistici basati sull'architettura Transformer, consente di riproporre questa questione in un contesto diverso. Questi sistemi producono risposte attraverso processi fondati su statistiche apprese durante l'addestramento.
Possono formulare affermazioni corrette senza eseguire necessariamente una verifica indipendente della loro corrispondenza con la realtà.
La tesi è che, nei modelli linguistici privi di un meccanismo esplicito di verifica, la plausibilità statistica possa assumere il ruolo funzionale della giustificazione epistemica, pur senza le sue proprietà.
Il problema non consiste semplicemente nel fatto che un modello possa sbagliare ma in quella che abbia ragione senza che il processo responsabile della risposta sia la verità.
La correttezza può quindi nascondere una fragilità epistemica che il solo risultato non permette di osservare.
Il meccanismo dell'attenzione
I modelli Transformer utilizzano un meccanismo denominato attenzione, attraverso il quale le rappresentazioni delle parole vengono elaborate attribuendo pesi differenti alle informazioni presenti nel contesto.
Consideriamo la frase: «Maria ha messo la mela nel cestino perché era matura».
Per interpretare correttamente il riferimento, il modello deve collegare l'aggettivo «matura» alla parola «mela», anziché a «cestino». Il meccanismo dell'attenzione contribuisce a costruire queste relazioni, consentendo al sistema di utilizzare informazioni distribuite in posizioni differenti del testo.
In termini semplificati, l'attenzione calcola quanto ogni parola debba "guardare" le altre parole del contesto e combina le informazioni sulla base di pesi appresi durante l'addestramento.
La sua rilevanza però non coincide con la sua attendibilità. Un elemento del contesto può influenzare fortemente la risposta senza essere vero, pertinente o sufficiente a giustificarla.
È inoltre necessario precisare che l'attenzione non opera isolatamente. Il comportamento finale emerge dall'interazione tra numerosi componenti della rete neurale, dalle rappresentazioni apprese e dalle modalità di generazione.
Il punto fondamentale è che nessuno di questi meccanismi, considerato isolatamente, costituisce una procedura esplicita di confronto tra una proposizione e i fatti del mondo.
Il sistema può aver appreso rappresentazioni fattuali estremamente affidabili. Tuttavia il processo ordinario di generazione non garantisce che ogni risposta sia stata sottoposta a un controllo indipendente della sua verità.
Dalla fortuna alla plausibilità
Nel problema originale di Gettier, una credenza vera e apparentemente giustificata può risultare corretta per una circostanza accidentale. Nel caso dell'intelligenza artificiale emerge una questione ulteriore.
Il modello non deve necessariamente formulare una credenza nel senso filosofico tradizionale. Deve produrre una sequenza linguistica sulla base delle rappresentazioni apprese.
Occorre però distinguere due fenomeni. Il primo è la regolarità statistica affidabile: il modello produce una risposta corretta perché durante l'addestramento ha acquisito informazioni che generalizzano adeguatamente.
Il secondo è la fortuna epistemica: il modello produce una risposta corretta grazie a caratteristiche accidentali del contesto, non essenziali rispetto al fatto richiesto.
Un sistema statistico può essere altamente affidabile. Il problema emerge quando la probabilità di una risposta viene trattata come se fosse sufficiente a garantirne la verità. In questa situazione la plausibilità statistica non costituisce soltanto uno strumento di generazione: assume impropriamente il ruolo di criterio epistemico.
La differenza tra probabilità e verità
Il processo di generazione di un modello linguistico è orientato a produrre la continuazione più probabile dato un certo contesto. Questa quantità descrive la distribuzione di probabilità delle possibili continuazioni linguistiche. Non coincide necessariamente con la probabilità che un'affermazione sia vera.
Consideriamo la frase: «Il cielo è...». In molti contesti il completamento «blu» può risultare altamente probabile. Ma questa probabilità non implica che il cielo sia effettivamente blu nel luogo e nel momento considerati.
Potrebbe essere notte, potrebbe esserci un temporale oppure la domanda potrebbe riferirsi a un'immagine in cui il cielo appare rosso.
Il modello può quindi produrre una risposta linguisticamente plausibile ma falsa. Può verificarsi anche il contrario: una risposta vera può emergere da associazioni statistiche che non rappresentano un percorso affidabile verso la conoscenza.
La distinzione fondamentale è questa: la probabilità di generare un'affermazione e la verità dell'affermazione appartengono a due livelli differenti. L'addestramento può aumentare la corrispondenza tra questi livelli, ma non li rende concettualmente equivalenti.
La sofisticazione statistica di un modello non costituisce, da sola, una garanzia epistemica.
La giustificazione costruita dopo la risposta
Un ulteriore problema riguarda la capacità dei modelli linguistici di spiegare le proprie conclusioni.
La spiegazione generata non dimostra che il processo computazionale originario abbia utilizzato proprio quell'informazione. Il sistema potrebbe aver prodotto la risposta attraverso un'associazione accidentale e aver generato successivamente una spiegazione coerente.
La giustificazione può quindi diventare una seconda generazione statistica, capace di rafforzare l'apparenza di conoscenza senza dimostrarne il fondamento.
Il problema di Gettier viene così amplificato: non soltanto una risposta vera può dipendere da un processo accidentale, ma la spiegazione successiva può rendere invisibile questa accidentalità.
La verifica sperimentale della fortuna epistemica
La tesi può essere trasformata in un'ipotesi sperimentale. Si potrebbe costruire un insieme di domande fattuali per le quali un modello fornisce risposte corrette e introdurre successivamente modifiche controllate nel contesto.
Se il modello modifica la risposta in funzione delle informazioni irrilevanti, si ottiene un indizio della sua dipendenza da associazioni contestuali non necessarie.
Questo risultato, tuttavia, non sarebbe sufficiente a dimostrare che il modello non possiede rappresentazioni affidabili del fatto. Per approfondire il fenomeno servirebbero strumenti specifici.
Conclusioni
Il problema di Gettier mostra che la verità di un'affermazione non è sufficiente a stabilire l'esistenza di conoscenza. Applicato all'intelligenza artificiale generativa, questo principio assume una particolare rilevanza.
I modelli linguistici possono produrre risposte vere attraverso processi computazionali che non includono necessariamente una verifica indipendente della loro corrispondenza con i fatti.
Il meccanismo dell'attenzione contribuisce alla selezione e alla combinazione delle informazioni, ma non costituisce di per sé un criterio di verità. La plausibilità statistica può quindi occupare il posto operativo della verifica senza possederne necessariamente il valore epistemico.
Questo non significa che ogni risposta corretta sia dovuta alla fortuna, né che i sistemi statistici siano incapaci di acquisire rappresentazioni affidabili della realtà. Significa che la correttezza dell'output non dimostra l'affidabilità del processo che lo ha prodotto.
L'assenza di una distinzione osservabile tra correttezza fondata e correttezza accidentale rappresenta uno dei problemi epistemologici centrali dell'intelligenza artificiale generativa.
La domanda fondamentale non è soltanto se un modello abbia fornito la risposta giusta. È se la risposta sia giusta grazie alle informazioni pertinenti oppure nonostante il processo che l'ha prodotta.
La tesi conclusiva può essere espressa in una formulazione sintetica: nei modelli linguistici, la plausibilità statistica può produrre verità senza verificarla. Quando la correttezza dipende da associazioni accidentali anziché da informazioni pertinenti, si manifesta una forma computazionale del problema di Gettier.
La sfida non consiste quindi soltanto nell'aumentare la percentuale di risposte corrette, ma nel distinguere quelle che derivano da processi affidabili da quelle che risultano vere per circostanze favorevoli.
Il punto non è che l’IA sbagli, ma che a volte ci azzecchi senza sapere perché: è il ritorno di Gettier nell’era delle macchine statistiche.
https://it.wikipedia.org/wiki/Problema_di_Gettier
