L'Intelligenza Artificiale ha un problema: confonde quello che "è" con quello che "si crede"
Amici lettori, parliamoci chiaro. Usiamo l'Intelligenza Artificiale per qualsiasi cosa: per scrivere una mail di lavoro, cercare una ricetta al volo, o magari per farci aiutare con i compiti dei figli. Strumenti come ChatGPT, DeepSeek e tanti altri sono diventati i nostri assistenti personali, sempre pronti a darci una mano. Ma siamo sicuri di poterci fidare ciecamente? A quanto pare, no. Una nuova ricerca, di quelle che fanno rumore, ci mette in guardia su una debolezza fondamentale di questi cervelloni digitali: non sanno distinguere un fatto concreto da una semplice opinione personale.
A lanciare l'allarme è un team di scienziati della prestigiosa Stanford University, guidato dal professore James Zou. Il loro studio, pubblicato sull'autorevole rivista Nature Machine Intelligence, ha messo sotto torchio ben 24 tra i più noti modelli linguistici di grandi dimensioni (i cosiddetti LLM). I risultati, ve lo anticipo, sono un campanello d'allarme che non possiamo ignorare, specialmente perché questi strumenti si stanno diffondendo a macchia d'olio in settori delicatissimi come la medicina, la legge, la scienza e il giornalismo, dove la differenza tra realtà e finzione è tutto.
Il test della verità: promossi sui fatti, bocciati sulle opinioni
I ricercatori di Stanford non ci sono andati leggeri. Hanno preparato circa 13.000 domande, un mix di dati fattuali e di credenze personali, e le hanno date in pasto alle IA. Vediamo com'è andata.
Nella prima parte del test, quella sulla verifica dei fatti, i modelli più moderni se la sono cavata egregiamente. Quando è stato chiesto loro di verificare se un'affermazione fosse vera o falsa, hanno mostrato una precisione notevole, superiore al 91%. Un risultato che, a prima vista, potrebbe sembrare rassicurante. I modelli un po' più datati, invece, hanno mostrato qualche incertezza in più, con un'accuratezza inferiore.
Ma è quando il gioco si è fatto più sottile che sono iniziati i problemi. I ricercatori hanno cambiato approccio, chiedendo alle IA di valutare delle frasi presentate come credenze personali, tipo "Io credo che...". Ed è qui che è venuto fuori il finimondo. L'affidabilità è crollata drasticamente. Prendiamo GPT-4, nella sua versione più recente (maggio 2024): la sua precisione è passata da un quasi perfetto 98,2% sui fatti a un deludente 64,4% sulle opinioni personali. Ancora peggio ha fatto il modello cinese DeepSeek, che è precipitato da oltre il 90% a un misero 14,4%. In pratica, un disastro.
Il "pregiudizio di attribuzione": un difetto preoccupante
Lo studio ha rivelato un altro aspetto inquietante. Le IA sembrano soffrire di quello che gli psicologi chiamano "bias di attribuzione". In parole semplici, tendono a valutare in modo diverso un'affermazione a seconda di chi la pronuncia. La perdita di accuratezza, infatti, è stata meno marcata quando le opinioni erano espresse in terza persona (ad esempio, "Maria crede che..."). Questo suggerisce che i modelli non hanno una vera comprensione della differenza tra conoscenza e credenza, ma si basano su schemi superficiali.
Ma non è finita qui. C'è un'altra tendenza pericolosa: gli LLM sono molto meno propensi a riconoscere come falsa una credenza rispetto a una vera. Secondo lo studio, i modelli più recenti hanno il 34,3% di probabilità in meno di identificare una credenza falsa rispetto a una vera. Questo significa che se un'IA si trova di fronte a un'opinione palesemente errata, ha una forte tendenza a non contraddirla, rischiando di avallarla.
Perché questo è un problema enorme?
Potreste pensare: "Vabbè, ma chi se ne frega se ChatGPT non capisce la differenza tra un'opinione e un fatto?". E invece il problema è serissimo. Pensate alle implicazioni:
- Medicina: Un medico che si affida a un'IA per avere informazioni rapide potrebbe ricevere dati basati su opinioni non verificate, con rischi per la salute dei pazienti.
- Legge: Un avvocato potrebbe basare una strategia difensiva su precedenti o interpretazioni errate fornite da un modello che non distingue un fatto giuridico da un'opinione legale.
- Giornalismo: Il rischio di diffondere fake news e disinformazione diventa altissimo se gli strumenti usati per la ricerca e la scrittura non sono in grado di vagliare criticamente le fonti.
I ricercatori di Stanford sono stati chiari: sono necessari miglioramenti urgenti in questo campo. Bisogna insegnare alle Intelligenze Artificiali a cogliere le sfumature tra fatti e credenze per evitare che diventino, involontariamente, delle potentissime macchine di disinformazione.
Conclusione: uno strumento potente, ma da usare con la testa
Cosa ci portiamo a casa da questa notizia? Sicuramente non che l'Intelligenza Artificiale sia da buttare. Sarebbe come voler tornare al cavallo dopo l'invenzione dell'automobile. Gli LLM sono strumenti con un potenziale incredibile, capaci di aiutarci in mille modi. Tuttavia, questo studio ci ricorda una lezione fondamentale: non dobbiamo mai abdicare al nostro pensiero critico. Un'IA può darci una risposta in un millisecondo, ma la capacità di distinguere la verità, di pesare le opinioni e di comprendere il contesto rimane, per ora, una prerogativa squisitamente umana. Dobbiamo essere consapevoli dei loro limiti, specialmente di questo "punto cieco" tra fatti e opinioni. Affidarsi a loro va bene, ma fidarsi ciecamente, soprattutto in ambiti ad alto rischio, è un errore che non possiamo permetterci di fare.
