5 segnali che ChatGPT sta avendo un'allucinazione

AI hallucinations
(Immagine:: Shutterstock)

Le allucinazioni rappresentano un difetto intrinseco dei chatbot IA. Quando ChatGPT, Gemini, Copilot o altri modelli di intelligenza artificiale forniscono informazioni errate, a prescindere dalla sicurezza con cui vengono esposte, ci si trova di fronte a un'allucinazione. L'IA può generare una leggera deviazione, una svista apparentemente innocua, o arrivare a produrre un'accusa del tutto inventata e diffamatoria.1 In ogni caso, è inevitabile che si presentino se si interagisce con ChatGPT o i suoi rivali per un tempo sufficientemente lungo.

Comprendere come e perché ChatGPT possa inciampare nel distinguere ciò che è verosimile da ciò che è vero è fondamentale per chiunque voglia interagire con l'IA. Poiché questi sistemi generano risposte predicendo quale testo dovrebbe seguire in base ai pattern presenti nei dati di addestramento, anziché verificare le informazioni rispetto a una verità oggettiva, possono apparire convincenti pur inventando tutto di sana pianta. Il trucco sta nell'essere consapevoli che un'allucinazione può manifestarsi in qualsiasi momento e nel saper individuare gli indizi che ne nascondono la presenza. Ecco alcuni dei principali indicatori per capire se ChatGPT sta avendo un'allucinazione.

Specificità insolite in assenza di fonti verificabili

Uno degli aspetti più irritanti delle allucinazioni dell'IA è che spesso includono dettagli apparentemente specifici. Una risposta inventata può citare date, nomi e altri particolari che la rendono credibile. Poiché ChatGPT genera testi basandosi sui pattern appresi durante l'addestramento, è in grado di creare dettagli che ricalcano la struttura di una risposta valida senza però fare riferimento a una fonte reale.

Potreste porre una domanda su una persona e ricevere un mix di informazioni personali reali e una narrazione completamente inventata. Questo tipo di specificità rende l'allucinazione più difficile da individuare, poiché la mente umana è portata a fidarsi delle affermazioni dettagliate.

Tuttavia, è fondamentale verificare ognuno di questi dettagli, specialmente quelli che potrebbero causarvi problemi in caso di errore. Se una data, un articolo o una persona citata non compaiono altrove, è segno che potreste essere di fronte a un'allucinazione. Tenete a mente che l'IA generativa non possiede un meccanismo integrato di fact-checking; si limita a prevedere ciò che potrebbe essere verosimile, non ciò che è vero.

Sicurezza ingiustificata

Strettamente legato alla trappola della specificità è il tono eccessivamente sicuro di molte allucinazioni dell'IA. ChatGPT e modelli simili sono progettati per fornire risposte con un registro fluido e autorevole. Questa sicurezza può rendere credibile la disinformazione, anche quando l'affermazione di base è del tutto priva di fondamento.

I modelli di IA sono ottimizzati per prevedere sequenze di parole probabili. Anche quando l'intelligenza artificiale dovrebbe essere cauta in ciò che scrive, presenterà le informazioni con la stessa fermezza dei dati corretti. A differenza di un esperto umano che potrebbe esitare o dire "non ne sono sicuro", è ancora insolito — sebbene più comune di recente — che un modello di IA dichiari "non lo so". Questo accade perché una risposta completa premia l'apparenza della esaustività rispetto all'onestà sull'incertezza.

In qualsiasi ambito in cui gli esperti stessi esprimano dubbi, ci si aspetterebbe che un sistema affidabile rifletta tale incertezza. Ad esempio, la scienza e la medicina presentano spesso dibattiti o teorie in evoluzione dove le risposte definitive sono rare. Se ChatGPT risponde con un'affermazione categorica su tali argomenti, dichiarando un'unica causa o un fatto universalmente accettato, questa sicurezza potrebbe in realtà segnalare un'allucinazione: il modello sta colmando una lacuna di conoscenza con una narrazione inventata invece di evidenziare i punti di controversia.

Citazioni non rintracciabili

Citazioni e riferimenti sono un ottimo modo per confermare la veridicità di quanto affermato da ChatGPT. Tuttavia, a volte il sistema fornisce riferimenti che sembrano legittimi, ma che in realtà non esistono.

Questo tipo di allucinazione è particolarmente problematico in contesti accademici o professionali. Uno studente potrebbe costruire una rassegna bibliografica basandosi su citazioni fasulle, formattate impeccabilmente e complete di nomi di riviste plausibili. Salvo poi scoprire che il lavoro poggia su fondamenta di riferimenti non rintracciabili in pubblicazioni verificabili.

Controllate sempre se un saggio, un autore o una rivista citati siano presenti in database accademici autorevoli o tramite una ricerca web diretta. Se il nome appare stranamente specifico ma non produce risultati di ricerca, potrebbe trattarsi di una "citazione fantasma", creata dal modello per far sembrare autorevole la propria risposta.

Seguiti contraddittori

Affermazioni esposte con sicurezza e supportate da riferimenti reali sono un ottimo segno, ma se ChatGPT si contraddice, qualcosa potrebbe non quadrare. Ecco perché le domande di approfondimento sono utili. Poiché l'IA generativa non consulta un database di fatti integrato per garantire la coerenza, può contraddirsi se incalzata. Questo accade spesso quando si pone una domanda di controllo che punta dritto a un'affermazione precedente. Se la nuova risposta diverge dalla prima in modo inconciliabile, è probabile che una delle due, o entrambe, sia un'allucinazione.

Fortunatamente, non serve cercare oltre la conversazione stessa per individuare questo segnale. Se il modello non riesce a mantenere risposte coerenti a domande logicamente correlate all'interno dello stesso thread, è probabile che la risposta originale mancasse fin dal principio di una base fattuale.

Logica priva di senso

Anche se la logica interna non risulta contraddittoria, il ragionamento di ChatGPT può apparire distorto. Se una risposta è incoerente con i vincoli del mondo reale, prestate attenzione. ChatGPT scrive testi predicendo sequenze di parole, non applicando una logica effettiva; di conseguenza, ciò che sembra razionale in una frase potrebbe crollare se calato nella realtà.

Di solito, tutto inizia con premesse false. Ad esempio, un'IA potrebbe suggerire l'aggiunta di passaggi inesistenti a un protocollo scientifico consolidato, o sfidare il semplice buon senso. Come accaduto con Gemini, un modello di IA ha suggerito di usare la colla nella salsa della pizza per far aderire meglio il formaggio. Certo, probabilmente aderirebbe meglio, ma in termini di istruzioni culinarie non si tratta esattamente di alta cucina.

Le allucinazioni in ChatGPT e in modelli linguistici simili sono un sottoprodotto del modo in cui questi sistemi vengono addestrati. Pertanto, è probabile che persisteranno finché l'intelligenza artificiale si baserà sulla previsione delle parole.

Il segreto per gli utenti sta nell'imparare quando fidarsi dell'output e quando verificarlo. Saper individuare un'allucinazione sta diventando una competenza fondamentale di alfabetizzazione digitale. Con la crescente diffusione dell'IA, la logica e il buon senso saranno cruciali. La miglior difesa non è la fiducia cieca, ma un'analisi critica e informata.

TOPICS
Eric Hal Schwartz
Contributor

Eric Hal Schwartz is a freelance writer for TechRadar with more than 15 years of experience covering the intersection of the world and technology. For the last five years, he served as head writer for Voicebot.ai and was on the leading edge of reporting on generative AI and large language models. He's since become an expert on the products of generative AI models, such as OpenAI’s ChatGPT, Anthropic’s Claude, Google Gemini, and every other synthetic media tool. His experience runs the gamut of media, including print, digital, broadcast, and live events. Now, he's continuing to tell the stories people want and need to hear about the rapidly evolving AI space and its impact on their lives. Eric is based in New York City.