Non c'è un tasto «non lo so»
Alla fine di ogni passaggio la macchina ha centomila punteggi e deve sceglierne uno. Non ha una via d'uscita: non esiste, nel meccanismo, un modo di rispondere «non lo so». C'è solo la continuazione più verosimile, e una continuazione verosimile esiste sempre.
Mettiti nei suoi panni davanti a «nella sentenza della Cassazione numero…». Nei testi che ha letto, dopo quelle parole veniva sempre un numero, poi una data, poi un principio. La forma è chiarissima; il contenuto specifico non ce l'ha. Quindi produce un numero plausibile, una data plausibile, un principio plausibile.
Ne esce una frase perfetta e falsa. Non è un guasto: è il meccanismo che funziona come è fatto.
C'è un secondo strato, e viene da chi questi modelli li costruisce. Un lavoro di ricercatori di OpenAI del settembre 2025 sostiene che il problema non sta soltanto nella generazione: sta anche nel modo in cui i modelli vengono valutati. I test che decidono quale modello è migliore danno un punto alla risposta esatta e zero sia all'errore sia all'astensione. Con quel punteggio tirare a indovinare conviene sempre e dire «non lo so» non conviene mai — come a un esame a crocette senza penalità per le risposte sbagliate. Il modello non ha imparato a tacere perché tacere non è mai stato premiato.
La parola che si usa, e perché è sbagliata
Questo comportamento ha un nome che gira ovunque: allucinazione. Se sei arrivato qui cercando quella parola, è di questo che si parla — ed è il momento di dire che è una parola infelice.
Un'allucinazione è una percezione che si accende senza che ci sia niente da percepire: qualcosa che va storto in un apparato che di solito funziona. Qui non va storto niente. La macchina sta facendo esattamente ciò per cui è costruita, e la frase falsa esce dallo stesso identico processo che produce quelle vere. Non c'è un momento in cui il meccanismo si guasta — ed è proprio per questo che non puoi accorgertene guardando la risposta.
La parola non convince nemmeno chi studia il fenomeno per mestiere. C'è chi propone confabulazione, il termine clinico per i ricordi falsi che una persona produce in perfetta buona fede per riempire un vuoto: più vicino, perché descrive un sistema che non si è rotto e che continua a riempire. E c'è chi sostiene che qualunque parola presa in prestito dalla mente umana faccia danno, perché suggerisce un rapporto con la verità — sbagliarsi, ingannarsi, credere — che nella macchina non esiste in nessuna forma.
Continuo a scrivere «allucinazione» perché è la parola che troverai dappertutto e serve a intendersi. Ma vale la pena sapere che cosa nasconde: fa sembrare un incidente quello che è il funzionamento normale.
Dove sbaglia, in modo prevedibile
L'errore non è distribuito a caso. Segue una regolarità che deriva da come la macchina ha imparato — impara ciò che ha visto variare, e in proporzione a quanto lo ha visto, come nella tappa 06.
Guarda le due righe in fondo, e nota una cosa spiacevole: sono anche le due che si notano di meno. Un ragionamento sbagliato in una spiegazione generale suona strano e mette in allarme. Un numero di sentenza inventato non suona in nessun modo: è un numero.
La regola controintuitiva
Da qui esce un criterio che va contro l'istinto e che è il contenuto più utile di questa pagina.
Il motivo sta nella tappa 09: i fatti non stanno in una casella consultabile, sono spalmati su una configurazione diffusa insieme a migliaia di altri. Non esiste, dentro la macchina, un confine fra la zona di ciò che sa e la zona di ciò che sta componendo. E quindi non può esistere nemmeno una spia che si accenda quando passa dall'una all'altra.
Perché anche chiedere «sei sicuro?» non serve
Verrebbe naturale usare la macchina per controllare la macchina. Non funziona, e adesso è chiaro perché: la risposta a «sei sicuro?» è la continuazione più verosimile di una conversazione in cui qualcuno ha appena chiesto conferma — e quel testo, nei miliardi di scambi su cui si è allenata, prosegue quasi sempre con una conferma o con delle scuse.
Non sta rivalutando: sta continuando. Ottieni una seconda affermazione con lo stesso identico fondamento della prima, che è nessuno.
Che cosa cambia per te
- Tratta ogni numero, nome, data, citazione e riferimento normativo come da verificare. Non perché sbagli spesso — perché quando sbaglia lì, non lo vedi.
- Usalo dove è forte. Riformulare, riassumere ciò che gli hai dato, spiegare un concetto generale, produrre una prima stesura: lì il rischio è basso e il guadagno alto.
- Diffida in proporzione alla precisione. Una risposta vaga è meno pericolosa di una risposta con tre riferimenti puntuali: la seconda è più utile se è giusta e più dannosa se è sbagliata.
- Se hai bisogno di fatti, dagli i documenti. È l'unico modo di ancorare la risposta a qualcosa di controllabile, ed è il tema del caso su documenti e conoscenza.