Come è fatta questa pagina

Ogni voce dichiara tre cose: che cos'è, che cosa sostiene e dove nel sito la uso. I collegamenti puntano alla versione ad accesso libero quando esiste.

Due precisazioni di metodo, perché cambiano il modo di leggere l'elenco.

  • Ho verificato che ogni riferimento esista e dica ciò che gli attribuisco. Non è pignoleria: è la regola che il sito stesso raccomanda nel caso sugli studi professionali, e sarebbe incoerente non applicarla qui.
  • Molte pagine del sito non spiegano ricerca, ma pratica. Progettare, collaudare, decidere il livello di autonomia: sono schemi di lavoro, non risultati sperimentali. Chiamarli «evidenze» sarebbe esattamente l'abuso che il sito descrive. Stanno tutti elencati nell'ultima sezione.

Come una macchina impara

Learning representations by back-propagating errors

David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams · Nature 323, 533–536 · 1986

L'articolo che rese praticabile l'addestramento delle reti a più strati: l'errore misurato in uscita viene ripercorso all'indietro per attribuire a ogni peso la propria quota di correzione.

Dove: tappa 05 · Distribuire la colpa e tappa 04 · Scendere verso il fondo.

Gradient-Based Learning Applied to Document Recognition

Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner · Proceedings of the IEEE 86(11) · 1998

Introduce l'archivio MNIST di cifre scritte a mano — sessantamila immagini di addestramento, 28×28 caselle — che è l'esempio usato in tutto il percorso, compresa la piccola rete da 13.002 manopole.

Dove: le tappe 02–06, per tutti i numeri concreti.

Deep Learning

Ian Goodfellow, Yoshua Bengio, Aaron Courville · MIT Press · 2016 · testo integrale libero online

Il manuale di riferimento. Il capitolo 5 tratta la divisione fra addestramento, messa a punto e collaudo, il sovradattamento e il momento in cui conviene fermarsi.

Dove: tappa 10 · Il muro e la partita, per le due curve che si separano.

Neural Networks

Grant Sanderson · 3Blue1Brown · serie in sette capitoli, dal 2017

La spiegazione visuale che ha fatto da traccia al percorso in dieci tappe. Copre la matematica che qui viene deliberatamente omessa: chi voglia affrontarla parte da qui.

Dove: dichiarata in fondo a ognuna delle dieci tappe. Testi, esempi e diagrammi del sito sono originali.

Dal testo ai numeri, e l'attenzione

Attention Is All You Need

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin · NeurIPS · 2017

L'architettura su cui poggiano i modelli linguistici attuali. Introduce il meccanismo di attenzione con i tre gruppi di numeri che il sito chiama domanda, etichetta e contenuto, e le teste multiple in parallelo.

Dove: tappa 08 · Il contesto che sposta il senso.

Linguistic Regularities in Continuous Space Word Representations

Tomas Mikolov, Wen-tau Yih, Geoffrey Zweig · NAACL-HLT · 2013 · pp. 746–751

Il lavoro in cui compare l'analogia diventata celebre — re − uomo + donna ≈ regina — cioè l'osservazione che le relazioni fra concetti diventano spostamenti costanti nello spazio degli indirizzi.

Dove: tappa 07 · Dal testo ai numeri, scena 5.

Neural Machine Translation of Rare Words with Subword Units

Rico Sennrich, Barry Haddow, Alexandra Birch · ACL · 2016

Introduce la segmentazione in sottoparole: le parole comuni restano intere, quelle rare si spezzano in frammenti già visti. È il motivo per cui un vocabolario di pezzi non ha buchi.

Dove: tappa 07, scena 2, e Consapevolezza 01.

Lost in the Middle: How Language Models Use Long Contexts

Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, Percy Liang · TACL 12, 157–173 · 2024

Misura sperimentalmente che le prestazioni calano quando l'informazione rilevante si trova a metà di un contesto lungo, rispetto a quando sta all'inizio o alla fine. È la prova che allungare il contesto non è gratis.

Dove: tappa 08, scena 7; il caso documenti e conoscenza; Consapevolezza 02.

Dove stanno i fatti

Transformer Feed-Forward Layers Are Key-Value Memories

Mor Geva, Roei Schuster, Jonathan Berant, Omer Levy · EMNLP · 2021 · pp. 5484–5495

Mostra che gli strati non attentivi si comportano come una memoria a chiavi e valori: ogni chiave si accende su un motivo ricorrente nei testi, e il valore corrispondente aggiunge una distribuzione sul vocabolario. È la coppia domanda-risposta descritta nella tappa 09.

Dove: tappa 09 · Dove stanno i fatti, scene 3 e 4.

Locating and Editing Factual Associations in GPT

Kevin Meng, David Bau, Alex Andonian, Yonatan Belinkov · NeurIPS · 2022 · progetto rome.baulab.info

Individua negli strati intermedi il punto in cui vengono mediate le associazioni fattuali, e prova a modificarle. È il lavoro di riferimento sul model editing: dimostra che si può intervenire, e quanto sia delicato.

Dove: tappa 09, scena 6, dove sostengo che correggere un fatto ne danneggia altri.

Toy Models of Superposition

Nelson Elhage, Tristan Hume, Catherine Olsson, Christopher Olah e altri · Anthropic, Transformer Circuits · 2022 · arXiv:2209.10652

Studia come una rete comprima più concetti di quante siano le sue dimensioni, usando direzioni quasi perpendicolari anziché neuroni dedicati. È il fondamento dell'idea che un fatto occupi una direzione e non una casella.

Dove: tappa 09, scene 5 e 6.

Lemma di Johnson–Lindenstrauss

William B. Johnson, Joram Lindenstrauss · Contemporary Mathematics 26 · 1984

Il risultato matematico che rende possibile la sovrapposizione: il numero di direzioni quasi perpendicolari che stanno in uno spazio cresce in modo esponenziale rispetto al numero di dimensioni, mentre quelle perfettamente perpendicolari sono soltanto quante le dimensioni.

Dove: tappa 09, scena 5. Una precisazione: le cifre che uso lì — diecimila direzioni in uno spazio a cento — sono illustrative dell'ordine di grandezza, non l'enunciato del teorema, che dipende da quanta tolleranza si accetta sull'angolo.

Limiti, errori, valutazione

Survey of Hallucination in Natural Language Generation

Ziwei Ji, Nayeon Lee, Rita Frieske, Pascale Fung e altri · ACM Computing Surveys 55(12), art. 248 · 2023 · arXiv:2202.03629

La rassegna di riferimento sul fenomeno: definizioni, cause, metriche e tentativi di mitigazione. Documenta che si tratta di un comportamento sistematico del meccanismo, non di un difetto occasionale.

Dove: tappa 09; Consapevolezza 03; i quattro errori del caso studi professionali.

Towards Understanding Sycophancy in Language Models

Mrinank Sharma, Meg Tong, Tomasz Korbak, David Duvenaud e altri · Anthropic · 2023 · arXiv:2310.13548

Documenta che cinque fra gli assistenti più diffusi tendono sistematicamente ad assecondare le convinzioni di chi scrive invece di contraddirle, e che l’addestramento sulle preferenze umane contribuisce al fenomeno.

Dove: Consapevolezza 04, dove sostengo che la domanda contiene già la risposta. Non era un mio ragionamento: è misurato.

Do ImageNet Classifiers Generalize to ImageNet?

Benjamin Recht, Rebecca Roelofs, Ludwig Schmidt, Vaishaal Shankar · ICML · 2019

Ricostruisce da zero nuovi insiemi di collaudo seguendo la procedura originale, e misura cali di accuratezza fra il 3 e il 15 per cento. È la dimostrazione sperimentale che un collaudo consultato per anni si logora, anche senza che nessuno abbia barato.

Dove: tappa 10, scena 5, dove sostengo che scegliere guardando il collaudo è un modo indiretto di allenarsi su di esso.

On the Dangers of Stochastic Parrots

Emily M. Bender, Timnit Gebru, Angelina McMillan-Major e altri · FAccT · 2021 · pp. 610–623

Il testo che ha imposto la distinzione fra produrre testo verosimile e comprendere, e che ha posto per prima la questione di che cosa ereditano questi sistemi dai dati con cui sono costruiti.

Dove: l'impostazione dell'articolo introduttivo e di tappa 06, sulla varietà dei dati.

Documenti, recupero e uso professionale

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Patrick Lewis, Ethan Perez, Aleksandra Piktus, Douwe Kiela e altri · NeurIPS · 2020 · arXiv:2005.11401

Stabilisce il paradigma di affiancare alla memoria interna del modello un archivio consultato al momento della domanda. È l'architettura descritta nel caso sui documenti.

Dove: caso · Documenti e conoscenza, l'intera catena di recupero.

Mata v. Avianca, Inc.

United States District Court, S.D.N.Y. · 678 F.Supp.3d 443 · ordinanza del 22 giugno 2023, giudice P. Kevin Castel · testo su Justia

Il caso in cui una memoria difensiva conteneva sei precedenti inesistenti, prodotti da un assistente conversazionale. I due avvocati e lo studio furono sanzionati per cinquemila dollari. Uno di loro dichiarò di aver operato «nella falsa convinzione che quel sito non potesse fabbricare casi da sé».

Dove: caso · Studi professionali, primo dei quattro errori. Non è un'ipotesi: è documentato, con conseguenze.

Humans and Automation: Use, Misuse, Disuse, Abuse

Raja Parasuraman, Victor Riley · Human Factors 39(2), 230–253 · 1997

Il lavoro fondativo sull'eccesso di affidamento all'automazione: descrive il misuse, cioè la fiducia acritica in un aiuto automatico, e il disuse, cioè il rifiuto di un aiuto che dà troppi falsi allarmi.

Dove: caso · Processi e workflow, e la soglia di controllo di Consapevolezza 05.

Does automation bias decision-making?

Linda J. Skitka, Kathleen L. Mosier, Mark Burdick · International Journal of Human-Computer Studies 51(5), 991–1006 · 1999

Distingue due errori di chi supervisiona un sistema automatico: l'omissione, cioè non accorgersi di ciò che il sistema non ha segnalato, e la commissione, cioè seguire una segnalazione sbagliata contro l'evidenza disponibile. Trova inoltre che rendere le persone esplicitamente responsabili delle proprie decisioni riduce l'eccesso di affidamento.

Dove: sostiene l'affermazione più forte del sito sulla supervisione — che un sistema quasi sempre corretto è proprio quello che insegna a smettere di guardare. Nei casi processi e agenti.

Che cosa non è documentato

Questa è la parte che rende utile il resto. Le affermazioni seguenti sono ricorrenti nel sito, e non poggiano su ricerca pubblicata: sono ragionamento professionale, schemi di lavoro o ipotesi. Le tengo perché le ritengo utili, e le segnalo perché chi legge possa pesarle per quello che sono.

Il tempo risparmiato al netto del tempo di verifica

La tesi che per gli atti con conseguenze il guadagno possa essere negativo è un ragionamento, non una misura. È verificabile — basta cronometrare — e non l'ho misurato.

Dove: Studi professionali.

Le proporzioni del collaudo, e i novanta giorni

Il 60–25–15 fra domande frequenti, casi rari e domande senza risposta, e le tre fasi da trenta giorni per una PMI, sono proposte operative costruite per essere ragionevoli e verificabili. Non sono risultati sperimentali e non vanno citate come tali.

Dove: Documenti e conoscenza, PMI e team.

I due minuti di rilettura a fine riunione

Che sia il presidio più efficace contro le decisioni inventate è una convinzione basata sulla pratica, non su uno studio comparativo.

Dove: Riunioni e decisioni.

I tre punti d'innesto e le fasce di autonomia

Rilevare, preparare, eseguire; e le tre fasce per reversibilità. Sono griglie di lettura che trovo utili per decidere, non tassonomie riconosciute.

Dove: Processi e workflow, Consapevolezza 05.

Gli effetti della trascrizione sul comportamento in riunione

Che sapersi registrati riduca la libertà di esprimere dubbi è un'ipotesi, ed è dichiarata come domanda aperta nella pagina stessa. Sarebbe misurabile chiedendo alle persone prima e dopo alcuni mesi.

Dove: Riunioni e decisioni.

Lo schema per le letture commentate

Le voci future di questa pagina, quando commentano una lettura invece di limitarsi a citarla, seguono cinque passaggi fissi.

1. Fonte

Autore, organizzazione, data, collegamento e ragione della scelta.

2. Che cosa afferma

Sintesi accurata e verificabile della tesi, dei dati o delle indicazioni principali.

3. Come la interpreto

Collegamento ragionato con processi, persone, formazione o lavoro professionale — dichiarato come interpretazione.

4. Applicazione possibile

Un esempio concreto, limitato e contestualizzato; non una promessa universale.

5. Domanda aperta

Ciò che resta da verificare, sperimentare o discutere.