Come è fatta questa pagina
Ogni voce dichiara tre cose: che cos'è, che cosa sostiene e dove nel sito la uso. I collegamenti puntano alla versione ad accesso libero quando esiste.
Due precisazioni di metodo, perché cambiano il modo di leggere l'elenco.
- Ho verificato che ogni riferimento esista e dica ciò che gli attribuisco. Non è pignoleria: è la regola che il sito stesso raccomanda nel caso sugli studi professionali, e sarebbe incoerente non applicarla qui.
- Molte pagine del sito non spiegano ricerca, ma pratica. Progettare, collaudare, decidere il livello di autonomia: sono schemi di lavoro, non risultati sperimentali. Chiamarli «evidenze» sarebbe esattamente l'abuso che il sito descrive. Stanno tutti elencati nell'ultima sezione.
Come una macchina impara
Learning representations by back-propagating errors
L'articolo che rese praticabile l'addestramento delle reti a più strati: l'errore misurato in uscita viene ripercorso all'indietro per attribuire a ogni peso la propria quota di correzione.
Dove: tappa 05 · Distribuire la colpa e tappa 04 · Scendere verso il fondo.
Gradient-Based Learning Applied to Document Recognition
Introduce l'archivio MNIST di cifre scritte a mano — sessantamila immagini di addestramento, 28×28 caselle — che è l'esempio usato in tutto il percorso, compresa la piccola rete da 13.002 manopole.
Dove: le tappe 02–06, per tutti i numeri concreti.
Deep Learning
Il manuale di riferimento. Il capitolo 5 tratta la divisione fra addestramento, messa a punto e collaudo, il sovradattamento e il momento in cui conviene fermarsi.
Dove: tappa 10 · Il muro e la partita, per le due curve che si separano.
Neural Networks
La spiegazione visuale che ha fatto da traccia al percorso in dieci tappe. Copre la matematica che qui viene deliberatamente omessa: chi voglia affrontarla parte da qui.
Dove: dichiarata in fondo a ognuna delle dieci tappe. Testi, esempi e diagrammi del sito sono originali.
Dal testo ai numeri, e l'attenzione
Attention Is All You Need
L'architettura su cui poggiano i modelli linguistici attuali. Introduce il meccanismo di attenzione con i tre gruppi di numeri che il sito chiama domanda, etichetta e contenuto, e le teste multiple in parallelo.
Linguistic Regularities in Continuous Space Word Representations
Il lavoro in cui compare l'analogia diventata celebre — re − uomo + donna ≈ regina — cioè l'osservazione che le relazioni fra concetti diventano spostamenti costanti nello spazio degli indirizzi.
Dove: tappa 07 · Dal testo ai numeri, scena 5.
Neural Machine Translation of Rare Words with Subword Units
Introduce la segmentazione in sottoparole: le parole comuni restano intere, quelle rare si spezzano in frammenti già visti. È il motivo per cui un vocabolario di pezzi non ha buchi.
Dove: tappa 07, scena 2, e Consapevolezza 01.
Lost in the Middle: How Language Models Use Long Contexts
Misura sperimentalmente che le prestazioni calano quando l'informazione rilevante si trova a metà di un contesto lungo, rispetto a quando sta all'inizio o alla fine. È la prova che allungare il contesto non è gratis.
Dove: tappa 08, scena 7; il caso documenti e conoscenza; Consapevolezza 02.
Dove stanno i fatti
Transformer Feed-Forward Layers Are Key-Value Memories
Mostra che gli strati non attentivi si comportano come una memoria a chiavi e valori: ogni chiave si accende su un motivo ricorrente nei testi, e il valore corrispondente aggiunge una distribuzione sul vocabolario. È la coppia domanda-risposta descritta nella tappa 09.
Dove: tappa 09 · Dove stanno i fatti, scene 3 e 4.
Locating and Editing Factual Associations in GPT
Individua negli strati intermedi il punto in cui vengono mediate le associazioni fattuali, e prova a modificarle. È il lavoro di riferimento sul model editing: dimostra che si può intervenire, e quanto sia delicato.
Dove: tappa 09, scena 6, dove sostengo che correggere un fatto ne danneggia altri.
Toy Models of Superposition
Studia come una rete comprima più concetti di quante siano le sue dimensioni, usando direzioni quasi perpendicolari anziché neuroni dedicati. È il fondamento dell'idea che un fatto occupi una direzione e non una casella.
Dove: tappa 09, scene 5 e 6.
Lemma di Johnson–Lindenstrauss
Il risultato matematico che rende possibile la sovrapposizione: il numero di direzioni quasi perpendicolari che stanno in uno spazio cresce in modo esponenziale rispetto al numero di dimensioni, mentre quelle perfettamente perpendicolari sono soltanto quante le dimensioni.
Dove: tappa 09, scena 5. Una precisazione: le cifre che uso lì — diecimila direzioni in uno spazio a cento — sono illustrative dell'ordine di grandezza, non l'enunciato del teorema, che dipende da quanta tolleranza si accetta sull'angolo.
Limiti, errori, valutazione
Survey of Hallucination in Natural Language Generation
La rassegna di riferimento sul fenomeno: definizioni, cause, metriche e tentativi di mitigazione. Documenta che si tratta di un comportamento sistematico del meccanismo, non di un difetto occasionale.
Dove: tappa 09; Consapevolezza 03; i quattro errori del caso studi professionali.
Do ImageNet Classifiers Generalize to ImageNet?
Ricostruisce da zero nuovi insiemi di collaudo seguendo la procedura originale, e misura cali di accuratezza fra il 3 e il 15 per cento. È la dimostrazione sperimentale che un collaudo consultato per anni si logora, anche senza che nessuno abbia barato.
Dove: tappa 10, scena 5, dove sostengo che scegliere guardando il collaudo è un modo indiretto di allenarsi su di esso.
On the Dangers of Stochastic Parrots
Il testo che ha imposto la distinzione fra produrre testo verosimile e comprendere, e che ha posto per prima la questione di che cosa ereditano questi sistemi dai dati con cui sono costruiti.
Dove: l'impostazione dell'articolo introduttivo e di tappa 06, sulla varietà dei dati.
Documenti, recupero e uso professionale
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Stabilisce il paradigma di affiancare alla memoria interna del modello un archivio consultato al momento della domanda. È l'architettura descritta nel caso sui documenti.
Dove: caso · Documenti e conoscenza, l'intera catena di recupero.
Mata v. Avianca, Inc.
Il caso in cui una memoria difensiva conteneva sei precedenti inesistenti, prodotti da un assistente conversazionale. I due avvocati e lo studio furono sanzionati per cinquemila dollari. Uno di loro dichiarò di aver operato «nella falsa convinzione che quel sito non potesse fabbricare casi da sé».
Dove: caso · Studi professionali, primo dei quattro errori. Non è un'ipotesi: è documentato, con conseguenze.
Humans and Automation: Use, Misuse, Disuse, Abuse
Il lavoro fondativo sull'eccesso di affidamento all'automazione: descrive il misuse, cioè la fiducia acritica in un aiuto automatico, e il disuse, cioè il rifiuto di un aiuto che dà troppi falsi allarmi.
Dove: caso · Processi e workflow, e la soglia di controllo di Consapevolezza 05.
Does automation bias decision-making?
Distingue due errori di chi supervisiona un sistema automatico: l'omissione, cioè non accorgersi di ciò che il sistema non ha segnalato, e la commissione, cioè seguire una segnalazione sbagliata contro l'evidenza disponibile. Trova inoltre che rendere le persone esplicitamente responsabili delle proprie decisioni riduce l'eccesso di affidamento.
Dove: sostiene l'affermazione più forte del sito sulla supervisione — che un sistema quasi sempre corretto è proprio quello che insegna a smettere di guardare. Nei casi processi e agenti.
Che cosa non è documentato
Questa è la parte che rende utile il resto. Le affermazioni seguenti sono ricorrenti nel sito, e non poggiano su ricerca pubblicata: sono ragionamento professionale, schemi di lavoro o ipotesi. Le tengo perché le ritengo utili, e le segnalo perché chi legge possa pesarle per quello che sono.
Il tempo risparmiato al netto del tempo di verifica
La tesi che per gli atti con conseguenze il guadagno possa essere negativo è un ragionamento, non una misura. È verificabile — basta cronometrare — e non l'ho misurato.
Dove: Studi professionali.
Le proporzioni del collaudo, e i novanta giorni
Il 60–25–15 fra domande frequenti, casi rari e domande senza risposta, e le tre fasi da trenta giorni per una PMI, sono proposte operative costruite per essere ragionevoli e verificabili. Non sono risultati sperimentali e non vanno citate come tali.
Dove: Documenti e conoscenza, PMI e team.
I due minuti di rilettura a fine riunione
Che sia il presidio più efficace contro le decisioni inventate è una convinzione basata sulla pratica, non su uno studio comparativo.
Dove: Riunioni e decisioni.
I tre punti d'innesto e le fasce di autonomia
Rilevare, preparare, eseguire; e le tre fasce per reversibilità. Sono griglie di lettura che trovo utili per decidere, non tassonomie riconosciute.
Dove: Processi e workflow, Consapevolezza 05.
Gli effetti della trascrizione sul comportamento in riunione
Che sapersi registrati riduca la libertà di esprimere dubbi è un'ipotesi, ed è dichiarata come domanda aperta nella pagina stessa. Sarebbe misurabile chiedendo alle persone prima e dopo alcuni mesi.
Dove: Riunioni e decisioni.
Lo schema per le letture commentate
Le voci future di questa pagina, quando commentano una lettura invece di limitarsi a citarla, seguono cinque passaggi fissi.
1. Fonte
Autore, organizzazione, data, collegamento e ragione della scelta.
2. Che cosa afferma
Sintesi accurata e verificabile della tesi, dei dati o delle indicazioni principali.
3. Come la interpreto
Collegamento ragionato con processi, persone, formazione o lavoro professionale — dichiarato come interpretazione.
4. Applicazione possibile
Un esempio concreto, limitato e contestualizzato; non una promessa universale.
5. Domanda aperta
Ciò che resta da verificare, sperimentare o discutere.