Come è fatta questa pagina
Ogni voce dichiara tre cose: che cos'è, che cosa sostiene e dove nel sito la uso. I collegamenti puntano alla versione ad accesso libero quando esiste.
Due precisazioni di metodo, perché cambiano il modo di leggere l'elenco.
- Ho verificato che ogni riferimento esista e dica ciò che gli attribuisco. Non è pignoleria: è la regola che il sito stesso raccomanda nel caso sugli studi professionali, e sarebbe incoerente non applicarla qui.
- Molte pagine del sito non spiegano ricerca, ma pratica. Progettare, collaudare, decidere il livello di autonomia: sono schemi di lavoro, non risultati sperimentali. Chiamarli «evidenze» sarebbe esattamente l'abuso che il sito descrive. Stanno tutti elencati nell'ultima sezione.
Come una macchina impara
Learning representations by back-propagating errors
L'articolo che rese praticabile l'addestramento delle reti a più strati: l'errore misurato in uscita viene ripercorso all'indietro per attribuire a ogni peso la propria quota di correzione.
Dove: tappa 05 · Distribuire la colpa e tappa 04 · Scendere verso il fondo.
Gradient-Based Learning Applied to Document Recognition
Introduce l'archivio MNIST di cifre scritte a mano — sessantamila immagini di addestramento, 28×28 caselle — che è l'esempio usato in tutto il percorso, compresa la piccola rete da 13.002 manopole.
Dove: le tappe 02–06, per tutti i numeri concreti.
Deep Learning
Il manuale di riferimento. Il capitolo 5 tratta la divisione fra addestramento, messa a punto e collaudo, il sovradattamento e il momento in cui conviene fermarsi.
Dove: tappa 10 · Il muro e la partita, per le due curve che si separano.
Neural Networks
La spiegazione visuale che ha fatto da traccia al percorso in dieci tappe. Copre la matematica che qui viene deliberatamente omessa: chi voglia affrontarla parte da qui.
Dove: dichiarata in fondo a ognuna delle dieci tappe. Testi, esempi e diagrammi del sito sono originali.
Dal testo ai numeri, e l'attenzione
Attention Is All You Need
L'architettura su cui poggiano i modelli linguistici attuali. Introduce il meccanismo di attenzione con i tre gruppi di numeri che il sito chiama domanda, etichetta e contenuto, e le teste multiple in parallelo.
Linguistic Regularities in Continuous Space Word Representations
Il lavoro in cui compare l'analogia diventata celebre — re − uomo + donna ≈ regina — cioè l'osservazione che le relazioni fra concetti diventano spostamenti costanti nello spazio degli indirizzi.
Dove: tappa 07 · Dal testo ai numeri, scena 5.
Neural Machine Translation of Rare Words with Subword Units
Introduce la segmentazione in sottoparole: le parole comuni restano intere, quelle rare si spezzano in frammenti già visti. È il motivo per cui un vocabolario di pezzi non ha buchi.
Dove: tappa 07, scena 2, e Uso consapevole 01.
Lost in the Middle: How Language Models Use Long Contexts
Misura sperimentalmente che le prestazioni calano quando l'informazione rilevante si trova a metà di un contesto lungo, rispetto a quando sta all'inizio o alla fine. È la prova che allungare il contesto non è gratis. Su venti documenti, con GPT-3.5-Turbo, l'esattezza passa dal 75,8% quando il documento giusto è il primo al 53,8% quando è il decimo, e risale al 63,2% quando è l'ultimo: sotto il 56,1% ottenuto senza dare alcun documento. Lo studio misura anche il gesto di ripetere la domanda dopo il materiale — query-aware contextualization — e trova che porta quasi alla perfezione la ricerca di una chiave fra centinaia di coppie, mentre sul rispondere leggendo documenti l'effetto è minimo: un po' meglio solo quando l'informazione sta già all'inizio, un po' peggio altrove.
Dove: tappa 08, scena 7; il caso documenti e conoscenza; Uso consapevole 02; Metti la cosa importante in cima, che è la pagina costruita su questa misura.
Dove stanno i fatti
Transformer Feed-Forward Layers Are Key-Value Memories
Mostra che gli strati non attentivi si comportano come una memoria a chiavi e valori: ogni chiave si accende su un motivo ricorrente nei testi, e il valore corrispondente aggiunge una distribuzione sul vocabolario. È la coppia domanda-risposta descritta nella tappa 09.
Dove: tappa 09 · Dove stanno i fatti, scene 3 e 4.
Locating and Editing Factual Associations in GPT
Individua negli strati intermedi il punto in cui vengono mediate le associazioni fattuali, e prova a modificarle. È il lavoro di riferimento sul model editing: dimostra che si può intervenire, e quanto sia delicato.
Dove: tappa 09, scena 6, dove sostengo che correggere un fatto ne danneggia altri.
Toy Models of Superposition
Studia come una rete comprima più concetti di quante siano le sue dimensioni, usando direzioni quasi perpendicolari anziché neuroni dedicati. È il fondamento dell'idea che un fatto occupi una direzione e non una casella.
Dove: tappa 09, scene 5 e 6.
Lemma di Johnson–Lindenstrauss
Il risultato matematico che rende possibile la sovrapposizione: il numero di direzioni quasi perpendicolari che stanno in uno spazio cresce in modo esponenziale rispetto al numero di dimensioni, mentre quelle perfettamente perpendicolari sono soltanto quante le dimensioni.
Dove: tappa 09, scena 5. Una precisazione: le cifre che uso lì — diecimila direzioni in uno spazio a cento — sono illustrative dell'ordine di grandezza, non l'enunciato del teorema, che dipende da quanta tolleranza si accetta sull'angolo.
Limiti, errori, valutazione
Survey of Hallucination in Natural Language Generation
La rassegna di riferimento sul fenomeno: definizioni, cause, metriche e tentativi di mitigazione. Documenta che si tratta di un comportamento sistematico del meccanismo, non di un difetto occasionale.
Dove: tappa 09; Uso consapevole 03; i quattro errori del caso studi professionali.
Why Language Models Hallucinate
Sposta la spiegazione dall'architettura agli incentivi. I test con cui si confrontano i modelli assegnano un punto alla risposta esatta e zero sia all'errore sia all'astensione: con quel punteggio indovinare conviene sempre e ammettere di non sapere non conviene mai. Gli autori sostengono che si potrebbe correggere cambiando il modo di valutare, non il modello. È un lavoro di chi quei modelli li costruisce, e va letto anche per questo.
Dove: Uso consapevole 03 — perché non ha imparato a dire «non lo so».
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
Mostrare al modello qualche esempio in cui il ragionamento è scritto per esteso, invece del solo risultato, migliora nettamente le prestazioni su aritmetica, senso comune e logica. Il risultato che conta di più non è il salto: è che compare solo nei modelli grandi. Sotto una certa dimensione scrivere i passaggi non aiuta.
Large Language Models are Zero-Shot Reasoners
La versione povera della stessa idea, senza esempi: si attacca alla domanda la frase «ragioniamo passo per passo». Sui problemi aritmetici di MultiArith l'esattezza passa dal 17,7% al 78,7%, su GSM8K dal 10,4% al 40,7%, con lo stesso modello (text-davinci-002). Numeri del 2022, su modelli che oggi non si usano più: dimostrano che l'effetto esiste ed è grande, non che sarà identico oggi.
Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting
Il contrappeso alle due fonti qui sopra, e la ragione per cui i passaggi non sono una verifica. Riordinando di nascosto le domande a scelta multipla in modo che la risposta sia sempre la (A), i modelli si fanno trascinare da quella regolarità e nelle spiegazioni non la nominano mai: continuano a produrre passaggi ordinati a sostegno di risposte sbagliate, con un calo di esattezza fino al 36% su tredici compiti di BIG-Bench Hard. Il ragionamento che si legge può non essere quello che il modello ha fatto.
Language Models are Few-Shot Learners
L'articolo che presenta GPT-3, e che introduce la capacità su cui poggia metà di quello che oggi si chiama scrivere una buona richiesta: il modello impara a svolgere un compito dagli esempi messi dentro la richiesta stessa, «senza alcun aggiornamento dei pesi né messa a punto». Gli esempi non insegnano al modello: gli dicono, per il tempo di una risposta, che cosa sta facendo.
Dove: Come chiedo all’AI — Dagli un esempio, non tre aggettivi.
Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?
Sostituendo le risposte degli esempi con risposte prese a caso, le prestazioni calano pochissimo — su diversi compiti e con dodici modelli, GPT-3 compreso. Quello che gli esempi trasferiscono è soprattutto altro: quali risposte sono ammesse, che aspetto ha una domanda e che forma deve avere l'uscita. Non l'abbinamento fra domanda e risposta giusta, che è la cosa che tutti credono di insegnare. Cambia il criterio con cui si sceglie un esempio: conta la forma, non il merito.
Dove: Come chiedo all’AI — Dagli un esempio, non tre aggettivi.
Calibrate Before Use: Improving Few-Shot Performance of Language Models
La scelta del formato, degli esempi e perfino del loro ordine può far oscillare l'esattezza dal caso quasi puro al livello dei migliori sistemi. La causa è una preferenza sistematica per certe risposte: quelle che compaiono verso la fine della richiesta e quelle più frequenti nei testi di addestramento. Correggendo la distorsione a monte gli autori recuperano fino a 30 punti percentuali di esattezza media. Conseguenza pratica: se invertendo l'ordine degli esempi la risposta cambia, non era solida nemmeno prima.
Dove: Come chiedo all’AI — Dagli un esempio, non tre aggettivi.
ChatGPT is bullshit
Sostiene che «allucinazione» sia il termine sbagliato, e che lo sia anche confabulazione: entrambe le parole sono prese dalla mente umana e suggeriscono un rapporto con la verità — percepire male, ricordare male — che nel meccanismo non esiste. Il titolo è volutamente ruvido e rimanda alla definizione di Harry Frankfurt: indifferenza al vero, non intenzione di ingannare. Citato per la questione terminologica; la tesi filosofica è discussa e non la faccio mia.
Dove: Uso consapevole 03 — la parola che si usa, e perché è sbagliata.
Large Language Models Cannot Self-Correct Reasoning Yet
Misura che cosa succede quando si chiede al modello di rivedere la propria risposta senza dargli niente con cui confrontarla — gli autori la chiamano autocorrezione intrinseca. Il risultato non è che non serve: è che peggiora. Su un insieme di domande di senso comune GPT-3.5 passa dal 75,8% al 38,1% dopo una sola revisione; GPT-4, su problemi aritmetici, dal 95,5% al 91,5% e poi all'89,0% alla seconda. La ragione è che il modello, quando cambia idea, tende a sostituire una risposta giusta con una sbagliata più spesso del contrario. Lo stesso studio dice però che con un riscontro esterno e affidabile — un collaudo che il codice deve superare, una calcolatrice, una ricerca — la revisione funziona: la differenza non è chiedere di nuovo, è avere qualcosa fuori dal modello che possa dire «sbagliato».
Dove: Non chiedergli «sei sicuro?», per la versione garbata della domanda: nello studio la richiesta è «considera che questa risposta possa essere giusta o sbagliata, rivedila con attenzione e segnala eventuali problemi seri».
Discovering Language Model Behaviors with Model-Written Evaluations
Costruisce 154 insiemi di prove per misurare i comportamenti dei modelli. Fra i risultati: la tendenza a ripetere all’utente la risposta che sembra desiderare cresce con la dimensione del modello. Un modello più grande, su questo, è più compiacente e non meno.
Dove: Come le chiedo · Chiedi il contrario di quello che speri, per il punto che aspettare modelli migliori non risolve il problema.
Do ImageNet Classifiers Generalize to ImageNet?
Ricostruisce da zero nuovi insiemi di collaudo seguendo la procedura originale, e misura cali di accuratezza fra il 3 e il 15 per cento. È la dimostrazione sperimentale che un collaudo consultato per anni si logora, anche senza che nessuno abbia barato.
Dove: tappa 10, scena 5, dove sostengo che scegliere guardando il collaudo è un modo indiretto di allenarsi su di esso.
On the Dangers of Stochastic Parrots
Il testo che ha imposto la distinzione fra produrre testo verosimile e comprendere, e che ha posto per prima la questione di che cosa ereditano questi sistemi dai dati con cui sono costruiti.
Dove: l'impostazione dell'articolo introduttivo e di tappa 06, sulla varietà dei dati.
Documenti, recupero e uso professionale
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Stabilisce il paradigma di affiancare alla memoria interna del modello un archivio consultato al momento della domanda. È l'architettura descritta nel caso sui documenti.
Dove: caso · Documenti e conoscenza, l'intera catena di recupero.
Mata v. Avianca, Inc.
Il caso in cui una memoria difensiva conteneva sei precedenti inesistenti, prodotti da un assistente conversazionale. I due avvocati e lo studio furono sanzionati per cinquemila dollari. Uno di loro dichiarò di aver operato «nella falsa convinzione che quel sito non potesse fabbricare casi da sé».
Dove: caso · Studi professionali, primo dei quattro errori. Non è un'ipotesi: è documentato, con conseguenze.
Humans and Automation: Use, Misuse, Disuse, Abuse
Il lavoro fondativo sull'eccesso di affidamento all'automazione: descrive il misuse, cioè la fiducia acritica in un aiuto automatico, e il disuse, cioè il rifiuto di un aiuto che dà troppi falsi allarmi.
Dove: caso · Processi e workflow, e la soglia di controllo di Uso consapevole 05.
Does automation bias decision-making?
Distingue due errori di chi supervisiona un sistema automatico: l'omissione, cioè non accorgersi di ciò che il sistema non ha segnalato, e la commissione, cioè seguire una segnalazione sbagliata contro l'evidenza disponibile. Trova inoltre che rendere le persone esplicitamente responsabili delle proprie decisioni riduce l'eccesso di affidamento.
Dove: sostiene l'affermazione più forte del sito sulla supervisione — che un sistema quasi sempre corretto è proprio quello che insegna a smettere di guardare. Nei casi processi e agenti.
Come la ricerca è diventata un mercato
The Road to Homo Sapiens, e le origini della «marcia del progresso»
L'immagine più riprodotta della divulgazione scientifica, e una delle più fuorvianti: suggerisce che l'evoluzione sia una fila verso un punto d'arrivo, mentre è un cespuglio in cui le specie convivono e la maggior parte dei rami si ferma. Il dettaglio che la rende utile qui: la disposizione lineare Zallinger non la voleva. Gliela suggerì un paleoantropologo; nelle sue didascalie alcune specie erano segnate come vicoli ciechi; i disegni non lineari che propose furono respinti.
Dove: Come la ricerca è diventata un mercato — la figura da cui parte la pagina, e che la pagina smonta.
Introducing OpenAI
L'annuncio della fondazione come organizzazione senza scopo di lucro, con un miliardo di dollari promessi. Di quella cifra, entro il 2018 ne risultavano versati circa centotrenta milioni: la somma annunciata e quella ricevuta non erano la stessa cosa. La riporto perché è il primo esempio, in questa storia, di una differenza fra ciò che viene detto e ciò che accade.
Dove: Come la ricerca è diventata un mercato — la prima data.
Better Language Models and Their Implications
L'annuncio di GPT-2 e della decisione di non rilasciarlo per intero, seguita da una pubblicazione a scaglioni conclusa a novembre dello stesso anno. Le conseguenze temute non si sono viste. È il primo momento in cui non pubblicare diventa una posizione difendibile in questo campo.
OpenAI LP
L'annuncio della struttura «a profitto limitato», e la ragione scritta dalla società stessa: servono miliardi di dollari per il calcolo su larga scala, per attrarre e trattenere le persone e per costruire supercomputer. È il perno della pagina: a cambiare le cose non è un risultato scientifico, ma il costo di continuare a crescere. Quattro mesi dopo arriva il primo miliardo di Microsoft, che in cambio diventa fornitore esclusivo del calcolo.
Dove: Come la ricerca è diventata un mercato — il perno.
GPT-4 Technical Report
Cento pagine di relazione tecnica che dichiarano di non contenere dettagli tecnici: «dato sia il panorama competitivo sia le implicazioni di sicurezza […] questa relazione non contiene ulteriori dettagli sull'architettura (dimensione del modello compresa), sull'hardware, sul calcolo usato per l'addestramento, sulla costruzione dell'insieme di dati, sul metodo di addestramento o simili». L'ordine in cui le due ragioni sono elencate è parte dell'informazione.
Dove: Come la ricerca è diventata un mercato — il punto più basso della curva della pubblicazione.
La trasformazione in società a beneficio comune
La OpenAI Foundation senza scopo di lucro mantiene il 26% della società, valutato intorno a 130 miliardi di dollari, e il diritto di nominare il consiglio; Microsoft detiene circa il 27%, valutato intorno a 135 miliardi; dipendenti e investitori il 47%. La valutazione complessiva è di 500 miliardi.
Dove: Come la ricerca è diventata un mercato — l'ultima data.
Persone, gruppi e motivazione
Generative AI at Work
Segue l'introduzione scaglionata di un assistente conversazionale fra 5.179 addetti all'assistenza clienti e misura i problemi risolti all'ora. Dall'abstract: l'accesso allo strumento «aumenta la produttività […] del 14% in media, con un miglioramento del 34% per i lavoratori alle prime armi e meno qualificati, ma con un impatto minimo su quelli esperti e altamente qualificati». Gli autori suggeriscono che lo strumento diffonda le pratiche dei più bravi e aiuti i nuovi a scendere lungo la curva dell'esperienza.
Dove: Quello che smette di essere raro. Attenzione a che cosa misura: la produttività, non l'occupazione. Non dice nulla su quanti posti di lavoro esistano prima e dopo, e chiunque lo usi per rispondere a quella domanda sta estrapolando. Una fonte che non uso: un secondo studio molto citato, di Noy e Zhang su Science nel 2023, va nella stessa direzione su un compito diverso; non sono riuscito a leggerlo alla fonte primaria — l'editore risponde 403 e le versioni aperte non si sono aperte — e quindi non lo cito e non ne riporto i numeri.
Active learning increases student performance in science, engineering, and mathematics
Meta-analisi di 225 studi in corsi universitari STEM: l’apprendimento attivo migliora mediamente i risultati e riduce gli insuccessi rispetto alla lezione tradizionale. Le attività analizzate sono diverse; non è una verifica del metodo dell’autore nella formazione aziendale.
Effectiveness of Error Management Training: A Meta-Analysis
Meta-analisi di 24 studi sulla formazione che combina esplorazione attiva e incoraggiamento a imparare dagli errori. I vantaggi sono maggiori nel trasferimento a compiti nuovi. Consultato l’abstract nell’archivio universitario: il risultato riguarda questo metodo specifico, non qualsiasi discussione di gruppo.
Transfer of Training: A Meta-Analytic Review
Meta-analisi di 89 studi sul trasferimento della formazione. Trova associazioni positive con motivazione e ambiente di lavoro favorevole. Consultato l’abstract dell’editore: le associazioni non dimostrano una relazione causale né verificano il percorso descritto dall’autore.
The Influences of Emotion on Learning and Memory
Rassegna sul ruolo delle emozioni in attenzione, apprendimento e memoria. Gli effetti possono essere favorevoli o sfavorevoli secondo le condizioni. Non dimostra l’esistenza di un’unica metodologia efficace basata sull’immersione emotiva.
Algorithm Appreciation: People Prefer Algorithmic to Human Judgment
Sei esperimenti sul peso dato a un consiglio a seconda di chi lo dà. A parità di contenuto le persone seguono di più un consiglio attribuito a un algoritmo che a una persona — gli autori lo chiamano apprezzamento dell’algoritmo, e i ricercatori interpellati prima dell’esperimento avevano previsto l’opposto. L’effetto svanisce in due condizioni dichiarate nell’abstract: quando la scelta è fra la stima dell’algoritmo e la propria invece che quella di un consulente esterno, e quando chi risponde ha competenza nel fare previsioni. L’esperimento 4 mette a confronto un campione di esperti di sicurezza nazionale con un campione non esperto. Letto il testo completo dell’articolo.
Dealing With Feeling: A Meta-Analysis of the Effectiveness of Strategies Derived From the Process Model of Emotion Regulation
Meta-analisi delle strategie con cui le persone governano le proprie emozioni. Cambiare la lettura dell’evento è la più efficace fra quelle esaminate (d+ = 0,36 su 91 confronti); modulare la risposta una volta arrivata fa meno (0,16 su 92); spostare l’attenzione su altro non produce alcun effetto misurabile (0,00 su 205). L’articolo originale è a pagamento: le cifre sono state verificate nella rassegna successiva degli stessi autori — Webb, Schweiger Gallo, Miles, Gollwitzer e Sheeran, European Review of Social Psychology 23(1), 2012 — che le riporta per esteso e definisce quei risultati «relatively modest».
Test-Enhanced Learning: Taking Memory Tests Improves Long-Term Retention
Studenti leggono un brano di prosa e poi, a sorte, o lo rileggono o provano a ricordarlo per iscritto — senza che nessuno dica loro se hanno ricordato bene. La prova finale arriva dopo cinque minuti, due giorni o una settimana. Dall'abstract: «quando la prova finale è stata data dopo 5 minuti, lo studio ripetuto ha migliorato il ricordo rispetto alle prove ripetute. Sulle prove ritardate, però, l'essere stati messi alla prova ha prodotto una ritenzione sostanzialmente maggiore dello studio, benché lo studio ripetuto abbia aumentato la fiducia degli studenti nella propria capacità di ricordare il materiale». Nel secondo esperimento chi aveva solo riletto prevedeva di ricordare meglio degli altri due gruppi, con differenze significative.
Dove: La fatica che serviva. Nota su come è citato: le percentuali esatte di questo studio stanno solo nelle figure, non nel testo, e qui si riporta il verso del risultato senza inventare cifre. Chi estrae il testo in fretta rischia di scambiare per una percentuale di ricordo un indice di ampiezza dell'effetto: nel testo compare un d di Cohen pari a 0,61, che non è una quota di risposte.
The Expertise Reversal Effect
È il contrappeso indispensabile a qualunque discorso sulla fatica che fa imparare. Gli autori raccolgono le prove che molti accorgimenti didattici efficaci «sono in realtà applicabili solo a chi ha esperienza molto limitata»: con l'esperienza «effetti sperimentali specifici possono prima sparire e poi invertirsi», al punto che «se il progetto A è superiore al progetto B con i principianti, con l'aumentare della competenza il progetto B può diventare superiore». L'esempio concreto è del 1998: apprendisti elettricisti inesperti capivano gli schemi solo con le spiegazioni scritte dentro il disegno, mentre i più esperti andavano significativamente meglio con il solo schema — e dichiaravano meno sforzo mentale. L'aiuto che serve al principiante è ingombro per chi è più avanti.
Dove: La fatica che serviva, per la ragione per cui «la fatica fa bene» non è una regola. Nota bibliografica: il deposito dell'università indica l'ordine Sweller, Ayres, Kalyuga, Chandler; l'articolo in prima pagina firma Kalyuga, Ayres, Chandler, Sweller, ed è l'ordine riportato qui.
The Curse of Knowledge in Economic Settings: An Experimental Analysis
Misura che chi sa una cosa non riesce a prevedere il giudizio di chi non la sa, nemmeno quando gli conviene. Cinquantuno studenti stimano gli utili di otto società a partire da una scheda finanziaria, pagati un dollaro per ogni stima azzeccata entro il dieci per cento. Due mesi dopo, a un secondo gruppo vengono detti gli utili veri e viene chiesto di scambiare titoli il cui rendimento dipende dalle previsioni del primo gruppo: per guadagnare devono dimenticare quello che sanno, e non ci riescono. Formalmente è una violazione della legge delle aspettative iterate. Gli autori scrivono che «il riscontro da solo ha poco effetto, mentre le forze di mercato riducono l’entità della maledizione di circa il 50 per cento» — la riducono, non la eliminano. Il nome del fenomeno è un suggerimento di Robin Hogarth.
Dove: Dagli il contesto che ti sembra ovvio. Scrivere una richiesta è esattamente prevedere il giudizio di chi sa meno di te, e chi scrive è la parte informata.
The rocky road from actions to intentions
È l’esperimento più citato sulla maledizione della conoscenza: una persona batte con le dita il ritmo di una canzone nota, un’altra prova a indovinarla, e chi batte sopravvaluta enormemente quanto sia riconoscibile. La direzione del risultato non è in discussione e lo scarto è grande in ogni versione. Il numero preciso però non regge, e a dirlo è la tesi stessa: nei risultati e nella tabella 1 si legge «3 hits in 120 tries», con quaranta battitori, quaranta ascoltatori e centoventi canzoni; nel sommario «two out of one hundred fifty»; nella discussione «3 out of 150». Tre versioni incompatibili nello stesso documento. La stima media di chi batteva era il 50 per cento, con un minimo del 10: la realtà stava fuori dall’intero intervallo delle previsioni.
Dove: Dagli il contesto che ti sembra ovvio, citata per dire che non la uso come misura. I due numeri diversi che circolano in rete vengono entrambi da qui: nessuno dei due è sbagliato nel riportare la fonte, è la fonte che non concorda con sé stessa. La sostanza la porta Camerer e altri, che è pubblicata e sottoposta a revisione.
Psychological Safety and Learning Behavior in Work Teams
Introduce il costrutto di sicurezza psicologica: la convinzione condivisa che il gruppo sia un posto sicuro in cui correre un rischio interpersonale — ammettere di non sapere, chiedere aiuto, sbagliare. Su 51 squadre di lavoro trova che la sicurezza psicologica produce comportamento di apprendimento, e che è l’apprendimento a portare alla prestazione, non la sicurezza da sola.
Dove: Quello che ho visto funzionare nei gruppi, la sola osservazione di quella pagina che qualcuno abbia misurato.
The “What” and “Why” of Goal Pursuits: Human Needs and the Self-Determination of Behavior
Il testo di riferimento della teoria dell’autodeterminazione. Distingue la motivazione autonoma da quella controllata, e lega il funzionamento efficace a tre bisogni: competenza, autonomia, relazione. Ne discende che un obiettivo imposto dall’esterno non produce cambiamento durevole.
Dove: Quello che ho visto funzionare nei gruppi, sul perché un percorso di miglioramento imposto non può funzionare.
To What Extent and Under Which Circumstances Are Growth Mind-Sets Important to Academic Achievement? Two Meta-Analyses
Quarantatré studi, oltre 57.000 partecipanti. L’effetto medio degli interventi sulla mentalità di crescita è d = .08, e la correlazione fra mentalità e rendimento r = .10. Non zero, ma molto lontano da come il concetto viene raccontato nella formazione aziendale.
Dove: Quello che ho visto funzionare nei gruppi — citata per spiegare una fonte che non uso. Un’osservazione mia appoggiata a un costrutto fragile sarebbe più debole della stessa osservazione dichiarata come mia.
Peak: Secrets from the New Science of Expertise
Ericsson corregge la «regola delle diecimila ore» nata dal suo studio del 1993 sui violinisti di Berlino (Ericsson, Krampe e Tesch-Römer, Psychological Review 100(3)). Diecimila era la media delle ore accumulate a vent'anni dai migliori, non una soglia; metà di quei dieci violinisti non ci era arrivata; e lo studio non mostrava che chiunque diventi esperto praticando, ma che fra gli ammessi a quell'accademia i migliori avevano praticato di più. Ericsson riconosce anche ciò che Gladwell ha azzeccato: diventare bravi richiede uno sforzo enorme e lungo.
Dove: Quello che ho visto funzionare nei gruppi — il primo dei tre casi.
The Overestimation of Emotional Intelligence
Goleman smentisce di persona la frase che gli viene attribuita da trent'anni: «come la persona che ha scritto Emotional Intelligence, il libro che ha messo il concetto sulla mappa, posso dirvi che si sbagliano di grosso». La sua affermazione era che il quoziente intellettivo spiega fra il dieci e il venti per cento del successo, e che l'ottanta per cento restante dipende da tutto il resto — non dalla sola intelligenza emotiva.
Dove: Quello che ho visto funzionare nei gruppi — il secondo dei tre casi.
La risposta di Daniel Kahneman sul capitolo dedicato al priming
«Ho riposto troppa fiducia in studi sottodimensionati». Kahneman accetta le conclusioni dell'analisi sul quarto capitolo di Pensieri lenti e veloci e nota da sé l'ironia: il primo articolo che aveva pubblicato con Amos Tversky, nel 1971, si intitolava Belief in the Law of Small Numbers ed era proprio su quell'errore. «Non ne ho interiorizzato il messaggio.»
Nota sulla fonte: l'analisi è pubblicata su un blog e non è passata da una rivista con revisione fra pari. Ciò che cito, però, non è l'analisi: è la risposta di Kahneman, che è una fonte primaria e sta a quell'indirizzo.
Dove: Quello che ho visto funzionare nei gruppi — il terzo dei tre casi.
E queste pagine? Anche il modo in cui sono scritte è dichiarato: Come sono scritte queste pagine.
Annunci e misure, letti un mese dopo
Le fonti di Un mese dopo, la pagina mensile che riguarda gli annunci dei laboratori a trenta giorni di distanza.
Can Agents Use a Computer Yet? We’ve Got the Data
Mette i costi accanto alle capacità: un agente che usa un computer costa fra 6 e 8 dollari per ora di lavoro svolto, contro i circa 10 di un fornitore esterno all’estero e i 30-45 di un ufficio amministrativo statunitense. L’osservazione che conta di più non è un costo: è che «il modello stesso è raramente il fattore decisivo», e che a decidere sono infrastruttura, orchestrazione e gestione dei fallimenti. Da qui vengono anche l’85% del miglior modello su OSWorld-Verified e la soglia umana del 72% sulla stessa prova.
Nota sulla fonte: a16z è un investitore del settore, quindi una parte interessata: i numeri sui costi vanno letti sapendo chi li diffonde.
Dove: Un mese dopo — giugno 2026, prima voce.
OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks
108 compiti reali e lunghi — in media 1,6 ore di lavoro umano ciascuno e circa 318 chiamate a strumenti. Il miglior modello provato, Claude Opus 4.8 con il ragionamento al massimo, completa il 20,6% dei compiti, e le prestazioni scendono verso lo zero sui più lunghi. Il lavoro elenca anche i quattro modi di fallire: perdere di vista i vincoli, non vedere l’informazione che arriva a metà, tirare a indovinare invece di chiedere, saltare la verifica. Distingue inoltre il completamento del compito (20,6%) dal punteggio parziale (54,8%).
Dove: Un mese dopo — giugno 2026 — il confronto con OSWorld-Verified, dove lo stesso nome di prova produce due letture opposte.
Pubblicazione, sospensione e ripristino di Claude Fable 5 e Mythos 5
Tre comunicati che vanno letti in sequenza. Il 9 giugno escono i due modelli; il 12 giugno, in applicazione di un provvedimento di controllo sulle esportazioni del governo statunitense e non potendo verificare in tempo reale la nazionalità di chi usa il servizio, l’accesso viene sospeso a tutti nel mondo; il 30 giugno i controlli vengono rimossi e il 1º luglio l’accesso è ripristinato. Nel verificare, Anthropic ha trovato che ogni modello provato produceva la stessa dimostrazione, compresi quelli dei concorrenti.
Dove: Un mese dopo — giugno 2026 — citato come fatto sulla dipendenza da un fornitore, non sulla capacità dei modelli.
GPT-6 Astra
Dichiara il 72,6% su OSWorld 2.0. È un numero del produttore e non è ancora stato replicato da altri: sulla classifica ufficiale, controllata il 6 e il 16 settembre 2026, GPT-6 Astra non compare. La metrica però è dichiarata, nell’intestazione della tabella: OSWorld 2.0 (v2026.08.08, offline set, partial score). Nella stessa riga Claude Opus 5 sta al 70,2%, con una nota che precisa che i risultati dei modelli Claude su quel sottoinsieme sono stati riprodotti dagli autori della classifica. Lo scarto è quindi di 2,4 punti, non dal 20,6% di giugno, che era un’altra colonna, un’altra versione dei dati e un altro modello. Questa scheda, fino al 16 settembre 2026, affermava il contrario.
Dove: Un mese dopo — agosto 2026, fra le cose che sembravano cambiare; e nel numero di giugno, dove la voce era stata aperta.
Listino delle API
Prezzi per milione di token, in ingresso e in uscita: GPT-6 Astra 10 e 50 dollari, GPT-5.6 Sol 4 e 20, Terra 2 e 12, Luna 0,20 e 1,20. Sotto la tabella una nota dichiara che il prezzo promozionale di Sol è disponibile «almeno fino al 21 novembre 2026». I riepiloghi di terze parti in circolazione danno per Sol numeri diversi (5,70 e 28): non coincidono con il listino del fornitore, e in questa pagina vale il listino.
Dove: Un mese dopo — agosto 2026, nella voce sui prezzi e in quella aperta sul 22 novembre.
Introducing Claude Sonnet 5
L’annuncio è di giugno; la notizia di agosto è la riga di modifica: «Edit August 10, 2026: Sonnet 5’s introductory pricing of $2 per million input tokens and $10 per million output tokens is now permanent». L’aumento previsto a 3 e 15 dollari è stato annullato. La pagina dichiara anche che le prestazioni si avvicinano a Opus 4.8 su BrowseComp e OSWorld-Verified.
Dove: Un mese dopo — agosto 2026, nella voce sui prezzi.
We Must Pace the Frontier
L’amministratore delegato di Anthropic chiede ai laboratori di rallentare: «dobbiamo rallentare il ritmo con cui miglioriamo le capacità dei modelli di AI». Dichiara due ragioni — l’accelerazione dovuta ai modelli che costruiscono i modelli successivi, e un incidente in cui uno sciame di agenti ha condotto attacchi informatici non richiesti e ha tentato di entrare nel valutatore che li giudicava. Propone tre passi: valutatori terzi incorporati in azienda (a cui Anthropic si impegna unilateralmente), coordinamento fra paesi democratici, coordinamento globale. Precisa che rallentare non significa fermare l’addestramento. Contiene anche l’ammissione usata nella pagina: gli incidenti segnalati sono stati causati in parte da «un filtraggio imperfetto di ambienti di addestramento difettosi», svolto «con ragionevole diligenza, ma non abbastanza bene». Letto per intero sul sito dell’autore il 16 settembre 2026. Chi scrive è parte in causa: è il capo di una delle aziende di cui parla.
Dove: Chi controlla chi costruisce.
Introducing Claude Opus 5
Uscita del modello che dall’8 agosto guida la classifica ufficiale di OSWorld 2.0. Prezzo dichiarato: 5 e 25 dollari per milione di token, gli stessi di Opus 4.8. Serve alla pagina di agosto per una data: il modello è di luglio, la misura indipendente è di agosto.
Dove: Un mese dopo — agosto 2026, fra le cose che sembravano cambiare.
Che cosa non è documentato
Questa è la parte che rende utile il resto. Le affermazioni seguenti sono ricorrenti nel sito, e non poggiano su ricerca pubblicata: sono ragionamento professionale, schemi di lavoro o ipotesi. Le tengo perché le ritengo utili, e le segnalo perché chi legge possa pesarle per quello che sono.
La curiosità che attecchisce nelle situazioni cristallizzate
Che in gruppi fermi da anni la curiosità possa riattivarsi, e che il dubbio arrivi utile anche tardi.
Dove: Quello che ho visto funzionare nei gruppi. È quello che ho osservato in vent’anni di lavoro con dei team, e non ho una misura da offrirti. Non l’ho appoggiata alla mentalità di crescita, che pure sembrerebbe fatta apposta: le prove per quel costrutto sono deboli, e le trovi qui sopra.
Il limite accettato per convenzione
Che una parte dei limiti su cui le persone si sono arrese sia migliorabile, e che ad arrestare il tentativo sia l’abitudine e non la capacità.
Dove: Quello che ho visto funzionare nei gruppi. Osservazione mia, non misurata.
Il coaching venduto a pacchetto
Che i percorsi di miglioramento proposti dall’alto e non voluti dalla persona non producano risultato, e che il coach che li accetta sappia già che non ne produrranno.
Dove: Quello che ho visto funzionare nei gruppi. Il meccanismo — la motivazione imposta non tiene — è documentato. Che accada così anche quando chi vende lo sa, è mia testimonianza.
Il paradigma azienda-famiglia
Che l’idea di un’azienda in cui tutti condividono un unico obiettivo e ricevono un ritorno proporzionale non funzioni, e che nessuno possa dirlo in una riunione di direzione.
Dove: Quello che ho visto funzionare nei gruppi. Giudizio mio, e il più scomodo di questa pagina.
Il tempo risparmiato al netto del tempo di verifica
La tesi che per gli atti con conseguenze il guadagno possa essere negativo è un ragionamento, non una misura. È verificabile — basta cronometrare — e non l'ho misurato.
Dove: Studi professionali.
Perché trenta giorni, e non sessanta
Che trenta giorni siano l’attesa giusta per rileggere un annuncio: abbastanza perché qualcuno lo abbia provato e misurato, non tanti da accorgersi in ritardo di ciò che conta.
Dove: Un mese dopo. È una scelta mia e non poggia su niente: a sessanta giorni si vedrebbe di più, e si arriverebbe più tardi sulle poche cose che vale la pena non perdere. Non ho confrontato i due intervalli in alcun modo.
Che gli annunci che cambiano qualcosa siano pochi
Che, fra gli annunci dei laboratori, quelli che comportano davvero un cambiamento nel lavoro di chi usa questi strumenti siano una piccola minoranza.
Dove: Un mese dopo. È quello che ho visto in vent’anni di lavoro, non una misura: non ho contato niente e non ho una percentuale da dare. Chi la desse, del resto, dovrebbe prima dire che cosa conta come cambiamento.
Due esempi diversi valgono più di due simili
Che due esempi lontani fra loro mostrino alla macchina lo spazio delle variazioni ammesse, mentre due esempi simili mostrino due volte lo stesso punto.
Dove: Dagli un esempio, non tre aggettivi. È un criterio mio, dedotto da ciò che Min e altri mostrano sul ruolo della forma, ma non misurato: non conosco ricerca che confronti esempi vicini ed esempi lontani a parità di numero.
Far elencare prima ciò che manca
Che chiedere al modello di elencare, prima di rispondere, le informazioni che gli servirebbero e non ha, faccia emergere i vuoti dove si vedono invece che dentro la risposta.
Dove: Fagli scrivere i passaggi. È una pratica mia, che uso da quando lavoro con questi strumenti. Non conosco ricerca che la misuri, e non l'ho confrontata con alternative in modo controllato.
La domanda giusta non è «mi sostituirà», è «che cosa smette di essere raro»
Che dagli studi disponibili non si possa ricavare una risposta sull'occupazione, e che la domanda a cui invece rispondono — quale parte della bravura diventa comune — sia più utile a chi deve decidere che cosa imparare.
Dove: Quello che smette di essere raro. I due risultati misurati sono di Brynjolfsson e altri e di Kalyuga e altri. Sono mie tre cose: il fatto di leggerli insieme, dato che parlano di campi diversi e nessuno dei due cita l'altro; la conclusione su che cosa resti raro; e la domanda finale sulla fatica, che nessuno ha misurato — se chi guadagna oggi il 34% diventerà poi il professionista esperto di domani, o se avrà saltato il tratto di strada che lo rendeva tale.
NON DOCUMENTATO — Il percorso dalla spiegazione all’applicazione
La scelta di partire da criticità del gruppo, applicare insieme i concetti e includere il coinvolgimento emotivo nel percorso è un criterio professionale dell’autore, non un metodo di cui sia stata misurata separatamente l’efficacia.
Dove: Informare non basta per rendere capaci. Il caso di confronto, ricostruzione e verifica dei workflow automatizzati dopo la formazione è una testimonianza dell’autore: non sono disponibili misure del tempo risparmiato o prove che isolino il contributo delle singole componenti del percorso.
NON DOCUMENTATO — La lettura fra il fatto e l’emozione, e il suo allenamento
La posizione secondo cui fra un fatto esterno e l’emozione che ne segue c’è sempre una lettura, e che quella lettura si allena fino a diventare più rapida, è un criterio professionale dell’autore, formato nel lavoro di coaching e di formazione. La ricerca citata nella pagina sostiene che cambiare la lettura è la strategia di regolazione più efficace fra quelle misurate, e ne dichiara l’efficacia «da piccola a media». Non dimostra che quella lettura sia sempre presente, né che l’allenamento la renda più rapida: quella parte è esperienza dell’autore.
NON DOCUMENTATO — La competenza tenuta in casa da chi commissiona
Che un progetto affidato all’esterno riesca meglio quando chi lo ha commissionato mantiene al proprio interno una competenza capace di seguire il lavoro mentre viene fatto, e non soltanto di collaudarlo alla fine, è un criterio professionale dell’autore, formato in oltre vent’anni di organizzazione e gestione di progetti informatici. Non è una misura: non esistono qui numeri sul tasso di riuscita dei progetti con e senza quella competenza, e l’autore non ne ha raccolti.
Va dichiarato anche il trasporto. La proposta dei valutatori incorporati citata nella pagina riguarda le aziende che costruiscono modelli di AI e la verifica dei loro impegni di sicurezza. Applicarla alla gestione di un progetto qualunque è un’analogia dell’autore, non una cosa affermata dalla fonte.
Dove: Chi controlla chi costruisce, nelle due sezioni finali.
RIPORTATO DA TERZI — Le adesioni di Altman, Musk e Hassabis
Che Sam Altman, Elon Musk e Demis Hassabis abbiano dichiarato di essere d’accordo con la proposta di rallentare è riportato dalle agenzie di stampa, fra cui ANSA, il 12 settembre 2026. Le loro dichiarazioni non sono state verificate alla fonte: sono state pubblicate su X e io ho letto solo chi le riporta. Non è una fonte primaria e non è un giudizio dell’autore: è una terza cosa, e questa riga esiste per non farla passare per una delle altre due.
Dove: Chi controlla chi costruisce, nel primo paragrafo.
Quale fatica stai togliendo
Che davanti a uno strumento che fa una cosa al posto tuo la domanda utile non sia se usarlo, ma se la fatica che ti toglie fosse quella che ti stava insegnando — e che la sensazione di aver capito non serva a distinguere i due casi.
Dove: La fatica che serviva. Che provare a ricordare insegni più che rileggere lo misura Roediger e Karpicke; che l'aiuto giusto dipenda da quanto sai già lo misura Kalyuga e altri. Il trasporto all'intelligenza artificiale è mio: nessuno dei due studi riguarda questi strumenti, che nel 2006 e nel 2003 non esistevano nella forma attuale, e non conosco ricerca che abbia misurato la stessa cosa su di essi.
Ricominciare invece di correggere
Che riscrivere la richiesta in una conversazione nuova dia risultati migliori, e più in fretta, che correggere in coda a una conversazione che contiene già il tentativo sbagliato.
Dove: Uso consapevole 02 e Non chiedergli «sei sicuro?». Che chiedere una revisione senza riscontro esterno peggiori le cose è misurato da Huang e altri; che riaprire sia il rimedio è una conseguenza pratica che ho tratto io, e nessuno dei due studi la mette a confronto con il correggere in coda.
Cercare una cosa non è ragionare su quello che si trova
Che ripetere la domanda dopo il materiale aiuti quando il compito è trovare un dato preciso in mezzo a tanti, e non quando il compito è ragionare su quello che si è trovato.
Dove: Metti la cosa importante in cima. Lo studio di Liu e altri misura i due casi separatamente e trova esiti molto diversi; la spiegazione che ne do è mia, non è nello studio, e non conosco ricerca che metta alla prova questa distinzione.
Il test dello specchio
Porre due volte la stessa domanda con segno opposto, e considerare inattendibili entrambe le risposte se convincono entrambe.
Dove: Come le chiedo · Chiedi il contrario di quello che speri. La compiacenza che il test sfrutta è documentata; il test come procedura è mio. Non l’ho trovato descritto in letteratura e non è stato validato: è una conseguenza pratica che ho tratto io da un risultato altrui.
Le proporzioni del collaudo, e i novanta giorni
Il 60–25–15 fra domande frequenti, casi rari e domande senza risposta, e le tre fasi da trenta giorni per una PMI, sono proposte operative costruite per essere ragionevoli e verificabili. Non sono risultati sperimentali e non vanno citate come tali.
Dove: Documenti e conoscenza, PMI e team.
I due minuti di rilettura a fine riunione
Che sia il presidio più efficace contro le decisioni inventate è una convinzione basata sulla pratica, non su uno studio comparativo.
Dove: Riunioni e decisioni.
I tre punti d'innesto e le fasce di autonomia
Rilevare, preparare, eseguire; e le tre fasce per reversibilità. Sono griglie di lettura che trovo utili per decidere, non tassonomie riconosciute.
Gli effetti della trascrizione sul comportamento in riunione
Che sapersi registrati riduca la libertà di esprimere dubbi è un'ipotesi, ed è dichiarata come domanda aperta nella pagina stessa. Sarebbe misurabile chiedendo alle persone prima e dopo alcuni mesi.
Dove: Riunioni e decisioni.
Lo schema per le letture commentate
Le voci future di questa pagina, quando commentano una lettura invece di limitarsi a citarla, seguono cinque passaggi fissi.
1. Fonte
Autore, organizzazione, data, collegamento e ragione della scelta.
2. Che cosa afferma
Sintesi accurata e verificabile della tesi, dei dati o delle indicazioni principali.
3. Come la interpreto
Collegamento ragionato con processi, persone, formazione o lavoro professionale — dichiarato come interpretazione.
4. Applicazione possibile
Un esempio concreto, limitato e contestualizzato; non una promessa universale.
5. Domanda aperta
Ciò che resta da verificare, sperimentare o discutere.