Un esperimento che si può raccontare in tre righe
Nel 2023 un gruppo di ricercatori ha preparato una domanda e venti documenti. Uno solo dei venti conteneva la risposta. Poi hanno fatto la stessa cosa venti volte, cambiando una cosa sola: la posizione di quel documento nella pila.
Stessa domanda, stessi venti testi, stesse parole. Se un documento contasse per quello che dice, il risultato non dovrebbe muoversi di un punto.
Si muove di ventidue.
Il numero da cui non si torna indietro
Guarda la riga tratteggiata. È quanto ha risposto giusto lo stesso modello senza ricevere nessun documento, andando a memoria: 56,1%.
Con il documento giusto in mezzo alla pila, ha fatto 53,8%.
Vale la pena leggerla due volte. Dargli il testo che contiene la risposta, sepolto in mezzo ad altri, è andato peggio che non darglielo affatto.
Serve a riconoscere di che errore si tratta, e questa è la parte che cambia il modo di lavorare. Quando la risposta ignora una cosa che gli avevi dato, l’istinto dice che non l’ha trovata, e la reazione è dargli più materiale perché stavolta ci arrivi. È la reazione sbagliata: il materiale c’era già, e non ha pesato. Aggiungerne altro non fa che spostare più al centro quello che serviva.
Le tre cose che ne discendono
Uno. L’istruzione va in cima. Il primo posto è il migliore di tutti, e con distacco: 75,8% contro il 63,2% dell’ultimo. Se scrivi prima venti pagine di contesto e chiudi con «riassumimi questo», hai messo la richiesta nel secondo posto migliore invece che nel primo. Metti prima che cosa vuoi, poi il materiale.
Due. Se qualcosa deve contare, non lasciarlo a metà. L’ultimo posto vale quasi dieci punti più del centro. Fra un materiale che finisce in mezzo e uno che finisce in coda, la coda è il posto meno peggio — e il vincolo è tuo, non della macchina: sei tu che decidi l’ordine in cui incolli.
Tre. Meno materiale, non di più. Nello stesso lavoro, passare da venti documenti a molti di più ha aggiunto circa un punto e mezzo. Un contesto lungo non è un contenitore gratuito: è la stessa torta di attenzione divisa fra più commensali, il meccanismo della tappa 08 e la ragione per cui le conversazioni lunghe peggiorano. Selezionare tre pagine buone batte incollarne trenta.
E allora ripetere la domanda anche in fondo?
È il consiglio che gira, discende bene da tutto quello che hai appena letto, ed è per proporlo che sono andato a leggere questa ricerca. Il guaio è che la ricerca lo ha misurato — la chiamano query-aware contextualization, mettere la domanda sia prima sia dopo il materiale — e il risultato è doppio.
Su un compito di ricerca secca, trovare fra centinaia di coppie il valore che corrisponde a una chiave, ripetere la domanda in fondo ha portato tutti i modelli a sbagliare quasi mai. Il salto è enorme: uno di loro è arrivato a non sbagliare niente su trecento coppie.
Sul rispondere a una domanda leggendo dei documenti, cioè il lavoro che facciamo tutti, l’effetto è quasi scomparso: un po’ meglio quando la cosa rilevante stava già proprio all’inizio, un po’ peggio in tutti gli altri casi.
La mia lettura è che il gesto aiuti quando il compito è trovare una cosa precisa in mezzo a tante, e non quando il compito è ragionare su quello che si trova. Distinguere i due casi tocca a te, e nessuno dei due somiglia molto all’altro: cercare il numero di contratto dentro un archivio non è la stessa attività che decidere se quel contratto conviene. Questa distinzione è mia e non conosco ricerca che la misuri: sta fra le affermazioni non documentate.
Questa pagina doveva intitolarsi «metti la domanda in cima e ripetila in fondo». La ricerca che avrebbe dovuto sostenerla dice che la seconda metà del consiglio, sul lavoro più comune, non conta quasi niente — mentre la prima metà, e il posto in cui metti il materiale, contano moltissimo. Il titolo è cambiato per quello.
Quanto vale oggi, questa misura
I modelli misurati sono del 2023 e oggi non li usa più nessuno. Le finestre di contesto da allora sono cresciute di parecchie volte. Non sto dicendo che ritroverai questi numeri, e non ho verificato se l’effetto sia ancora della stessa taglia.
Quello che porto via non sono i numeri: è la domanda da farsi prima di premere invio, che prima di leggere questa ricerca non mi facevo. Dove ho messo la cosa che deve contare? Costa due secondi, non richiede di sapere se la misura del 2023 tenga ancora, e nel caso peggiore non ti toglie niente.
Questa è la sezione della pagina che invecchierà per prima. Porta la data apposta.