Un aggettivo è un voto, non una descrizione
«Professionale.» «Sintetico.» «Incisivo.» «Non troppo formale.» Sono le parole con cui quasi tutti chiudono una richiesta, e hanno una cosa in comune: non dicono com'è fatto il risultato, dicono come lo giudicheresti se lo vedessi.
La differenza sembra sottile e non lo è. Se dico «una mail di tre righe, senza formule di apertura, che comincia dalla decisione», ho descritto un oggetto. Se dico «una mail professionale», ho espresso un'opinione su un oggetto che non esiste ancora, e ho lasciato a qualcun altro il compito di costruirlo in modo che quell'opinione risulti vera.
Fra colleghi funziona lo stesso, perché avete visto le stesse mail. Con una macchina no, e vale la pena guardare perché.
Che cosa fa la macchina con un aggettivo
«Professionale» non è, per lei, un'istruzione: è una parola come le altre, che sposta la probabilità delle parole successive verso ciò che nei testi letti compariva vicino a quella parola. E cosa compariva vicino a «professionale» in miliardi di pagine? Un po' di tutto. Lettere formali, curricula, comunicati, manuali aziendali, corsi di scrittura.
Il risultato è quello che il meccanismo produce sempre quando non ha appigli: la media. Ti arriva la mail professionale media, che è precisamente il testo che riconosci come «scritto da un'AI» — non perché contenga un errore, ma perché è il centro esatto di una nuvola invece che un punto.
È lo stesso fenomeno spiegato nella quarta pagina di Uso consapevole: dove non gli dai niente, non lascia un buco. Riempie con il più probabile.
Che cosa fa con un esempio
Un esempio non è una descrizione del risultato: è il risultato. Non c'è niente da indovinare, e soprattutto c'è qualcosa da fare che la macchina sa fare meglio di qualunque altra cosa — continuare uno schema.
Questa capacità ha un nome e una data. Nel 2020 il gruppo che ha costruito GPT-3 ha mostrato che un modello abbastanza grande impara a svolgere un compito dagli esempi messi dentro la richiesta, senza che nessuno lo riaddestri e senza che un solo numero dentro la rete venga modificato. Gli esempi non insegnano al modello: gli dicono, per il tempo di una risposta, che cosa sta facendo.
Il ribaltamento: che cosa impara davvero dall'esempio
Qui arriva il risultato che ha sorpreso anche chi lavora in questo campo, e che cambia il modo di scegliere un esempio.
Nel 2022 un gruppo di ricerca ha fatto una cosa apparentemente assurda: ha preso richieste con esempi corretti e ha sostituito le risposte degli esempi con risposte a caso. Non sbagliate per finta: proprio prese a sorte. Se gli esempi servissero a mostrare la risposta giusta, le prestazioni sarebbero crollate.
Sono calate pochissimo. Su una serie di compiti, e con dodici modelli diversi.
Quello che gli esempi trasferiscono, hanno concluso, è soprattutto altro: quali risposte sono ammesse, che aspetto ha una domanda, e che forma deve avere l'uscita. Non tanto l'abbinamento fra domanda e risposta giusta — che è esattamente la cosa che tutti credono di star insegnando.
Non è un invito a mettere esempi sbagliati: un esempio giusto costa uguale e non ha controindicazioni. È un'indicazione su che cosa guardare quando lo scegli. L'esempio è un modello di forma, non una lezione di merito.
Le tre leve, in ordine di efficacia
Uno. Sostituisci ogni aggettivo con una cosa che si può misurare. «Sintetico» diventa «tre righe». «Professionale» diventa «senza formule di apertura, prima la decisione». «Incisivo» diventa «una frase per punto, niente subordinate». Se non riesci a tradurre un aggettivo in qualcosa di verificabile, molto probabilmente non sai ancora che cosa vuoi — e non è colpa della macchina.
Due. Scegli l'esempio per la sua forma, non per la sua bellezza. Dopo il risultato di prima, il criterio cambia: non serve l'esempio più riuscito che hai, serve quello fatto come vuoi che siano fatti tutti gli altri. Un testo bellissimo ma strutturato in modo irripetibile insegna una struttura irripetibile.
Tre. Due esempi diversi fra loro valgono più di due simili. Un esempio solo mostra un punto; due esempi lontani mostrano lo spazio fra loro, e quindi che cosa può variare e che cosa no. Se te ne servono tre uguali, probabilmente stai descrivendo un formato, e allora conviene scriverlo come regola invece che come esempio.
Il limite serio, che rende instabile tutto il resto
Gli stessi esempi, messi in un ordine diverso, danno risultati diversi. Non di poco.
Nel 2021 un gruppo di ricerca ha misurato che la scelta del formato, degli esempi e perfino del loro ordine può far oscillare l'esattezza di un modello «dal caso quasi puro al livello dei migliori sistemi». La causa è una preferenza sistematica per certe risposte: quelle che compaiono verso la fine della richiesta, e quelle più frequenti nei testi di addestramento. Correggendo questa distorsione a monte, gli autori hanno recuperato fino a 30 punti percentuali di esattezza media.
Che cosa te ne fai, in pratica. Due cose, e sono scomode entrambe.
La prima: l'ultimo esempio pesa più degli altri. Se ne metti tre, quello che conta di più è quello in fondo — mettici il caso che assomiglia di più al tuo.
La seconda, più importante: se cambiando l'ordine degli esempi il risultato cambia, quel risultato non era solido nemmeno prima. È un modo economico di verificare quanto ti puoi fidare: rifai la stessa richiesta con gli esempi invertiti. Se ottieni due risposte che non si somigliano, la stabilità che credevi di avere non c'era.
Quello che un esempio non può fare
Non può insegnare qualcosa che il modello non sa. Un esempio ben scelto ti dà la forma giusta anche su un contenuto sbagliato, e anzi rende il contenuto sbagliato più convincente, perché adesso ha anche l'aspetto giusto. È il tema della terza pagina di Uso consapevole, e qui torna aggravato.
E non può sostituire il pensiero che non hai fatto. La prima leva — traduci ogni aggettivo in qualcosa di misurabile — funziona anche perché costringe te a decidere che cosa vuoi, prima di chiederlo. Buona parte delle risposte deludenti sono richieste in cui la decisione non era ancora stata presa da nessuno.