sembrava cambiare, non è cambiato

Avevo scritto che OpenAI non dichiara la metrica. La dichiara, ed è nell’intestazione della tabella

Dice — l’intestazione della tabella «Uso del computer» riporta per esteso: OSWorld 2.0 (v2026.08.08, offline set, partial score). È la metrica, la versione dei dati e il sottoinsieme, scritti nella tabella e non nella prosa. Nella stessa riga ci sono tre numeri, non due: GPT-6 Astra 72,6%, GPT-5.6 Sol 65,7% e Claude Opus 5 al 70,2%, con una nota che precisa che i risultati dei modelli Claude su quel sottoinsieme «was reproduced by the authors on the official leaderboard». La nota 3 spiega anche che cos’è il sottoinsieme: la parte di OSWorld V2 che funziona senza accesso a internet.

Penso — l’appunto del 6 settembre diceva due cose che adesso vanno corrette, e la prima è un errore mio: avevo scritto che OpenAI non specifica quale metrica usi. La specifica. Non l’avevo vista perché stava nell’intestazione della tabella e io avevo letto il testo intorno. La seconda correzione è più utile della prima: avendo la metrica dichiarata, il confronto giusto non è né con il 20,6% di giugno né con il 68,3% del full set, ma con il 70,2% che Claude Opus 5 ottiene sulla stessa riga della stessa tabella. Da 52 punti di distacco apparente a 2,4 punti reali. La deduzione di dieci giorni fa era corretta nella direzione e inutilmente prudente: quello che mancava non era una prova, era aprire la tabella. È la stessa cosa che mi era successa con la tesi di Newton del 1990 — la fonte la citano tutti e non la apre nessuno — con la differenza che stavolta quello che non l’aveva aperta ero io.

---

non si è ancora capito

Il 72,6% di OpenAI sta quasi certamente su un’altra scala

Dice — la classifica ufficiale ha due colonne, binary reward e partial reward, e gli autori del test scrivono che la prima è quella principale. GPT-5.6 Sol compare su entrambe le fonti: OpenAI lo dichiara al 65,7%, la classifica lo dà al 27,3% binary e al 62,7% partial. GPT-6 Astra sulla classifica non compare affatto. La pagina di OpenAI aggiunge due condizioni: il numero viene da «latency simulations», circa 40 minuti per compito, e in fondo alla tabella c’è scritto che i punteggi sono il massimo a qualunque livello di sforzo.

Penso — 65,7 è vicino a 62,7 ed è lontanissimo da 27,3, quindi i numeri di OpenAI stanno quasi certamente sulla scala del punteggio parziale e non su quella principale. Se è così, il 72,6% va confrontato con il 68,3% parziale che Claude Opus 5 ha sulla classifica da agosto, e non con il 20,6% di giugno, che era l'altra colonna. È una deduzione mia, non una dichiarazione di OpenAI. Una cosa non sono riuscito a escluderla: la nota 3 di OpenAI nomina un sottoinsieme «Offline» di 82 compiti su 108, e sulla classifica quell'interruttore non produce numeri diversi, quindi resta una spiegazione alternativa che non ho potuto provare né smentire.