Benchmark.
Comparer une piste à une référence selon des règles fixées à l’avance.
L’évaluateur, la référence, le budget et les données réservées sont figés avant de juger une piste. La réponse est l’une des trois : meilleure, pas meilleure, ou non concluant.
Fonctionne aujourd’hui sur des protocoles d’oscillateurs synthétiques et les laboratoires Slean.
Voir un exemple
Fixer la comparaison avant de voir le résultat.
Une piste, une référence, un évaluateur et des données réservées suivent un même protocole et un même budget. Progrès, échecs et incertitude restent distincts.
La nouvelle idée a-t-elle vraiment battu l’ancienne ?
Le problème
Il est facile de flatter une piste : l’ajuster sur le test, lui donner plus de budget, ou oublier les essais ratés.
Pourquoi c’est difficile
Les petits écarts se perdent souvent dans le bruit, et un essai qui dépasse son délai ne dit rien. Une comparaison équitable doit être conçue avant que quiconque voie le résultat.
L’approche de Mutome
Benchmark fige d’abord l’évaluateur, la référence, le budget et les données réservées, donne le même budget aux deux côtés, et garde les cas non concluants au lieu de les arrondir.
Une piste contre une référence, un test figé
Un protocole d’oscillateur synthétique, étape par étape. Les barres illustrent la procédure ; ce ne sont pas des mesures.
Deux batteries aujourd’hui
Des protocoles d’oscillateurs synthétiques (retrouver un modèle, départager deux modèles), et les laboratoires Slean : la batterie réservée avec laquelle Mutome se mesure lui-même, où un agent est évalué face à des réponses cachées et comparé à une référence scriptée à budget égal.
Portée des preuves
Les deux batteries sont synthétiques. Elles mesurent un comportement sur des tâches définies ; elles ne constituent ni un score général du laboratoire, ni une preuve sur la science du monde réel.