Slean.
Des mondes exacts, des affirmations vérifiées exactement et des laboratoires aux réponses cachées.
Slean (Science + Lean) est la base de vérification et de mesure de Mutome. Ses mondes sont définis en Lean. Une affirmation sur ces mondes ne compte que si elle est vérifiée exactement : les lois et les structures par le noyau de Lean, les mécanismes par comparaison exacte. Ses laboratoires évaluent un agent face à des réponses qu’il ne voit pas.
Fonctionne aujourd’hui sur des automates cellulaires.
Voir un exemple
Une affirmation ne compte que si elle est vérifiée exactement.
Slean définit ses mondes en Lean, n’accepte une affirmation que si elle est vérifiée exactement, et mesure les explorateurs face à des réponses qu’ils ne voient pas.
Des mondes que l’on peut énoncer exactement.
Slean, c’est Science + Lean. Lean est un langage où une définition est exacte et où une preuve est vérifiée par un petit programme de confiance, le noyau. Slean y définit des mondes complets : aujourd’hui des automates cellulaires, des grilles de cellules qui évoluent selon une règle locale fixe.
Comme la règle est exacte, une affirmation du type « cette quantité se conserve » est soit démontrable, soit fausse. Il n’y a pas d’entre-deux à interpréter.
Une preuve ou un contre-exemple, vérifiés exactement.
Slean n’accepte une affirmation que si elle est vérifiée exactement : une loi ou une structure demande une preuve vérifiée par le noyau de Lean, et un mécanisme proposé doit coïncider avec la règle du monde par comparaison exacte. Une réfutation s’accompagne d’un contre-exemple, lui aussi vérifié.
Chaque résultat accepté rejoint une bibliothèque de résultats vérifiés. Le travail suivant peut s’appuyer dessus sans le refaire ni le croire sur parole.
Des laboratoires aux réponses cachées.
Dans un laboratoire Slean, un agent étudie un monde dont il ne connaît pas les lois. Il ne peut agir qu’au moyen d’une commande ./lab, qui compte chaque expérience. Les réponses restent cachées jusqu’à l’évaluation.
Son score est comparé à celui d’une référence scriptée qui dispose exactement du même budget. C’est ainsi que Mutome mesure ses propres progrès.
Ce que nous avons mesuré.
Six mesures, y compris celles qui ne nous flattent pas. Les détails et les données sont publiés sur slean.org.
Lire les mesuresDes mondes à règles cachées : l’agent fait un peu mieux que la référence.
Sur des mondes générés dont les règles étaient cachées (200 propositions, 200 000 mises à jour de cellules), un agent Claude Sonnet a trouvé toutes les lois de conservation et un peu plus de structures qu’une référence scriptée : 70 sur 70 contre 68 pour une graine, 78 sur 87 contre 75 pour une autre, plus 2 au-delà des limites de la référence. Avec 150 à 225 fois moins d’expériences, et aucune fausse affirmation. Mais chacun de ces mondes s’identifie en une seule expérience : ce n’est pas de la découverte ouverte.
Des leçons qui ne changent presque rien.
Mesuré par le moteur de Mutome sur des laboratoires réservés, l’ajout de leçons tirées de laboratoires précédents a changé les résultats de 0 et de +1 découverte. Cette batterie était saturée : elle ne pouvait plus montrer de progrès.
Des mondes plus durs : l’agent seul décroche.
Sur des mondes « compressibles », où une règle de 1 024 entrées cache une loi courte et où le budget d’expériences est serré, un premier essai a montré l’agent seul loin derrière une référence scriptée : 3 découvertes sur 48 contre 12. Il n’a jamais essayé d’inférer la loi courte.
Avec des leçons, l’agent progresse sur des mondes jamais vus.
Sur trois graines réservées, l’agent seul a fait 4, 6 et 5 découvertes vérifiées ; le même agent, avec des leçons gardées de laboratoires précédents, en a fait 13, 13 et 17. Nous avons répété toute la comparaison trois fois : les leçons l’emportent dans 8 paires sur 9, avec 6 découvertes de plus par laboratoire en moyenne, et perdent une paire de 6. C’est la première modification du harnais de Mutome qui améliore les résultats sur des mondes jamais vus. Une consigne générale de « méthode » s’est montrée erratique (10, 4 et 36).
Des lois compactes : les leçons aident l’induction.
L’agent peut désormais soumettre une formule courte qui calcule toute la règle d’un monde ; le noyau de Lean la vérifie sur les 1 024 voisinages. Avec des leçons, l’agent a trouvé 8, 12 et 8 des 12 lois cachées par laboratoire ; sans elles, 2, 6 et 5. Une seule exécution par variante et par graine.
Un script plus malin fait jeu égal.
Une référence scriptée qui essaie les familles de règles classiques (linéaires, totalistiques) a trouvé 9 lois et de 47 à 54 découvertes par laboratoire. Avec des leçons, l’agent fait jeu égal (50, 59 et 46) ; sans elles, il fait moins bien sur deux graines sur trois. Les prochains mondes devront utiliser des familles hors de cette liste.
Une preuve vérifiée garde une portée.
Une vérification par le noyau prouve un énoncé sur un monde défini. Elle ne montre pas qu’une loi semblable vaut dans la nature, et les mondes mesurés jusqu’ici restent trop simples pour parler de découverte ouverte.
Comprendre en jouant
slean.org explique ces idées simplement, avec quatre mini-jeux où l’on cherche soi-même les lois d’un monde.
Essayer les mini-jeux