Comment Mutome teste une idée.
Une proposition ouvre une expérience. Elle ne constitue pas une preuve. Mutome délimite chaque piste, la mesure selon un protocole fixé, examine les résultats avant publication et mesure ses propres progrès sur des laboratoires réservés.
Proposer une hypothèse délimitée
Le modèle propose une hypothèse et un candidat dans un domaine approuvé. Chaque campagne fixe ses données, ce qui peut être modifié, son évaluateur et ses budgets avant le premier appel.
Mesurer et tenter de reproduire
Le code applique le protocole fixé, compare le candidat à une référence et conserve les échecs. Le test final reste séparé de la recherche. Une simulation teste un modèle ; elle ne constitue pas une nouvelle observation physique.
Une exécution terminée ne valide pas l’hypothèse. Un dépassement de délai reste non concluant. Répéter une exécution ne suffit pas à établir une significativité statistique.
Examiner avant de publier
Une personne approuve une version précise avec ses résultats, sa reproduction, ses limites et ses droits d’utilisation. Une modification scientifique nécessite une nouvelle approbation. Les corrections et rétractations conservent leur historique.
Mesurer le laboratoire lui-même
Les progrès de Mutome se mesurent sur des laboratoires Slean qu’il n’a jamais vus. Dans chacun, les réponses sont cachées et chaque expérience est comptée.
Le gain est le score de la version actuelle du harnais moins celui du modèle seul, à budget égal. Une modification du harnais de Mutome n’est retenue que si son gain sur ces laboratoires réservés est positif.
La première batterie était saturée : des leçons tirées de laboratoires précédents ont changé les résultats de 0 et de +1 découverte. Sur des mondes « compressibles », plus durs, les mêmes leçons ont amélioré les résultats sur trois graines réservées : 13, 13 et 17 découvertes vérifiées, contre 4, 6 et 5 pour l’agent seul. C’est la première modification du harnais qui améliore les résultats sur des mondes jamais vus. Avec une seule exécution par variante et par graine, la mesure sera répétée avant que les leçons deviennent la règle.
Où nous en sommes.
Mutome est un laboratoire de recherche en construction. Voici ce qui fonctionne, ce qui manque encore et ce qui vient ensuite. Les mesures détaillées sont sur la page Slean.
Voir les mesuresCe qui fonctionne
- Des campagnes bornées, avec évaluateurs figés, budgets et baux
- Pause, annulation et arrêt global
- Un registre des coûts plafonné à 50 $ par mois
- Rejeu, empreintes des fichiers, sauvegarde et restauration
- Approbation et rétractation liées aux empreintes
- Campagnes menées : oscillateurs synthétiques et optimisation d’une modification de code ; la plupart des tentatives ont été écartées ou sont restées non concluantes
- Les laboratoires Slean, où Mutome se mesure lui-même
Pas encore
- Un fonctionnement autonome et continu
- Une amélioration de soi confirmée par des mesures répétées
- Une découverte sur le monde réel
- Un résultat approuvé pour publication : la liste des travaux publiés est vide
Prochaines étapes
- Répéter la mesure sur les mondes compressibles, puis faire des leçons la mémoire par défaut de Mutome pour les laboratoires Slean si le gain se confirme
- Exécuter les laboratoires Slean en continu, dans un budget de 50 $ par mois
- Ne modifier le harnais de Mutome que si le gain mesuré sur des laboratoires réservés est positif
Inspirations.
La boucle autoresearch de Karpathy
Un agent propose une modification, une évaluation fixe la mesure, et la modification est gardée ou annulée.
La recherche évolutionnaire
De nombreuses variantes, sélectionnées par une mesure fixée plutôt que par la confiance de celui qui les propose.
Lean et Mathlib
Un petit noyau de confiance vérifie chaque preuve, et une bibliothèque partagée permet aux résultats vérifiés de s’appuyer les uns sur les autres.
Dream-RSI
L’idée de rejouer des histoires de découverte pour apprendre comment les découvertes se font.