Ingénierie et R&D.
Améliorer une mesure figée en changeant une chose à la fois, et ne garder que ce qui tient.
L’ingénierie suit une autre logique que la recherche fondamentale : il n’y a pas de loi à prouver, mais une mesure à améliorer. Mutome modifie un seul objet (du code, des paramètres ou une configuration de simulation), lance une évaluation figée, puis garde ou annule la modification selon une règle fixée à l’avance.
Fonctionne aujourd’hui : la boucle « garder ou annuler », sur une campagne bornée de modification de code.
Voir un exemple
Un changement. Un test fixé. Une décision consignée.
Changer une seule chose, lancer le même test figé face à une référence au même budget, et ne garder la modification que si elle gagne selon la règle fixée à l’avance.
Cette modification aide-t-elle vraiment, ou avons-nous eu de la chance ?
Le problème
Une modification qui semble meilleure sur un essai peut n’être que du bruit, casser autre chose, ou simplement être ajustée au test.
Pourquoi c’est difficile
Si le test peut être modifié, ou si plusieurs choses changent à la fois, un meilleur chiffre n’explique rien. Et un gain obtenu avec plus de budget que la référence n’en est pas un.
L’approche de Mutome
Un seul objet modifiable, une commande d’évaluation figée, une règle fixée à l’avance et une référence disposant du même budget : garder la modification si elle gagne, l’annuler sinon. Chaque tentative peut être rejouée.
Une modification, garder ou annuler
C’est la boucle que Mutome a exécutée lors d’une campagne d’optimisation bornée. La figure montre le mécanisme, pas un résultat.
Ce qui fonctionne aujourd’hui
La boucle liée à Git conserve chaque modification candidate, la commande d’évaluation, la mesure et la décision de garder ou d’annuler, pour que chaque tentative puisse être rejouée. Elle a tourné sur une campagne bornée de modification de code ; les tentatives écartées restent dans le dossier.
Pas encore
Des campagnes sur des paramètres ou des configurations de simulation, et toute affirmation d’un gain plus large, qui demanderait des références à budget égal sur des charges de travail réservées et un rejeu indépendant.