Lab.
La console privée où l’on planifie, exécute, examine et approuve des campagnes bornées.
Lab compte trois espaces : Lab, Results et Settings. Une campagne démarre avec un évaluateur figé et un budget, peut être mise en pause, annulée ou arrêtée d’un seul geste, et chaque appel est imputé à un registre des coûts plafonné à 50 $ par mois. Les commandes et les journaux restent privés.
Fonctionne aujourd’hui, en privé. Rien n’a encore été approuvé pour publication.
Voir un exemple
Une campagne ne se résume pas à son résultat.
Lab garde ensemble la question, l’évaluateur, le budget, le coût et chaque tentative, pour qu’une version exacte puisse être examinée avant toute publication.
Comment laisser une IA mener des expériences sans perdre le contrôle du coût, ni de ce qui sera publié ?
Le problème
Un agent qui fait de la recherche peut dépenser de l’argent, modifier discrètement son propre test ou annoncer un résultat chanceux. Sans limites, on ne peut se fier ni à la facture ni à l’affirmation.
Pourquoi c’est difficile
Les campagnes utiles sont longues et échouent le plus souvent. À tout moment, il faut savoir ce qui a été figé, ce que cela a coûté et quelle version exacte serait rendue publique.
L’approche de Mutome
Lab fixe les règles avant le premier appel, impute chaque appel à un registre plafonné, conserve chaque tentative et ne publie rien tant qu’une personne n’a pas approuvé une version exacte, liée à ses empreintes.
La vie d’une campagne
Suivons une campagne bornée, ici une tâche d’oscillateur synthétique, du brouillon à la décision de publication.
Ce qui fonctionne aujourd’hui
Des campagnes bornées avec évaluateurs figés et budgets, des baux, la pause, l’annulation et l’arrêt global, le registre des coûts, le rejeu, les empreintes des fichiers, la sauvegarde et la restauration, l’approbation et la rétractation liées aux empreintes. Les campagnes menées jusqu’ici étaient synthétiques ; la plupart des tentatives ont été écartées ou sont restées non concluantes.
Pas encore
Lab ne tourne pas encore seul, en continu, et aucune campagne n’a été approuvée pour publication. Prochaine étape : exécuter les laboratoires Slean en continu dans le même budget de 50 $ par mois.