Mesurer ce que l’agent rapporte vraiment

Jugez un agent sur ce qu’il a changé, jamais sur la quantité qu’il a produite. Des pages écrites, des posts rédigés, des leads enrichis, c’est de la production ; des clics, des réponses, des inscriptions et du pipeline, c’est du résultat, et seul le second paie le premier. Mesurez donc les deux, côte à côte, chaque semaine, faites de chaque changement un test borné avec une date de verdict fixée à l’avance, et vérifiez l’instrument de mesure avant de croire le moindre chiffre qu’il vous donne.

Ce dernier point, je l’ai appris à mes dépens. Les exemples qui suivent viennent des agents qui font tourner le marketing de Derrick (j’ai cofondé Derrick), y compris d’une semaine où l’agent chargé du SEO a découvert que ses propres chiffres étaient faux.

Mettre production et résultat sur le même tableau hebdomadaire

La production se compte facilement et monte toujours, ce qui la rend dangereuse. Un tableau qui ne montre que la production vous dira que les agents font un travail formidable pendant que rien ne bouge. Mettez une ligne par domaine de travail, avec la production à côté du résultat qu’elle est censée faire bouger, et le temps humain qu’elle a coûté.

Domaine	Production de la semaine	Résultat attendu	Source du résultat	Temps humain passé
SEO	Pages créées, pages mises à jour	Clics et inscriptions venant de ces pages	Search Console, base produit	Relecture des brouillons
LinkedIn	Posts publiés	Visites du profil, conversations entrantes	Statistiques LinkedIn, CRM	Retouches avant publication
Outbound	Leads poussés, messages envoyés	Réponses positives, rendez-vous pris	Outil d’envoi, CRM	Montage des séquences, gestion des réponses
Newsletter	Numéros envoyés	Clics vers les pages produit, inscriptions	Outil d’e-mailing, base produit	Relecture finale

C’est la dernière colonne qu’on oublie. Un agent qui épargne la rédaction mais exige une heure de corrections par contenu a déplacé le travail, il ne l’a pas supprimé. Lisez le tableau comme une tendance sur quatre à huit semaines, jamais sur une semaine isolée, et repérez les lignes où la production grimpe pendant que le résultat stagne : ce sont les agents à corriger ou à arrêter.

Pour les colonnes de résultat, la règle du chapitre fiabiliser les données s’applique telle quelle : une seule source de vérité par métrique, convenue avant de la lire.

Faire de chaque changement un test borné avec un verdict daté

Un agent peut changer beaucoup de choses très vite, si bien qu’on perd facilement le fil de ce qui a causé quoi. Chez moi, un agent expérimentateur fait de chaque changement un test sur un périmètre borné, par exemple 10 pages, et chaque test reçoit un verdict écrit à quatre semaines. La spécification est écrite avant que le changement parte en ligne.

test_id: seo-2026-w40-faq-blocks
hypothesis: Adding a FAQ block from real support questions raises clicks on feature pages.
pages_under_test: 10        # listed in under_test.yaml
control: 10 similar feature pages left unchanged
metric: clicks per page, Search Console, web search
baseline: 4 weeks before start
verdict_on: start + 4 weeks
decision:
  keep_if: test pages gain at least 20% more than control
  revert_if: test pages lose against control
  otherwise: extend 4 weeks once, then revert

Les chiffres de cette spécification sont fictifs ; choisissez des seuils adaptés à vos volumes. Ce qui compte, c’est que la règle de décision soit écrite avant l’arrivée des données. Sinon l’agent, ou vous, trouverez une lecture des résultats qui confirme ce qui était déjà décidé. Si vos pages sortent d’un template, mesurez par groupe de pages plutôt que page par page, comme l’explique le suivi des performances en SEO programmatique.

Vérifier l’instrument avant de croire le chiffre

Le 5 novembre 2026, l’agent Head of SEO a remarqué que deux exports censés concorder ne concordaient pas. L’un de ses propres exports de mesure était ventilé par requête, et ne comptait que les clics sur les requêtes que l’outil nomme, soit environ un tiers du total réel. L’agent l’a confirmé avec un second instrument, indépendant : les données GA4 du site.

Le classement relatif des pages tenait. Les niveaux absolus étaient faux, et certaines pages affichaient zéro clic alors qu’elles avaient du trafic. Un arrêt de production avait déjà été décidé sur l’un de ces faux zéros.

Deux habitudes en sont sorties, et toutes deux s’ajoutent pour pas cher à n’importe quel agent qui lit des métriques.

def check_totals(export_a, export_b, tolerance=0.05):
    """Deux exports de la même métrique, sur la même période, doivent concorder avant d'être combinés."""
    a, b = sum(export_a.values()), sum(export_b.values())
    gap = abs(a - b) / max(a, b)
    if gap > tolerance:
        raise ValueError(f"Totals disagree by {gap:.0%}: {a} vs {b}. Do not combine.")

D’abord, avant de combiner deux exports, vérifiez que leurs totaux concordent, et arrêtez-vous s’ils divergent. Ensuite, quand un chiffre surprend, confirmez-le avec un second instrument qui mesure la même chose autrement. Relancer une troisième fois le même contrôle sur le premier outil ne vous donnera que la même mauvaise réponse, avec plus d’assurance. C’est le zéro qui mérite le plus de méfiance : c’est le chiffre le plus susceptible de déclencher une décision d’arrêt, et le plus susceptible d’être un artefact de la façon dont les données ont été découpées.

Protéger ce qui est en test

La même semaine a apporté une deuxième leçon. Une mise à jour faite par une routine avait touché des pages qui faisaient partie d’un test en cours, et l’avait faussé. Les pages étaient bien déclarées en test, dans un fichier. La routine ne lisait tout simplement pas ce fichier.

Déclarer un test ne sert à rien si chaque routine capable de modifier ces pages ne lit pas la déclaration d’abord. Le contrôle va donc dans les routines elles-mêmes, en tout début de parcours :

STEP 1. Read under_test.yaml. Remove every page listed there from today's
        work list. If the file cannot be read, STOP and alert.

C’est le lien avec le chapitre sur les routines : ce fichier est une chose de plus que l’étape 0 doit pouvoir lire avant d’autoriser le démarrage.

Rejouer les anciens verdicts quand un instrument change

Une fois la mesure corrigée, l’agent expérimentateur est revenu sur trois verdicts antérieurs et les a rejoués sur les données corrigées. L’une des corrections passées était fausse elle aussi : une décision qui semblait justifiée sur les chiffres erronés ne tenait plus sur les vrais.

Conservez donc chaque verdict avec les données sur lesquelles il repose : l’export, la période, la requête utilisée. Quand un instrument change, listez les verdicts qui s’en servaient et relancez-les. C’est le seul moyen de savoir sur quelles décisions passées vous vous appuyez encore pour de bonnes raisons.

Champ du registre des verdicts	Pourquoi il est là
Identifiant du test et hypothèse	Ce qui a été testé
Instrument et export utilisés	Pour le rejouer quand l’instrument change
Période, référence, groupe témoin	Pour reconstruire la comparaison
Règle de décision écrite à l’avance	Pour que le verdict soit une règle appliquée, pas une lecture
Verdict, date, qui l’a validé	Pour que quelqu’un en soit responsable
Rejoué le, résultat	Pour savoir quels verdicts ont survécu à une correction

Arrêter est un verdict valable

Mesurer honnêtement implique que certains agents perdent. En octobre 2026, un levier Reddit lancé pour Derrick a été arrêté. C’est le système qui fonctionne : un domaine de travail qui ne rapporte pas ce qu’il coûte doit s’arrêter, et le temps va à ceux qui rapportent. Le chapitre sur l’équipe d’agents complète montre comment les leviers restants sont organisés.

Décidez à l’avance de ce qui vous ferait arrêter un agent : un résultat plat pendant huit semaines alors que la production grimpe, un temps de relecture supérieur au temps gagné, ou un test qui finit toujours en « prolonger ». Écrivez-le sur le tableau, à côté de la ligne, pour que la décision soit déjà prise quand les chiffres arrivent.

Votre prochaine étape : construisez cette semaine le tableau d’un agent, avec production, résultat, source et temps humain, et identifiez les deux exports sur lesquels il repose. Vérifiez que leurs totaux concordent avant de lire la moindre tendance.