Ce qu’un agent sait faire aujourd’hui, et ce qu’il rate encore
Où les agents sont fiables, où ils échouent, et comment le voir avant que ça coûte.
Aujourd’hui, un agent est fiable sur des tâches bornées dont le résultat se contrôle par une règle ou un échantillon : lire et classer du texte, appeler des outils dans l’ordre, rédiger à partir d’un brief, remplir un fichier structuré. Il est peu fiable à quatre endroits : les faits qu’il tire de sa mémoire, son propre jugement sur son travail, les longues chaînes d’étapes que personne ne surveille, et les données fausses qui n’en ont pas l’air. Ce dernier point coûte le plus cher, parce que l’agent travaille dessus avec assurance.
Tout ce qui suit vient des agents qui font tourner le marketing de Derrick (que j’ai cofondé) et des systèmes que je construis pour des clients. Les incidents datés sont réels.
Là où les agents sont fiables aujourd’hui
| Tâche | Pourquoi ça marche | Condition |
|---|---|---|
| Classer du texte (une page d’accueil, une réponse, un intitulé de poste) | La réponse est dans l’entrée | Imposer une option unknown et une preuve citée |
| Extraire des champs dans un schéma | Le format se vérifie mécaniquement | Valider le schéma, rejeter les lignes non conformes |
| Appeler des outils dans un ordre connu | Chaque appel renvoie quelque chose de vérifiable | Journaliser chaque appel et son résultat |
| Rédiger à partir d’un brief et d’exemples | Le style se calibre sur de vrais textes | Un contrôle séparé avant toute sortie |
| Résumer un gros fichier | Moins à lire pour l’étape suivante | Lui donner un condensé, secrets et données personnelles retirés |
| Écrire de petits scripts et requêtes | Le code tourne ou plante | Le lancer d’abord sur une entrée connue |
Le point commun : quelque chose d’extérieur au modèle peut dire si le résultat est juste. Quand rien ne le peut, vous vous fiez à la parole du modèle.
Là où ils échouent, avec des cas réels
L’instrument est faux et personne ne le voit
Le 5 novembre 2026, l’agent Head of SEO qui pilote le SEO de Derrick a découvert qu’un de ses propres exports de mesure ne comptait qu’environ un tiers des clics réels, et un arrêt de production avait été décidé sur un faux zéro ; le chapitre 12 raconte comment l’erreur a été repérée et ce qu’elle a changé.
Un contrôle qui passe pendant que le vrai service échoue
Le 9 novembre 2026, un service de données passait son contrôle de santé alors que toutes les vraies requêtes échouaient, parce que le contrôle ne touchait jamais la base de données ; le chapitre sur les routines donne le détail.
Une règle déclarée, jamais lue
Une mise à jour lancée par une routine a modifié des pages déclarées en test SEO et a gâché le test, parce que la routine ne lisait pas la déclaration. Écrire une règle ne sert à rien si l’agent censé la respecter ne la charge pas.
Une affirmation plausible sur votre propre produit
Le 10 novembre 2026, un post LinkedIn disait « filtrer, puis enrichir » alors que le produit enrichissait, et facturait, aussi les lignes masquées : le texte était bon, le fait était faux, et aucun contrôle de style n’aurait pu le voir (chapitre 10).
Noter son propre travail
Demandez à un agent si son brouillon respecte le brief, il répondra presque toujours oui. C’est pourquoi, chez Derrick, un agent ne note jamais sa propre production : un juge tourne dans un contexte vierge, avec seulement le texte et les critères.
Faits inventés et instructions cachées
Deux autres défaillances sont bien connues, et méritent d’être prévues partout. Un modèle à qui l’on demande un fait qu’il n’a pas en produira un plausible : e-mails, identifiants d’entreprise et prix doivent venir d’un outil, jamais de la mémoire. Et le texte que l’agent lit (une page web, un e-mail, un document) peut contenir des instructions ; il doit être traité comme une donnée, sans aucun outil disponible à l’étape qui le lit.
Comment voir une défaillance avant qu’elle coûte
Chacun des cas ci-dessus avait un signal précoce. Tout l’enjeu est de poser un test dessus avant de passer à l’échelle.
| Défaillance | Signal précoce | Test à mettre en place |
|---|---|---|
| Instrument faux | Deux sources ne s’accordent pas sur un total | Avant de combiner deux exports, vérifier que leurs totaux concordent ; confirmer avec un outil indépendant |
| Contrôle de santé trompeur | Statut vert, aucune vraie production | Le contrôle emprunte le vrai chemin : une vraie requête, une vraie écriture |
| Règle non appliquée | Un élément protégé a changé | Chaque routine charge le fichier de règles à l’étape 0, et un test tente de toucher un élément protégé |
| Fausse affirmation produit | Une phrase décrit un geste dans le produit | Reproduire le geste dans le produit avant de publier |
| Auto-évaluation | Toutes les productions passent | Un juge indépendant en contexte vierge, plus un lint mécanique |
| Régression après modification | La qualité dérive après un changement d’instructions | Relancer un jeu de briefs figés après chaque changement |
| Travail partiel silencieux | « Terminé » avec moins de lignes que prévu | Comparer lignes entrées et lignes sorties à chaque étape |
| Routine qui ne tourne jamais | Une routine figée ressemble à une routine au repos | Lancer chaque nouvelle routine une fois à la main, et vérifier qu’elle a bien tourné à l’heure prévue |
Deux leçons de novembre 2026 structurent l’essentiel de ce tableau. Un second instrument, indépendant, vaut plus qu’une troisième vérification du premier. Et un contrôle de santé doit emprunter le vrai chemin, sinon il ne mesure rien.
Une grille pour décider de l’autonomie d’une tâche
Avant de confier une tâche à un agent, notez-la. En voici une version simple ; ajustez les seuils à votre tolérance.
| Critère | 0 | 1 | 2 |
|---|---|---|---|
| Le résultat se vérifie-t-il par une règle ? | Non | En partie | Oui |
| L’action est-elle réversible ? | Non (envoyé, payé, supprimé) | Avec effort | Oui |
| Coût d’une erreur | Un client ou de l’argent perdu | Du temps perdu | Négligeable |
| Origine des faits | Mémoire du modèle | Mixte | Outils et sources uniquement |
| Volume par exécution | Des milliers, sans surveillance | Des centaines | Des dizaines |
- De 8 à 10 : l’agent peut tourner seul, avec des journaux et un échantillon hebdomadaire.
- De 5 à 7 : l’agent propose, une personne valide chaque lot.
- Sous 5 : gardez la tâche manuelle, ou ne confiez à l’agent que la préparation.
L’envoi d’e-mails outbound obtient en général une note basse sur la réversibilité et le coût d’une erreur, et c’est pourquoi un humain reste sur le bouton d’envoi même quand tout l’amont est automatisé. Classer une liste de pages d’accueil obtient en général une note haute. Le guide TAM détaille ce cas dans construire un TAM avec des agents IA.
Ce que cela implique pour votre premier agent
Commencez là où la grille donne une note haute, et construisez les contrôles en même temps que l’agent plutôt qu’après le premier incident. Concrètement, trois choses écrites avant la première exécution : à quoi ressemble « terminé », comment le résultat sera contrôlé par autre chose que l’agent, et ce qui fait s’arrêter l’agent. Les chapitres 10 et 12 détaillent le contrôle qualité et la mesure de ce que l’agent rapporte.
Prochaine étape : notez avec la grille ci-dessus la tâche choisie au chapitre 1. Si elle tombe sous 5, choisissez-en une autre, ou découpez-la pour que l’agent ne fasse que la partie bien notée.