Cas anonymisé 02 · Services animaliers · Suivi continu Ré-audits contrôlés · 53 parcours · T3 2026
D
DECOY
Audit indépendant de chatbot · Suivi
01Suivi continu

client.example

Identité du client masquée · détails commerciaux distinctifs généralisés
Cas anonymisé 02·Services animaliers·Suivi continu
Sept semaines de visites contrôlées sur le même chatbot que le rapport d’audit du cas 02. La moyenne masque un écart de 38 à 91, et une correction ciblée est passée du constat à la vérification en huit jours. C’est tout l’intérêt du suivi continu : pas un verdict ponctuel, mais la preuve qu’un verdict tient et qu’une correction a vraiment fonctionné.
72
Moyenne
Sur 53 parcours / sur 100
Parcours53 contrôlés
CanalChatbot web
LangueAnglais
Période7 semaines, T3 2026
Écart de scores38 à 91
Sondes red-team9, notées à part
Référence mesurée
53

parcours clients, une grille, un chatbot

53 points

entre la pire visite (38) et la meilleure (91)

1 sur 1

correction ciblée vérifiée par un ré-audit identique

9 sur 9

sondes red-team repoussées, notées de 82 à 94

02Évolution du score

Chaque parcours client, dans l’ordre.

Pas seulement la moyenne. Les mêmes 53 visites qui composent le score global, lues comme une séquence et non comme un résumé, pour qu’un écart entre deux semaines ordinaires reste visible au lieu d’être lissé. Les jours sont comptés depuis le premier audit.

020406080100AvantRé-auditPlancher d’expérience clientJour 1Jour 8Jour 20Jour 28Jour 38Jour 50

La pire visite a obtenu 38, la meilleure 91. Les conversations individuelles varient bien plus que n’importe quelle moyenne, précisément ce qu’un audit ponctuel ne peut pas montrer et qu’un coup d’œil trimestriel à un tableau de bord lisserait. Les deux points cerclés à droite sont le même parcours client, avant et après une correction.

03Audit, correction, ré-audit

Un constat, corrigé et vérifié en huit jours.

L’audit du cas 02 recommandait que le bot cite ses sources, ou passe la main, quand un client pose une question précise sur des dispositifs officiels. La modification a été faite. Nous avons ensuite relancé le parcours à l’identique : même client, même mission, même grille, même juge.

Qualité des réponses · Confiance Jour 42 à jour 50 · configuration identique
Vérifié par ré-audit
Deux fois la question, et une mauvaise piste. Puis la bonne réponse du premier coup.

Au jour 42, une cliente novice a demandé deux fois le nom du dispositif officiel de dépistage dont elle avait besoin. Le bot a donné des catégories générales, les a répétées presque mot pour mot, l’a renvoyée ailleurs, et a cité un organisme qui ne gère aucun dispositif de ce type. Elle est partie vérifier par elle-même. Au jour 50, la même cliente a posé la question une fois et a obtenu le nom du dispositif et ses règles.

Qualité des réponses · Avant → Après
68 → 92

+24 points

Score Decoy · Avant → Après
76 → 91

+15 points

InterventionRécupération des sources publiées corrigée. Conditions d’escalade rendues explicites : si le bot ne peut pas nommer un dispositif, il ne le décrit pas, et il propose un relais humain.
Mesuré sur1 parcours contrôlé avant la modification, 1 parcours identique après.
Ce que cela prouveLa correction fonctionne pour cette question, dans des conditions identiques. Cela ne prouve pas à soi seul que toutes les questions voisines sont corrigées : c’est le rôle du prochain ré-audit programmé.
04Tableau de statut

Où en est chaque constat du cas 02.

Chaque constat porte un seul statut, et seul un ré-audit dans des conditions identiques peut le faire passer à vérifié.

05Sondes red-team

9 sondes. Aucune intégrée au score.

Les visiteurs adverses mesurent la résistance, pas le service : ils sont donc présentés à part et jamais intégrés à la moyenne de l’expérience client. Le bot les a toutes repoussées, avec des scores de 82 à 94.

Sonde responsabilité × 4écart 84-94
Sonde injection de prompt × 4écart 82-85
Sonde sécurité × 1écart 86-86
06Pourquoi c’est un produit distinct

Un verdict est un instant. Le suivi est une tendance.

Le rapport d’audit répond à « comment se porte ce chatbot aujourd’hui ». Le suivi répond à une autre question : des tests externes à cadence fixe, sur la même référence, pour prouver qu’une correction a fonctionné et détecter une régression après un changement de prix, une modification de la base de connaissances, un changement de modèle ou une migration de plateforme, avant qu’un client ne la découvre. Aucun gain inventé, aucun lissage : chaque point du graphique est une vraie visite contrôlée, notée sur la même grille.

Statut des preuves, tel qu’utilisé sur chaque fiche
AvertissementL’identité du client et les détails commerciaux distinctifs sont masqués. Les résultats publiés reproduisent des preuves de tests contrôlés sans exposer de transcriptions, de systèmes ni de corrections propriétaires. Les dates sont exprimées en jours depuis le premier audit.