Méthode
Comment fonctionne un audit de chatbot DECOY
Un audit DECOY, c’est le client mystère appliqué aux chatbots, avec une piste d’audit. Des clients synthétiques mènent de vraies conversations avec votre chatbot en ligne, et chaque conclusion s’accompagne de la transcription qui la justifie. Nous testons uniquement par l’interface publique : pas de SDK, pas d’accès au back-end, aucune donnée client. Audits et rapports se font dans la langue de votre chatbot.
Des clients synthétiques, écrits pour votre activité
Chaque audit commence par des clients écrits pour votre activité, pas par des scripts de test génériques. Avant d’envoyer le moindre message, nous étudions votre site : ce que vous vendez, ce que vous promettez et ce que vos clients demandent le plus souvent.
Chaque client synthétique reçoit un profil d’acheteur, une intention et une humeur, du curieux qui découvre à l’acheteur méfiant qui a lu deux fois votre page de tarifs. Ils mènent des conversations en plusieurs échanges avec votre chatbot en ligne, comme un vrai visiteur, et s’arrêtent là où un vrai visiteur s’arrêterait.
Voir un audit réelQuatre étapes du parcours
Nous testons le parcours, pas seulement la requête, car les besoins d’un client changent à mesure qu’il se rapproche de l’achat. Chaque audit couvre quatre étapes :
- Découverte
- un visiteur indécis peut-il comprendre les différentes options ?
- Comparaison
- le chatbot peut-il formuler et expliquer une recommandation utile ?
- Prêt à acheter
- peut-il reconnaître qu’un client est prêt à acheter et l’accompagner vers l’étape suivante ?
- Après-vente
- peut-il résoudre le problème ou guider efficacement vers un conseiller humain ?
Ce que nous mesurons : revenu, exactitude, confiance
Chaque conversation est notée selon trois angles business : revenu, exactitude et confiance. Derrière eux, six dimensions : qualité des réponses, atteinte de l’objectif, fluidité de la conversation, ton et marque, traitement des prospects et réactivité.
La notation repose sur une grille fixe et un seul juge IA, identiques pour l’audit et pour tout ré-audit. Quand un score bouge, ce n’est donc pas parce que nous avons changé notre façon de mesurer.
Les sondes de red-teaming fonctionnent autrement. Elles mesurent la résistance, pas le service : nous les menons à part et ne les intégrons jamais au score d’expérience client.
Le plancher d’expérience client
Le plancher d’expérience client est le score de la pire visite client d’un audit, présenté à côté de la moyenne, car un client ne vit jamais qu’une seule conversation.
Une moyenne peut sembler saine alors qu’un type de client passe un mauvais moment. Vos clients ne rencontrent jamais votre moyenne : chacun vit une seule conversation, et certains tombent sur la pire. Le plancher d’expérience client rend cette visite visible, nomme le profil client concerné et montre l’écart avec l’expérience habituelle.
C’est par l’écart entre les deux qu’il faut commencer. Le plancher d’expérience client montre quel client est laissé de côté, et la transcription montre pourquoi.
Chaque affirmation, vérifiée
Chaque affirmation factuelle de votre chatbot sur laquelle un client pourrait s’appuyer est vérifiée par rapport à vos propres pages publiées, et reçoit l’un de trois verdicts : vérifiée, contredite ou invérifiable.
Nous comparons aussi ce que différents clients se sont vu répondre. Un chatbot qui annonce un prix à un visiteur et un autre au suivant pose un problème qu’aucune conversation isolée ne révèle.
Votre chatbot dit-il qu’il est une IA ?
Chaque audit vérifie si votre chatbot indique aux clients qu’ils parlent à une IA, comme l’exige l’AI Act européen depuis le 2 août 2026.
Nous regardons deux moments : l’arrivée du client, et le moment où il pose directement la question. Le contrôle porte sur ce que voient les clients, pas sur vos contrats ni votre configuration : c’est un contrôle, pas un avis juridique.
Du constat à la correction, puis au ré-audit
Un score dit comment votre chatbot s’est comporté ; un constat dit quoi changer. Chaque constat DECOY suit la même chaîne : ce qui s’est passé, transcription à l’appui ; ce que cela coûte à l’entreprise ; ce qu’il faut changer ; et comment la correction sera vérifiée.
Chaque constat porte un statut de preuve : observé pendant l’audit, mis en place mais pas encore ré-audité, ou vérifié par ré-audit.
Un ré-audit rejoue les mêmes parcours dans des conditions identiques : mêmes profils clients, même juge, mêmes réglages. Dans le cas 02, un parcours en échec a été relancé après la correction. La qualité des réponses est passée de 68 à 92, le score global de 76 à 91, et la cliente a obtenu une réponse correcte dès la première fois qu’elle a posé la question. C’est un seul parcours, relancé une fois, et nous le présentons exactement ainsi : nous ne publions un résultat que lorsqu’il est mesuré.
Les corrections peuvent être faites par votre équipe ou avec DECOY Optimize. DECOY Assurance répète l’audit, chaque trimestre par défaut, pour repérer les régressions après un changement de tarifs, de contenu, de modèle ou de plateforme.
Ce qu’un audit ne fait pas
Un audit est un diagnostic contrôlé, pas un recensement de toutes les conversations. Il teste des parcours types et hors-normes sur l’ensemble de votre tunnel : il complète vos propres statistiques, sans les remplacer.
Il ne demande aucun accès au back-end et ne touche aucune donnée client. Ses sondes de red-teaming sont encadrées et notées à part.
Questions fréquentes
Decoy est-il un client mystère pour chatbots ?
Oui, avec une piste d’audit. Des clients synthétiques visitent votre chatbot comme des clients mystères visitent une boutique, et chaque constat s’accompagne de sa transcription et de ses preuves.
Comment vérifier les preuves derrière vos constats ?
Les rapports d’audit DECOY décomposent structurellement la transcription verbatim des échanges, les critères d’évaluation et les vérifications des sources, y compris les éléments signalés comme non vérifiables. L’IA aide à réaliser ces tests et à noter les conversations ; les équipes DECOY vérifient chaque conversation notée par l’IA et valident ces rapports. Les exemples de rapports anonymisés présentés sur le site sont de véritables missions contrôlées, dont les détails identifiants sont masqués ou généralisés. Les versions publiques ne constituent pas le dossier client complet. Les exemples de la page d’accueil explicitement présentés comme illustratifs expliquent le format.
Que vais-je recevoir, et comment mon équipe peut-elle l’utiliser ?
Vous recevez un rapport d’audit agrégé et un rapport de tendances, ainsi que les transcriptions complètes de tous les parcours testés. Les rapports regroupent une synthèse, des scores et une analyse du plancher d’expérience client, des constats classés par priorité, les résultats des vérifications factuelles et leur statut, des recommandations et les conditions permettant de vérifier les corrections. Votre équipe peut utiliser ces livrables écrits pour décider quoi traiter en premier, transmettre les éléments aux personnes responsables du chatbot et définir ce qu’une correction réussie doit produire. Le travail de correction et tout ré-audit sont convenus dans le périmètre de la mission, sans être présumés inclus à la seule réception des rapports.
Comment comparer les services d’audit de chatbots ?
Comparez les preuves, pas seulement le score : couverture des parcours, vérifications factuelles à partir des sources publiées, transcriptions, validation humaine et conditions contrôlées du ré-audit. Pour la sécurité des données, demandez quelles informations sont traitées, par qui, comment elles sont protégées et combien de temps elles sont conservées. DECOY teste l’interface publique, sans accès au back-end ni export de conversations de vos clients réels. Vous recevez les transcriptions complètes, des constats classés par priorité et des recommandations concrètes. Lorsqu’un ré-audit est convenu, nous conservons les mêmes conditions d’évaluation pour mesurer l’effet des corrections.
Comment vérifiez-vous que les corrections ont fonctionné ?
Un ré-audit rejoue les parcours convenus après une correction, en conservant les mêmes profils clients, objectifs, grille de notation, juge IA et réglages d’évaluation. Nous comparons les réponses autant que les scores. Dans la comparaison publiée du cas 02, la qualité des réponses est passée de 68 à 92 et le score du parcours de 76 à 91, sur un parcours avant la modification et un parcours équivalent après. Cela étaye la correction pour la question testée, pas pour toutes les questions voisines, ni une hausse démontrée du chiffre d’affaires. Une modification signalée n’est déclarée vérifiée qu’après mesure de son effet par ré-audit.
Comment se déroule une mission, du devis aux constats ?
La préparation d’un audit DECOY commence lorsque vous nous transmettez l’URL de votre site et votre adresse e-mail de contact, ainsi que toute préoccupation à examiner. Nous étudions votre offre et vos politiques publiées, puis convenons des profils clients, des parcours couverts, du nombre de conversations, des langues, des exclusions et du devis avant le lancement. DECOY prépare les clients synthétiques, mène les conversations prévues, évalue et vérifie les réponses, puis effectue la validation humaine avant de remettre les rapports. Vous recevez les constats sous 2 à 3 jours ouvrés après le lancement. L’audit est un diagnostic contrôlé, pas une revue de toutes les conversations possibles, un test d’intrusion ou un avis juridique.
Qui réalise l’audit, et quels accès ou données sont nécessaires ?
DECOY est un service opéré par Henri Blanc-Francard, pas un SaaS en libre-service. Des technologies internes effectuent les tests et l’évaluation assistée par l’IA. Henri pilote la mission, et d’autres personnes peuvent participer à la validation humaine. Les équipes DECOY vérifient les conversations notées par l’IA et valident les constats et les rapports. Nous testons votre chatbot en ligne par son interface client publique, avec des profils clients synthétiques. Aucun SDK à installer, aucun accès au back-end ni export de conversations de vos clients réels n’est nécessaire. Le devis définit le chatbot et les parcours à tester.
Dans quelles langues auditez-vous ?
Dans toutes les langues que parle votre chatbot. Les clients synthétiques conversent dans cette langue, et le rapport est rédigé dans cette langue aussi.
Comment DECOY encadre sa propre IA
DECOY vérifie comment votre chatbot traite vos clients. La même exigence s’applique ici.
- Description
- Chaque persona et chaque brief part d’un périmètre clair et écrit : qui est le client, ce qu’il veut, à quoi ressemble une réponse aboutie.
- Discernement
- Chaque conversation notée par l’IA est vérifiée, jamais acceptée telle quelle : le verdict est-il correct, juste, conforme à la transcription.
- Délégation
- L’IA rédige et note. Une personne décide ce qui est publié : quels constats comptent, lesquels demandent plus de preuves, ce que voit le client.
- Diligence
- Chaque rapport garde la trace de sa fabrication. Validation par les équipes de DECOY.
Si l’IA rédige les constats de DECOY, un humain reste toujours dans la boucle, qui décide ce qu’ils signifient, et valide leur envoi.