Comment fonctionne un audit de chatbot DECOY

Des clients synthétiques, écrits pour votre activité

Chaque audit commence par des clients écrits pour votre activité, pas par des scripts de test génériques. Avant d’envoyer le moindre message, nous étudions votre site : ce que vous vendez, ce que vous promettez et ce que vos clients demandent le plus souvent.

Chaque client synthétique reçoit un profil d’acheteur, une intention et une humeur, du curieux qui découvre à l’acheteur méfiant qui a lu deux fois votre page de tarifs. Ils mènent des conversations en plusieurs échanges avec votre chatbot en ligne, comme un vrai visiteur, et s’arrêtent là où un vrai visiteur s’arrêterait.

Quatre étapes du parcours

Nous testons le parcours, pas seulement la requête, car les besoins d’un client changent à mesure qu’il se rapproche de l’achat. Chaque audit couvre quatre étapes :

Découverte

un visiteur indécis peut-il comprendre les différentes options ?

Comparaison

le chatbot peut-il formuler et expliquer une recommandation utile ?

Prêt à acheter

peut-il reconnaître qu’un client est prêt à acheter et l’accompagner vers l’étape suivante ?

Après-vente

peut-il résoudre le problème ou guider efficacement vers un conseiller humain ?

Ce que nous mesurons : revenu, exactitude, confiance

Chaque conversation est notée selon trois angles business : revenu, exactitude et confiance. Derrière eux, six dimensions : qualité des réponses, atteinte de l’objectif, fluidité de la conversation, ton et marque, traitement des prospects et réactivité.

La notation repose sur une grille fixe et un seul juge IA, identiques pour l’audit et pour tout ré-audit. Quand un score bouge, ce n’est donc pas parce que nous avons changé notre façon de mesurer.

Les sondes de red-teaming fonctionnent autrement. Elles mesurent la résistance, pas le service : nous les menons à part et ne les intégrons jamais au score d’expérience client.

Le plancher d’expérience client

Le plancher d’expérience client est le score de la pire visite client d’un audit, présenté à côté de la moyenne, car un client ne vit jamais qu’une seule conversation.

Une moyenne peut sembler saine alors qu’un type de client passe un mauvais moment. Vos clients ne rencontrent jamais votre moyenne : chacun vit une seule conversation, et certains tombent sur la pire. Le plancher d’expérience client rend cette visite visible, nomme le profil client concerné et montre l’écart avec l’expérience habituelle.

C’est par l’écart entre les deux qu’il faut commencer. Le plancher d’expérience client montre quel client est laissé de côté, et la transcription montre pourquoi.

Chaque affirmation, vérifiée

Chaque affirmation factuelle de votre chatbot sur laquelle un client pourrait s’appuyer est vérifiée par rapport à vos propres pages publiées, et reçoit l’un de trois verdicts : vérifiée, contredite ou invérifiable.

Nous comparons aussi ce que différents clients se sont vu répondre. Un chatbot qui annonce un prix à un visiteur et un autre au suivant pose un problème qu’aucune conversation isolée ne révèle.

Votre chatbot dit-il qu’il est une IA ?

Chaque audit vérifie si votre chatbot indique aux clients qu’ils parlent à une IA, comme l’exige l’AI Act européen depuis le 2 août 2026.

Nous regardons deux moments : l’arrivée du client, et le moment où il pose directement la question. Le contrôle porte sur ce que voient les clients, pas sur vos contrats ni votre configuration : c’est un contrôle, pas un avis juridique.

Du constat à la correction, puis au ré-audit

Un score dit comment votre chatbot s’est comporté ; un constat dit quoi changer. Chaque constat DECOY suit la même chaîne : ce qui s’est passé, transcription à l’appui ; ce que cela coûte à l’entreprise ; ce qu’il faut changer ; et comment la correction sera vérifiée.

Chaque constat porte un statut de preuve : observé pendant l’audit, mis en place mais pas encore ré-audité, ou vérifié par ré-audit.

Un ré-audit rejoue les mêmes parcours dans des conditions identiques : mêmes profils clients, même juge, mêmes réglages. Dans le cas 02, un parcours en échec a été relancé après la correction. La qualité des réponses est passée de 68 à 92, le score global de 76 à 91, et la cliente a obtenu une réponse correcte dès la première fois qu’elle a posé la question. C’est un seul parcours, relancé une fois, et nous le présentons exactement ainsi : nous ne publions un résultat que lorsqu’il est mesuré.

Les corrections peuvent être faites par votre équipe ou avec DECOY Optimize. DECOY Assurance répète l’audit, chaque trimestre par défaut, pour repérer les régressions après un changement de tarifs, de contenu, de modèle ou de plateforme.

Ce qu’un audit ne fait pas

Un audit est un diagnostic contrôlé, pas un recensement de toutes les conversations. Il teste des parcours types sur l’ensemble de votre tunnel plutôt que chaque échange possible : il complète vos propres statistiques, sans les remplacer.

Il ne demande aucun accès au back-end et ne touche aucune donnée client. Ses sondes de red-teaming sont encadrées et notées à part : ce n’est pas un test d’intrusion. Et son contrôle de transparence IA n’est pas un avis juridique.

Questions fréquentes

Comment DECOY encadre sa propre IA

DECOY vérifie comment votre chatbot traite vos clients. La même exigence s’applique ici.

Description

Chaque persona et chaque brief part d’un périmètre clair et écrit : qui est le client, ce qu’il veut, à quoi ressemble une réponse aboutie.

Discernement

Chaque conversation notée par l’IA est vérifiée, jamais acceptée telle quelle : le verdict est-il correct, juste, conforme à la transcription.

Délégation

L’IA rédige et note. Une personne décide ce qui est publié : quels constats comptent, lesquels demandent plus de preuves, ce que voit le client.

Diligence

Chaque rapport garde la trace de sa fabrication. Validation par Henri, fondateur de DECOY.

Si l’IA rédige les constats de DECOY, un humain reste toujours dans la boucle, qui décide ce qu’ils signifient, et valide leur envoi.

Inspiré du cadre AI Fluency développé par Rick Dakan et Joseph Feller, en collaboration avec Anthropic.