Passer au contenu principal

Utiliser les Monitors pour détecter et résoudre les problèmes de réponse Fin

Comment exécuter un workflow QA efficace avec les Monitors, combinant la détection de motifs de Fin et le jugement humain pour transformer les conversations signalées en améliorations concrètes.

Écrit par Brian Branca

Cet article s'adresse aux membres de l'équipe support et à toute personne responsable de la configuration ou de la maintenance de Fin souhaitant utiliser les Monitors dans le cadre d'un workflow d'assurance qualité (QA) pour les problèmes de réponse Fin. Il explique quoi faire après qu'un monitor commence à détecter des conversations : comment interpréter les résultats, appliquer le jugement humain et transformer les constats en améliorations.

Si vous cherchez des instructions d'installation, consultez le guide de configuration des Monitors.

Note : Monitors est disponible dans le cadre de l'add-on Pro.


Le problème de la QA manuelle

L'assurance qualité pour Fin signifiait auparavant examiner un petit échantillon de conversations, chercher tout ce qui semblait anormal, en espérant repérer les motifs importants. Cette méthode fonctionnait quand le volume de conversations était gérable. Aujourd'hui, elle ne peut plus s'adapter.

Fin a changé ce qui est possible. Au lieu de revoir manuellement une fraction des conversations, vous pouvez en évaluer des milliers. Le défi n'est plus de trouver les problèmes, mais de savoir lesquels comptent vraiment.

C'est pourquoi les workflows QA les plus efficaces ne remplacent pas les coéquipiers humains par l'IA. Ils combinent la capacité de Fin à détecter des motifs avec le jugement humain pour interpréter ces motifs et les transformer en améliorations concrètes.


Comment fonctionnent les Monitors

Un monitor évalue en continu les conversations selon des critères que vous définissez — que ce soit un échantillon aléatoire pour une QA continue, ou des conversations ciblées basées sur des signaux comme des scores CX faibles (votre note d'expérience client dans Intercom), des escalades répétées ou la qualité des réponses. Ces conversations peuvent ensuite être examinées à l'aide d'une fiche d'évaluation par Fin, un réviseur humain, ou les deux.

Note : Une fiche d'évaluation est un ensemble de critères utilisés pour évaluer une conversation — par exemple, si Fin a donné une réponse complète, suivi le bon ton, ou escaladé de manière appropriée.

Intercom inclut des modèles pour les workflows QA courants, y compris les revues hebdomadaires Fin, la faible qualité des réponses, la gestion des escalades, les problèmes de boucle, et plus encore. Vous pouvez aussi créer des Monitors de zéro pour répondre aux besoins de votre équipe.

Considérez les Monitors comme une couche de filtrage. Ils prennent un nombre écrasant de conversations et les réduisent à celles qui ont le plus besoin d'attention.


Pourquoi la revue humaine reste essentielle

Un monitor ne se contente pas de signaler qu'une conversation a obtenu un mauvais score. Pour les critères notés par IA, il vous montre exactement pourquoi — jusqu'au critère spécifique et au raisonnement de Fin derrière la note.

Ce qu'il ne fait pas, c'est relier les points entre les conversations.

Vous pourriez avoir dix conversations avec une faible qualité de réponse et dix explications différentes générées par l'IA. Mais si vous regardez de plus près, sept de ces conversations pourraient en fait remonter au même article obsolète.

Fin peut vous dire pourquoi chaque conversation individuelle a obtenu un mauvais score. Il ne peut pas vous dire que sept de ces « pourquoi » sont en réalité le même problème sous-jacent qui se manifeste de différentes façons.

Reconnaître cette différence nécessite des connaissances produit et du contexte. C'est la différence entre ces deux conclusions :

  • « Ces conversations semblent mauvaises. »

  • « Ces conversations proviennent toutes du même manque de connaissances. »

Sans cette étape, la QA devient une liste de conversations signalées. Avec elle, la QA devient une liste d'améliorations exploitables. C'est la différence entre le bruit et l'information.


Comment exécuter un workflow QA avec les Monitors

Le workflow comporte quatre étapes :

  1. Utiliser les Monitors pour détecter des motifs

  2. Appliquer le jugement humain pour comprendre ce qui se passe réellement

  3. Transformer ces constats en recommandations exploitables

  4. Faire parvenir ces recommandations aux personnes qui peuvent les corriger

1. Utiliser les Monitors pour identifier des motifs

C'est là que les Monitors font le gros du travail. Au lieu d'échantillonner manuellement des conversations en espérant trouver quelque chose d'utile, les Monitors évaluent en continu chaque conversation correspondant à vos critères et mettent en avant celles qui ont le plus besoin d'attention.

2. Appliquer le contexte et les connaissances produit

C'est l'étape que Fin ne peut pas remplacer. Les Monitors peuvent vous indiquer que dix conversations ont obtenu un mauvais score — mais ils ne vous diront pas si elles sont toutes des symptômes du même problème, si le problème vient d'un contenu obsolète, ou si Fin suit des directives qui ne reflètent plus votre produit.

Ce sont vos experts produit humains qui relient ces points.

3. Transformer les constats en recommandations

Une conversation signalée n'est pas une action à prendre. Comparez ces deux conclusions :

  • « Cette procédure ne résout pas les conversations. »

  • « Fin Thoughts (le raisonnement que Fin enregistre dans la timeline d'une conversation) montre que la procédure échoue systématiquement à interpréter le niveau de plan du client à l'étape de vérification d'éligibilité, ce qui la fait bifurquer sur une mauvaise voie et ne jamais atteindre de résolution. »

La seconde donne à une équipe quelque chose de concret à corriger. Dans la mesure du possible, identifiez l'article, la procédure ou la règle de guidance Fin spécifique qui cause le problème, plutôt que de simplement décrire le symptôme.

Conseil : Formulez votre recommandation de façon à ce que celui qui la reçoit puisse agir sans avoir à redécouvrir le problème. Au lieu de « faible qualité de réponse dans les conversations de facturation », écrivez « L'article sur le remboursement de facturation manque d'informations sur les remboursements partiels — cela cause à Fin de donner des réponses incomplètes dans au moins 7 conversations récentes. »

4. Acheminer l'information au bon responsable

Les informations ne créent de la valeur que si quelqu'un agit dessus. Un manque de connaissances peut appartenir à l'équipe responsable du contenu du help center. Un problème de procédure peut appartenir aux personnes qui maintiennent la guidance ou la conception des conversations de Fin.

Toutes les organisations n'ont pas d'équipes dédiées à la gestion des connaissances ou à la conception des conversations. Les petites équipes peuvent avoir une personne qui porte plusieurs casquettes. La distinction importante n'est pas qui possède le travail. C'est d'identifier si vous avez un problème de contenu ou de procédure, afin que la bonne amélioration soit faite.

Plus votre recommandation est spécifique, moins quelqu'un d'autre passera de temps à redécouvrir le problème, et plus il passera de temps à le résoudre activement.

Vous pouvez faire cela directement dans le Monitor en utilisant Issues.

Depuis la barre latérale Review de n'importe quelle conversation, vous pouvez créer un ticket Issue avec un titre, un type (Content, Guidance, Procedure, Escalation, etc.) et un assigné — sans quitter la conversation. Le même Issue peut être lié à plusieurs conversations où le même problème est apparu, ainsi votre équipe obtient un ticket par cause racine plutôt qu'un par conversation. Tous les Issues se rassemblent dans une vue centrale dans Fin AI Agent > Analyze > Monitors, où vous pouvez suivre le statut depuis la soumission jusqu'à la résolution.

Pour les détails complets de configuration, consultez Suivre et traiter les issues détectées dans les revues QA Monitor.

Conseil : Dans Intercom, vous pouvez acheminer les constats en utilisant les notes de conversation pour @mentionner le coéquipier concerné, ou en taguant les conversations pour un suivi. Pour les problèmes de contenu, soulevez-les directement dans le processus de gestion des connaissances de votre équipe. Pour les problèmes de procédure ou de guidance, partagez le lien spécifique de la conversation et votre recommandation avec la personne qui maintient la configuration de Fin.


Comment les Monitors améliorent Fin au fil du temps

Quand un monitor continue de détecter le même problème, c'est généralement un signe qu'une chose plus importante nécessite une attention — un article du help center, une procédure Fin, ou une guidance à ajuster.

Les Monitors sont excellents pour identifier des motifs à travers des milliers de conversations, mais ils ne peuvent pas vous dire quels motifs valent vraiment la peine d'être traités. C'est là que les experts produit humains interviennent. Ils utilisent leurs connaissances produit et le contexte pour identifier la cause racine, transformer ces constats en recommandations exploitables, et s'assurer qu'elles parviennent à l'équipe responsable de les corriger.

À mesure que Fin s'améliore dans la détection des motifs, le rôle de l'expert produit évolue. Au lieu de passer du temps à chercher des problèmes, il peut se concentrer sur la compréhension des données, décider de ce qui compte le plus, et piloter des améliorations significatives.

Avez-vous trouvé la réponse à votre question ?