Monitors pour l'assurance qualité des coéquipiers humains vous permettent d'évaluer et d'améliorer la qualité des conversations de vos coéquipiers à grande échelle. Vous définissez quelles conversations sont examinées, joignez une scorecard personnalisée pour les noter, et assignez des évaluateurs - le tout automatiquement.

Un Monitor sélectionne quelles conversations examiner. Une Scorecard définit comment chacune est évaluée — les critères spécifiques qui vous importent, tels que la précision, le ton ou le respect des politiques. Ensemble, ils vous offrent un moyen cohérent et évolutif de mesurer et d'améliorer la qualité des conversations au sein de votre équipe.

La configuration de l'assurance qualité des agents humains se fait en deux étapes :

Créez une Scorecard qui définit vos critères de qualité.
Configurez un Monitor pour sélectionner quelles conversations sont examinées, qui les évalue, et comment les évaluations sont transmises à votre équipe.

Note : Cet article couvre les Monitors pour l'assurance qualité des agents humains. Pour les Monitors évaluant les conversations Fin AI Agent, voir Monitors and Custom Scorecards. Les Monitors pour l'assurance qualité des agents humains sont disponibles dans le cadre de l'extension Pro.

Comment créer une Scorecard

Allez dans Fin AI Agent > Analyze > Monitors et cliquez sur Scorecards.

Créez la vôtre en cliquant sur + Nouvelle scorecard :

Commencez par sélectionner qui est évalué. Cliquez sur Human teammates assigned et choisissez soit des coéquipiers dans des équipes spécifiques, soit des coéquipiers individuels.

Ensuite, ajoutez vos critères de scorecard. D'abord, cliquez sur + Criteria > Create new.

Lors de la création d'un nouveau critère, suivez les étapes suivantes :

1. Nommez le critère

Donnez au critère un nom court et clair (par exemple, Sentiment ou Précision de la réponse). Ce nom apparaît dans les rapports et sera utilisé comme référence.

2. Décrivez ce qui est évalué

Ajoutez une description claire expliquant ce que le critère vérifie et comment il doit être noté. La description est l'invite que l'IA utilise pour noter ce critère, et plus elle est précise, plus l'IA évaluera les conversations avec exactitude. Cela aide aussi les évaluateurs humains à appliquer les mêmes critères de manière cohérente.

Conseil : Pour vous aider à rédiger des descriptions efficaces, consultez comment rédiger des critères efficaces pour Monitors et Scorecards.

3. Choisissez comment le critère est noté

Décidez si le critère doit être noté automatiquement par l'IA ou manuellement par des évaluateurs humains. Vous pouvez mélanger des critères notés par l'IA et par des humains dans la même scorecard.

Note : Les titres et descriptions des critères de scorecard sont réutilisables. Une fois qu'un critère est créé, vous pouvez l'ajouter à plusieurs scorecards. Les notes précédentes ne peuvent pas être réutilisées et doivent être définies à nouveau dans chaque scorecard.

4. Définissez les options de notation

Ajoutez les valeurs de notation possibles qu'un évaluateur ou l'IA peut sélectionner (par exemple : Bon, Correct, Mauvais). Chaque critère doit avoir au moins deux options de notation. Pour chaque option, vous devez :

Nommer la notation (court et clair)
Décrire quand elle doit être sélectionnée
Attribuer un score (par exemple, 100 %, 50 %, 0 %) ou la marquer comme Non notée

Le score que vous attribuez détermine comment cette notation contribue au score global de l'évaluation.

4b. Définir les raisons de notation (optionnel)

Pour chaque option de notation, vous pouvez définir une liste de raisons de notation qui sont des étiquettes prédéfinies expliquant pourquoi un score particulier a été donné. Les raisons de notation aident les évaluateurs et l'IA à catégoriser les scores de manière cohérente, facilitant l'identification des tendances dans les conversations.

Lorsque l'IA note un critère, elle sélectionne automatiquement la raison prédéfinie la plus pertinente si elle existe. Si aucune raison prédéfinie ne convient, l'IA génère une explication claire pour que chaque score ait un contexte significatif.

6. Activer la révision automatique (optionnel)

Vous pouvez automatiser tout le processus d'assurance qualité d'une scorecard en activant Auto-review scorecard.

Lorsqu'elle est activée :

Si l'IA note tous les critères de la scorecard, l'étape de révision manuelle est entièrement sautée.
Les coéquipiers peuvent toujours modifier manuellement toute note donnée par l'IA s'ils détectent une divergence.

Conseil : La révision automatique fonctionne mieux sur les scorecards où tous les critères sont notés par l'IA. Si un critère nécessite un humain, ces conversations apparaîtront toujours dans la file d'attente Unreviewed.

Configurez votre scorecard

Après avoir ajouté les critères de la scorecard, configurez comment ils affectent le résultat global de l'évaluation.

Marquer un critère de scorecard comme critique

Vous pouvez marquer un critère comme Critique. Si un critère critique reçoit une note d'échec, toute l'évaluation est marquée comme échouée — peu importe la note des autres critères :

L'évaluation apparaît comme Échec dans les vues de scorecard, même si le score pondéré aurait autrement atteint le seuil de réussite
Cela remplace le seuil de réussite et tous les poids
Les notations Non notées excluent le critère du score global et ne déclenchent pas d'échec

Les critères critiques sont utiles pour des normes non négociables telles que les exigences de conformité, la sécurité ou le respect des politiques, et la gestion des escalades.

Pondération des critères de scorecard

Chaque critère peut se voir attribuer un poids pour définir son importance relative.

Le poids doit être un entier entre 0 et 100
Des poids plus élevés augmentent l'impact de ce critère sur le score global de l'évaluation

Les poids ne s'appliquent qu'aux critères inclus dans le score d'évaluation. Utilisez les poids pour refléter ce qui compte le plus — par exemple, un poids plus élevé sur la Précision que sur l'Efficacité si la justesse est plus importante que la rapidité.

Note : Les poids sont relatifs les uns aux autres, pas fixés sur une échelle de 100. Le total peut atteindre n'importe quel nombre — ce qui compte, c'est la proportion que chaque critère contribue. Un critère avec un poids de 25 sur un total de 50 contribue autant qu'un poids de 50 sur 100.

Ajout d'un seuil de réussite

Vous pouvez définir un seuil de réussite — le score global minimum requis pour qu'une revue soit considérée comme réussie. Par exemple, si le seuil de réussite est de 80 %, toute revue en dessous de 80 % est marquée comme échouée.

Cela est évalué après le calcul pondéré, à condition qu'aucun critère critique n'ait déjà échoué la revue.

Comment fonctionne le score global de la revue

Chaque critère est évalué en utilisant ses options de notation définies.
Les notes contribuent avec leur score attribué (ou sont exclues si marquées Non noté).
Les critères inclus sont combinés en utilisant leurs poids attribués.
Si un critère critique reçoit une note d'échec, le score global de la revue devient 0 %.
Le score final est comparé au seuil de réussite pour déterminer si la revue est réussie ou échouée.

Voici un exemple de la façon dont trois critères se combinent en un score final :

Critères	Note sélectionnée	Score de la note	Poids
Précision	Bon	100 %	60
Ton	Correct	50 %	30
Efficacité	Bon	100 %	10

Score global = (100x60 + 50x30 + 100x10) / (60+30+10) = 85 %

Comment créer un Monitor

Les Monitors définissent quelles conversations sont examinées. Vous définissez les critères, choisissez le réviseur, et attachez une fiche d'évaluation pour évaluer la qualité. Une fois en service, les Monitors fonctionnent automatiquement et affichent les conversations correspondantes pour que votre équipe puisse agir.

Vous avez besoin d'au moins une fiche d'évaluation avant de pouvoir tirer le meilleur parti d'un monitor qui évalue les conversations humaines.

Pour accéder aux Monitors, allez à Fin AI Agent > Analyze > Monitors. Cliquez sur + Monitor pour commencer. Vous pouvez aussi choisir un modèle pour les Monitors Fin, les Monitors Teammate, ou les Monitors General.

Étape 1 : Choisissez comment les conversations sont évaluées

Donnez un nom à votre Monitor, puis choisissez comment les conversations sont évaluées. C'est ici que vous pouvez lier la fiche d'évaluation que vous avez créée pour évaluer les agents humains :

Associez une fiche d'évaluation au Monitor pour évaluer automatiquement chaque conversation correspondante selon les critères définis. Une fois sélectionnée, la fiche d'évaluation s'exécute dès qu'une conversation est ajoutée au Monitor, et les résultats apparaissent dans le Monitor pour le reporting et la revue.

Astuce : Attacher une fiche d'évaluation est ce qui rend un Monitor vraiment utile — sans elle, les conversations sont signalées mais non notées.

C'est aussi ici que vous pouvez sélectionner vos réviseurs. Toutes les conversations correspondant au Monitor sont automatiquement assignées aux réviseurs sélectionnés, ainsi les revues sont routées de manière cohérente sans coordination manuelle.

Note : Si la fiche d'évaluation attachée a l'Auto-review activé, le statut du réviseur affichera Auto-reviewed. Ces conversations contourneront la file d'attente manuelle Non revue sauf si l'IA détecte un échec ou ne peut pas noter les critères avec confiance.

Étape 2 : Choisissez les conversations

Votre Monitor peut cibler :

Un échantillon aléatoire — par exemple, un échantillon hebdomadaire de conversations du service client pour une QA de base
Un ensemble ciblé basé sur des signaux ou risques spécifiques — par exemple, toutes les conversations où un client montre des signes de vulnérabilité financière

Vous pouvez affiner les conversations en utilisant :

Filtres précis — État de résolution, Sujet, Score CX, et plus
Critères de signalement — saisie en langage naturel qui décrit les types de conversations que vous souhaitez signaler. Pour de l'aide à rédiger des critères efficaces, voir comment rédiger des critères efficaces pour Monitor et Scorecard.

Note : Une seule conversation peut apparaître dans plusieurs Monitors. Chaque Monitor fonctionne indépendamment, donc si une conversation correspond aux critères de plusieurs Monitors, elle sera signalée dans chacun. Cliquer sur une conversation montre exactement pourquoi elle a été signalée par ce Monitor.

Étape 3 : Choisissez un mode de Monitoring

Sélectionnez comment le Monitor fonctionne :

Continu : fonctionne en continu, correspondant aux nouvelles conversations à leur clôture et les ajoutant automatiquement
Unique : remplissage rétroactif uniquement, correspondant aux conversations des données historiques. Les nouvelles conversations clôturées après la configuration ne sont pas incluses
Planifié : s'exécute selon une cadence quotidienne ou hebdomadaire récurrente, permettant aux coéquipiers de revoir les conversations selon un planning régulier

Étape 4 : Sélectionnez la date de début

Choisissez quand le Monitor doit commencer à évaluer les conversations. Cela vous permet d'effectuer un contrôle qualité sur des conversations historiques à partir d'un point précis dans le temps, tout en faisant remonter continuellement de nouvelles conversations correspondantes à partir de cette date.

Note : Lors de la création initiale d'un Monitor, vous pouvez remonter jusqu'à 90 jours de conversations historiques. À partir de ce moment, le Monitor continue de capturer automatiquement les nouvelles conversations correspondantes.

Étape 5 : Choisissez quand les conversations sont ajoutées

Une conversation doit être clôturée avant de pouvoir être évaluée par un monitor QA humain.

Soumission des évaluations

Les conversations peuvent être examinées et soumises depuis différentes vues.

Dans toutes les vues :

La liste des conversations affiche le score global de l'évaluation (pourcentage ou Échec) ainsi que les notes individuelles des critères sous forme de colonnes. Cela facilite l'analyse des performances à travers les conversations et la détection des échecs ou des scores faibles.
Lorsque vous ouvrez une conversation et allez à l'onglet Score, vous pouvez voir la fiche d'évaluation assignée, le statut de la revue, le score global et la note sélectionnée pour chaque critère. Cette vue montre exactement comment le score final a été déterminé. Lorsqu'un critère est noté par IA, vous pouvez survoler la note dans l'onglet Score pour voir une info-bulle affichant la note sélectionnée, la description du critère et le raisonnement de l'IA pour ce score — le tout en un seul endroit.

Il existe plusieurs façons d'accéder et de soumettre des évaluations. Cliquez sur un monitor pour voir toutes les évaluations associées ou, sur la page Inbox, cliquez sur Assigned to me pour voir directement toutes les évaluations dont vous êtes responsable.

ou cliquez sur Reviews received pour voir directement toutes les évaluations qui ont été soumises pour vous en tant que coéquipier évalué.

Pour compléter une évaluation :

Ouvrez une conversation depuis la vue Assigned to me.
Allez à l'onglet Score et remplissez chaque critère de la fiche d'évaluation.
Les scores générés par l'IA peuvent être modifiés en cliquant sur la note.
Une fois tous les critères notés, soumettez l'évaluation, ou laissez-la pour une action ultérieure si nécessaire. Vous pouvez aussi ajouter des notes à l'évaluation pour donner un contexte sur la raison du score attribué.

Note : Si vous avez précédemment utilisé des statuts d'évaluation supplémentaires tels que Fix needed ou Won't fix, vous pouvez toujours filtrer par ceux-ci dans les monitors existants. Les nouveaux monitors ne supportent que Unreviewed et Submitted.

Rapports

Les rapports Monitor vous aident à suivre et mesurer la qualité des conversations. Vous pouvez utiliser ces métriques pour créer des rapports qui mettent en lumière les tendances de qualité et identifient les axes d'amélioration.

Toutes les métriques Monitor sont disponibles dans le générateur de rapports personnalisés, vous permettant de les combiner avec d'autres données Intercom pour créer des vues adaptées de la qualité des conversations.

Pour créer un rapport personnalisé utilisant les métriques Monitor, allez dans Reports > + New report > Create your own et sélectionnez les métriques dont vous avez besoin dans la catégorie Monitors. Vous pouvez filtrer par fiche d'évaluation, période ou tout autre attribut pour vous concentrer sur les segments les plus pertinents pour votre équipe.

Évaluation de la fiche d'évaluation

Nom de la métrique	Description
Fiches d'évaluation évaluées	Nombre d'évaluations de fiches d'évaluation.
Taux d'échec des fiches d'évaluation	Pourcentage d'évaluations de fiches d'évaluation ayant échoué.
Échecs des fiches d'évaluation	Nombre d'évaluations de fiches d'évaluation ayant échoué.
Taux de réussite des fiches d'évaluation	Pourcentage d'évaluations de fiches d'évaluation ayant réussi.
Réussites des fiches d'évaluation	Nombre d'évaluations de fiches d'évaluation ayant réussi.
Score des fiches d'évaluation	Le score d'évaluation attribué aux évaluations de fiches d'évaluation.

Évaluation des critères de la fiche d'évaluation

L'évaluation des critères de la fiche d'évaluation sont des données qualitatives utilisées pour catégoriser ou filtrer vos métriques.

Nom de la métrique	Description
Critères de fiches d'évaluation évalués	Nombre d'évaluations de critères de fiches d'évaluation.
Échecs des critères de fiches d'évaluation	Nombre d'évaluations de critères de fiches d'évaluation ayant échoué.
Réussites des critères de fiches d'évaluation	Nombre d'évaluations de critères de fiches d'évaluation ayant réussi.
Score des critères de fiches d'évaluation	Le score d'évaluation attribué aux critères de fiches d'évaluation

Attributs de rapport

Nom de l'attribut	Description
Moniteur	Le moniteur QA
Statut de la revue	Le statut actuel de la revue. Pour les moniteurs QA humains, les valeurs peuvent être `Unreviewed` ou `Submitted`.
Revu par	Le réviseur qui a complété ou est responsable de la revue.
Personne évaluée	Le coéquipier évalué dans la revue.
Fiche d'évaluation	Le modèle d'évaluation appliqué lors de la revue.
Résultat de la fiche d'évaluation	Le résultat final de l'évaluation de la fiche. Les valeurs d'exemple incluent : `Pass`, `Fail`, `N/A`, `Not complete`, et `Not scored`.
Score de la fiche d'évaluation	Le score quantitatif produit par l'évaluation de la fiche.

Autorisations

Pour modifier les fiches d'évaluation, les moniteurs et noter les conversations, les coéquipiers ont besoin des deux autorisations suivantes :

Peut accéder aux paramètres Fin AI Agent et Automation
Peut créer, modifier et partager en interne des Rapports

Les coéquipiers qui n'ont pas les deux autorisations ne peuvent pas voir les moniteurs QA humains et ne peuvent voir que les revues de leur propre travail via la vue Reviews received. Ils ne peuvent pas modifier les critères notés par l'IA sur leurs propres revues.

Note : Les coéquipiers ont besoin des deux autorisations car le QA humain combine deux domaines produits — les fiches d'évaluation se trouvent dans Fin AI Agent, et les données de revue alimentent les Rapports. Accorder une seule autorisation empêchera l'accès à la fonctionnalité.

FAQs

Comment les conversations multi-coéquipiers sont-elles évaluées ?

Seul le coéquipier assigné à la conversation est évalué. Si plusieurs coéquipiers ont participé, seules les réponses du coéquipier assigné sont notées — le reste de la conversation sert uniquement de contexte. Le fil complet de la conversation est envoyé au LLM, chaque partie annotée par auteur, puis une instruction ciblée lui demande de noter uniquement les réponses de ce coéquipier spécifique et de traiter tout le reste comme contexte.

Quel plan dois-je utiliser pour les Monitors de QA agent humain ?

Les Monitors pour QA agent humain sont disponibles dans le module complémentaire Pro. Ils ne sont pas inclus dans les plans Essential, Advanced ou Expert standards — vous devez avoir le module Pro attaché à votre abonnement pour accéder aux fiches d'évaluation et aux Monitors QA humains. Pro est tarifé selon le volume de conversations, pas par siège — à partir de 99 $/mois pour jusqu'à 1 000 conversations Pro, avec tarification progressive pour volume supplémentaire.

Y a-t-il des limites au nombre de Monitors ou de critères de fiche d'évaluation que je peux créer ?

Oui, chaque espace de travail a les limites suivantes :

20 Monitors actifs utilisant des critères de signalement en langage naturel (le champ où vous décrivez en anglais simple quelles conversations signaler). Les Monitors qui utilisent uniquement des filtres précis (Resolution State, Topic, CX Score) ne comptent pas dans cette limite.
20 critères notés par l'IA sur toutes vos fiches d'évaluation. Les critères notés par des humains ne comptent pas dans cette limite.

Le scoring IA coûte-t-il un supplément par conversation évaluée ?

Il n'y a pas de frais supplémentaires par conversation pour le scoring IA, il est inclus dans le module Pro — chaque conversation est comptée une fois dans votre volume Pro, peu importe combien de critères notés par l'IA l'évaluent ou combien de Monitors la signalent.

Y a-t-il des limites au nombre de conversations que je peux avoir par mois ?

Non, les Monitors n'ont pas de limite mensuelle distincte pour les revues — chaque conversation correspondant à un Monitors actif sera évaluée. Ce que vous payez, c'est votre volume de conversations Pro, pas le nombre de revues Monitors. Si vous voulez limiter le volume de conversations envoyées à la revue humaine, configurez les paramètres d'échantillonnage de votre Monitors — vous pouvez limiter les revues à un échantillon aléatoire (par exemple, 10 conversations par jour) plutôt que de revoir chaque correspondance. Vous pouvez aussi définir un plafond dur sur votre volume total de conversations Pro pour garder la facturation prévisible. Une fois ce plafond atteint, les conversations Pro ne sont plus comptabilisées pour le reste du cycle de facturation.

Dois-je payer pour chaque coéquipier que je révise ?

Non, Pro est tarifé selon le volume de conversations, pas par siège. Une fois que votre espace de travail a le module Pro, vous pouvez réviser les conversations de n'importe quel nombre de coéquipiers — ce que vous payez, c'est le volume de conversations que votre espace gère, pas le nombre de coéquipiers évalués ou évaluant.

Quelles autorisations dois-je avoir pour configurer et utiliser le QA agent humain ?

Pour créer des fiches d'évaluation, modifier les Monitors et noter les conversations, vous avez besoin des deux :

Peut accéder aux paramètres Fin AI Agent et Automation, et
Peut créer, modifier et partager en interne des Rapports

Si vous n'avez qu'une seule de ces autorisations, vous pourrez voir les revues de votre propre travail via la vue Reviews received, mais vous ne pourrez rien créer ni modifier.

Un critère critique échoué annule-t-il mon score de revue ?

Non, le score pondéré est toujours calculé normalement — mais la revue est marquée comme Échec quel que soit le score pondéré. L'exception critique s'applique au résultat réussite/échec, pas au score numérique.

Que signifie « Not scored » et en quoi est-ce différent d'une note de 0 % ?

Une « note Not scored » signifie que le critère est entièrement ignoré — il ne contribue pas au score global de la revue et ne déclenche pas d'échec critique, même s'il est marqué critique. Une note de 0 % compte toujours : elle contribue poids × 0 au score global, et si le critère est critique, la revue échouera. Utilisez Not scored quand un critère ne s'applique pas à la conversation spécifique (par exemple un critère de ton sur une conversation qui s'est terminée en une seule réponse).

Pourquoi les poids de mes critères n'ont-ils pas besoin de totaliser 100 ?

Les poids sont proportionnels, pas absolus. Deux critères pondérés 25 et 75 produisent le même résultat que deux critères pondérés 1 et 3 — ce qui compte est le ratio entre eux, pas le total. Cela signifie que vous pouvez ajuster le poids d'un critère sans devoir rééquilibrer manuellement les autres.

Quand l'auto-revue saute-t-elle complètement la file Unreviewed ?

L'auto-examen saute la file Unreviewed uniquement lorsque toutes les conditions suivantes sont remplies :

La fiche d'évaluation a l'Auto-review activé
Chaque critère de la fiche d'évaluation est noté par AI (aucun critère noté par un humain)
L'IA a pu noter chaque critère avec confiance

Si même un seul critère est noté par un humain — ou si l'IA n'a pas pu noter un critère avec confiance — la conversation va dans la file Unreviewed pour une révision manuelle.

Puis-je changer le type d'un Monitor après l'avoir créé ?

Non, une fois qu'un Monitor est créé en tant que Continu, One-time ou Scheduled, le type ne peut pas être changé. Si vous avez besoin d'un type différent, archivez le Monitor existant et créez-en un nouveau.

Que se passe-t-il avec les évaluations existantes si je modifie une fiche d'évaluation ?

Les évaluations existantes restent notées selon la version de la fiche d'évaluation qui était active lors de leur création. Elles ne sont pas re-notées selon la nouvelle version.

Les nouvelles conversations correspondantes après la modification sont notées selon la fiche d'évaluation mise à jour. C'est pourquoi vous verrez parfois d'anciennes évaluations faisant référence à des critères qui n'existent plus sur la fiche d'évaluation actuelle.

Pourquoi mon évaluateur a-t-il changé après que j'ai modifié les critères ?

Lorsque n'importe quel coéquipier met à jour un critère dans une évaluation (qu'il soit noté par AI ou manuellement), l'évaluateur de cette évaluation est automatiquement défini sur la personne qui a fait la dernière modification. Cela s'applique à toutes les fiches d'évaluation, y compris celles avec auto-examen — modifier une conversation auto-examinée remplacera Auto-reviewed par votre nom.

Le statut de l'évaluation n'est pas modifié automatiquement.

La même conversation peut-elle apparaître dans plusieurs Monitors ?

Oui, une conversation peut correspondre aux critères de plus d'un Monitor — chaque Monitor fonctionne et évalue indépendamment, donc la conversation peut avoir plusieurs séries de notes de fiches d'évaluation de différents évaluateurs. Lorsque vous ouvrez la conversation, vous verrez quel Monitor l'a signalée pour chaque série de notes.

Puis-je réutiliser des critères dans plusieurs fiches d'évaluation ?

Oui — une fois que vous avez créé un critère (nom + description), vous pouvez l'attacher à d'autres fiches d'évaluation depuis le menu + Criteria. Cependant, les options de notation et les scores ne sont pas transférés — vous devrez définir les notations, scores et poids à partir de zéro dans chaque fiche d'évaluation à laquelle vous ajoutez le critère.

Bientôt disponible

Conseils de coaching pour coéquipiers : Conseils de coaching pilotés par AI pour les coéquipiers évalués, ainsi que pour les managers qui les évaluent.
Calibration workflows : La calibration aide les évaluateurs à s'aligner sur les standards d'évaluation en évaluant des exemples partagés et en comparant les résultats, améliorant la cohérence et l'équité dans les retours et la mesure de la qualité.
Dispute workflow : Les coéquipiers pourront contester leurs évaluations.
Évaluation contre la knowledge base : Évaluez les conversations par rapport à votre contenu de support et vos politiques, aidant à garantir que les coéquipiers suivent les processus internes.
Tri et réarrangement des colonnes dans les moniteurs QA humains.

Commencer avec l'assurance qualité des coéquipiers humains dans Monitors