Monitors pour l'assurance qualité des coéquipiers humains vous permettent d'évaluer et d'améliorer la qualité des conversations de vos coéquipiers à grande échelle. Vous définissez quelles conversations sont examinées, joignez une scorecard personnalisée pour les noter, et assignez des évaluateurs - le tout automatiquement.

Un Monitor sélectionne quelles conversations examiner. Une Scorecard définit comment chacune est évaluée — les critères spécifiques qui vous importent, tels que la précision, le ton ou le respect des politiques. Ensemble, ils vous offrent un moyen cohérent et évolutif de mesurer et d'améliorer la qualité des conversations au sein de votre équipe.

La configuration de l'assurance qualité des agents humains se fait en deux étapes :

Allez dans Fin AI Agent > Analyze > Monitors et cliquez sur Scorecards.

Créez la vôtre en cliquant sur + Nouvelle scorecard :

Commencez par sélectionner qui est évalué. Cliquez sur Human teammates assigned et choisissez soit des coéquipiers dans des équipes spécifiques, soit des coéquipiers individuels.

Ensuite, utilisez If multiple teammates reply, review pour choisir quel coéquipier est évalué lorsque plusieurs coéquipiers assignés ont répondu :

Les nouvelles scorecards commencent avec Coéquipier le plus actif.

Ensuite, ajoutez vos critères de scorecard. Cliquez d'abord sur + Critères > Créer nouveau.

Lors de la création d'un nouveau critère, suivez les étapes suivantes :

Donnez au critère un nom court et clair (par exemple, Sentiment ou Précision de la réponse). Ce nom apparaît dans les rapports et sera utilisé comme référence.

Ajoutez une description claire expliquant ce que le critère vérifie et comment il doit être noté. La description est l'invite que l'IA utilise pour noter ce critère, et plus elle est précise, plus l'IA évaluera précisément les conversations. Elle aide aussi les évaluateurs humains à appliquer les mêmes critères de manière cohérente.

Décidez si le critère doit être noté automatiquement par l'IA ou manuellement par des évaluateurs humains. Vous pouvez mélanger des critères notés par l'IA et par des humains dans la même scorecard.

Ajoutez les valeurs de notation possibles qu'un évaluateur ou l'IA peut sélectionner (par exemple : Bon, Correct, Mauvais). Chaque critère doit avoir au moins deux options de notation. Pour chaque option, vous devrez :

Le score que vous attribuez détermine comment cette note contribue au score global de l'évaluation.

Pour chaque option de notation, vous pouvez définir une liste de raisons de notation qui sont des étiquettes prédéfinies expliquant pourquoi un score particulier a été donné. Les raisons de notation aident les évaluateurs et l'IA à catégoriser les scores de manière cohérente, facilitant l'identification des tendances dans les conversations.

Lorsque l'IA note un critère, elle sélectionne automatiquement la raison prédéfinie la plus pertinente si elle existe. Si aucune raison prédéfinie ne convient, l'IA génère une explication claire pour que chaque note ait un contexte significatif.

Vous pouvez automatiser tout le processus d'assurance qualité d'une scorecard en activant Révision automatique de la scorecard.

Lorsqu'elle est activée :

Après avoir ajouté des critères à la scorecard, configurez comment ils affectent le résultat global de l'évaluation.

Vous pouvez marquer un critère comme Critique. Si un critère critique reçoit une note d'échec, toute l'évaluation est marquée comme échouée — peu importe les notes des autres critères :

Les critères critiques sont utiles pour des normes non négociables telles que les exigences de conformité, la sécurité ou le respect des politiques, et la gestion des escalades.

Chaque critère peut se voir attribuer un poids pour définir son importance relative.

Les poids ne s'appliquent qu'aux critères inclus dans le score de l'évaluation. Utilisez les poids pour refléter ce qui compte le plus — par exemple, un poids plus élevé sur la Précision que sur l'Efficacité si la justesse est plus importante que la rapidité.

Vous pouvez définir un seuil de réussite — le score global minimum requis pour qu'une évaluation soit considérée comme réussie. Par exemple, si le seuil de réussite est de 80 %, toute évaluation en dessous de 80 % est marquée comme échouée.

Cela est évalué après le calcul pondéré, à condition qu'aucun critère critique n'ait déjà échoué à l'évaluation.

Voici un exemple de la façon dont trois critères se combinent en un score final :

Score global = (100x60 + 50x30 + 100x10) / (60+30+10) = 85%

Les Monitors définissent quelles conversations sont évaluées. Vous définissez les critères, choisissez le réviseur, et attachez un tableau de bord pour évaluer la qualité. Une fois en service, les Monitors fonctionnent automatiquement et affichent les conversations correspondantes pour que votre équipe puisse agir.

Vous avez besoin d'au moins un tableau de bord avant de pouvoir tirer le meilleur parti d'un monitor qui évalue les conversations humaines.

Pour accéder aux Monitors, allez à Fin AI Agent > Analyze > Monitors. Cliquez sur + Monitor pour commencer. Vous pouvez aussi choisir un modèle pour les Monitors Fin, les Monitors Teammate ou les Monitors General.

Donnez un nom à votre Monitor, puis choisissez comment les conversations sont évaluées. C'est ici que vous pouvez lier le tableau de bord que vous avez créé pour évaluer les agents humains :

Associez un tableau de bord au Monitor pour évaluer automatiquement chaque conversation correspondante selon les critères définis. Une fois sélectionné, le tableau de bord s'exécute dès qu'une conversation est ajoutée au Monitor, et les résultats apparaissent dans le Monitor pour le reporting et la revue.

C'est aussi ici que vous pouvez sélectionner vos réviseurs. Toutes les conversations correspondant au Monitor sont automatiquement assignées aux réviseurs sélectionnés, ainsi les évaluations sont routées de manière cohérente sans coordination manuelle.

Votre Monitor peut cibler :

Vous pouvez affiner les conversations en utilisant :

Sélectionnez comment le Monitor fonctionne :

Choisissez quand le Monitor doit commencer à évaluer les conversations. Cela vous permet de faire de la QA sur des conversations historiques à partir d'un moment précis, tout en affichant continuellement les nouvelles conversations correspondantes à partir de cette date.

Une conversation doit être clôturée avant de pouvoir être évaluée par un monitor QA humain.

Les conversations peuvent être examinées et soumises depuis différentes vues.

Dans toutes les vues :

Il existe plusieurs façons d'accéder et de soumettre des évaluations. Cliquez sur un monitor pour voir toutes les évaluations associées ou sur la page Inbox cliquez sur Assigned to me pour voir directement toutes les évaluations dont vous êtes responsable.

ou cliquez sur Reviews received pour voir directement toutes les évaluations qui ont été soumises pour vous en tant que coéquipier évalué.

Pour compléter une évaluation :

Les rapports Monitor vous aident à suivre et mesurer la qualité des conversations. Vous pouvez utiliser ces métriques pour créer des rapports qui mettent en lumière les tendances de qualité et identifient les axes d'amélioration.

Toutes les métriques Monitor sont disponibles dans le générateur de rapports personnalisés, vous permettant de les combiner avec d'autres données Intercom pour créer des vues adaptées de la qualité des conversations.

Pour créer un rapport personnalisé avec les métriques Monitor, allez dans Rapports > + Nouveau rapport > Créez le vôtre et sélectionnez les métriques dont vous avez besoin dans la catégorie Monitors. Vous pouvez filtrer par fiche d'évaluation, période ou tout autre attribut pour vous concentrer sur les segments les plus pertinents pour votre équipe.

L'évaluation des critères de la fiche d'évaluation sont des données qualitatives utilisées pour catégoriser ou filtrer vos métriques.

Les autorisations pour le QA humain se trouvent dans une nouvelle section Evaluations (Paramètres > Espace de travail > Coéquipiers > Evaluations), séparée des accès aux rapports et aux paramètres Fin AI Agent et Automation.

L'accès aux revues suit toujours l'accès aux conversations — un coéquipier ne peut accéder qu'aux revues des conversations auxquelles il a déjà accès. Quelques règles s'appliquent à tous : les coéquipiers peuvent toujours voir les revues de leur propre travail ; les coéquipiers ne peuvent jamais revoir leur propre travail ; une revue assignée à un évaluateur spécifique ne peut être complétée que par cet évaluateur sauf si celui-ci a l'autorisation Peut accéder aux revues des autres coéquipiers ; et un Moniteur sans évaluateurs assignés fonctionne comme une file ouverte que tout coéquipier ayant accès à la conversation peut prendre.

Dans les conversations impliquant plusieurs participants (par exemple, Fin commence la conversation et un coéquipier la termine ou plusieurs coéquipiers sont impliqués), le tableau de bord reflète la contribution individuelle du participant spécifié par le Client lors de la configuration du tableau de bord.

Les Moniteurs et tableaux de bord personnalisés sont conçus pour soutenir la revue de la qualité des conversations, pas pour évaluer la performance individuelle des coéquipiers à des fins d'emploi. Les clients ne sont pas autorisés à se fier uniquement aux tableaux de bord personnalisés évalués par l'IA pour influencer matériellement les décisions liées à l'emploi des agents humains, sans revue humaine appropriée. Une telle utilisation serait contraire aux Conditions d'utilisation des produits IA de Fin et à la Politique d'utilisation acceptable.

Lorsque les Moniteurs et tableaux de bord personnalisés sont utilisés dans le contexte des conversations avec des agents humains, les clients restent seuls responsables de s'assurer que leur utilisation respecte toutes les lois applicables, y compris les obligations de protection des données et de transparence de l'IA.