Une scorecard personnalisée définit ce qu'est la qualité pour votre équipe en établissant explicitement les critères qui comptent pour vous - tels que la précision, le ton ou le respect des politiques. Les scorecards fonctionnent avec les Monitors : un Monitor définit quelles conversations sont examinées, et une scorecard définit comment chacune est évaluée. Les Monitors peuvent évaluer à la fois les conversations Fin AI Agent et celles des coéquipiers humains.
Vous pouvez avoir plusieurs scorecards pour différents Monitors. Choisissez la scorecard à associer à un Monitor depuis l'écran de configuration du Monitor :
Note : Les scorecards sont disponibles dans le cadre du module complémentaire Pro.
Pour créer une scorecard
Allez dans Fin AI Agent > Analyse > Monitors et cliquez sur Scorecards. Vous pouvez utiliser la Fin Quality Scorecard prête à l'emploi ou créer la vôtre en cliquant sur + Nouvelle scorecard :
Créer un nouveau critère de scorecard
Commencez par ajouter des critères de scorecard. Cliquez d'abord sur Nouvelle scorecard > + Critère > Créer nouveau.
Lors de la création d'un nouvel attribut, suivez les étapes suivantes :
1. Nommez le critère
Donnez au critère un nom court et clair (par exemple, Sentiment ou Précision de la réponse). Ce nom apparaît dans les rapports et sera utilisé comme référence.
2. Décrivez ce qui est évalué
Ajoutez une description claire expliquant ce que le critère vérifie et comment il doit être noté. La description est l'invite que l'IA utilise pour noter ce critère, et plus elle est précise, plus l'IA évaluera les conversations avec exactitude. Elle aide également les examinateurs humains à appliquer les mêmes critères de manière cohérente.
Astuce : Pour vous aider à rédiger des descriptions efficaces, consultez comment rédiger des critères efficaces pour Monitor et Scorecard.
3. Choisissez comment le critère est noté
Décidez si le critère doit être noté automatiquement par l'IA ou manuellement par des examinateurs humains. Vous pouvez mélanger des attributs notés par l'IA et par des humains dans la même scorecard.
Note : Les titres et descriptions des critères de scorecard sont réutilisables. Une fois qu'un attribut est créé, vous pouvez l'ajouter à plusieurs scorecards. Les notes précédentes ne peuvent pas être réutilisées et doivent être définies à nouveau dans chaque scorecard.
4. Définissez les options de notation
Ajoutez les valeurs de notation possibles qu'un examinateur ou l'IA peut sélectionner (par exemple : Bon, Moyen, Mauvais). Chaque attribut doit avoir au moins deux options de notation. Pour chaque option de notation, vous devrez :
Nommer la notation (court et clair)
Décrire quand elle doit être sélectionnée
Attribuer un score (par exemple, 100 %, 50 %, 0 %) ou la marquer comme Non noté
Le score que vous attribuez détermine comment cette notation contribue au score global de l'examen.
4b. Définir les raisons de notation (optionnel)
Pour chaque option de notation, vous pouvez définir une liste de raisons de notation qui sont des étiquettes prédéfinies expliquant pourquoi un score particulier a été donné. Les raisons de notation aident les examinateurs et l'IA à catégoriser les scores de manière cohérente, facilitant l'identification des tendances à travers les conversations.
Lorsque l'IA note un critère, elle sélectionne automatiquement la raison prédéfinie la plus pertinente si elle existe. Si aucune raison prédéfinie ne convient, l'IA génère une explication claire pour que chaque score ait un contexte significatif.
5. Activer la révision automatique (optionnel)
Vous pouvez automatiser tout le processus QA d'une scorecard en activant Révision automatique de la scorecard.
Une fois activé :
Si l'IA note tous les critères de la scorecard, l'étape de révision manuelle est entièrement sautée.
Les coéquipiers peuvent toujours modifier manuellement toute note IA s'ils détectent une divergence.
Astuce : La révision automatique fonctionne mieux sur les scorecards où tous les critères sont notés par l'IA. Si un critère nécessite un humain, ces conversations apparaîtront toujours dans la file d'attente Non révisée.
Configurez votre scorecard
Après avoir ajouté des critères de scorecard, configurez comment ils affectent le résultat global de l'examen.
Marquer un critère de scorecard comme critique
Vous pouvez marquer un critère comme Critique. Si un critère critique reçoit une note d'échec, l'examen entier échoue :
Le score global de l'examen devient 0 %
Cela annule tous les poids
Les notations non notées excluent le critère du score global et ne déclenchent pas d'échec
Les critères critiques sont utiles pour des normes non négociables telles que les exigences de conformité, la sécurité ou le respect des politiques, et la gestion des escalades.
Pondération des critères de scorecard
Chaque critère peut se voir attribuer un poids pour définir son importance relative.
Le poids doit être un entier entre 0 et 100
Des poids plus élevés augmentent l'impact de ce critère sur le score global de l'examen
Utilisez les poids pour refléter ce qui compte le plus — par exemple, un poids plus élevé sur la Précision que sur l'Efficacité si la justesse est plus importante que la rapidité.
Note :
Les poids sont relatifs les uns aux autres, pas fixés à une échelle de 100. Le total peut atteindre n'importe quel nombre — ce qui compte, c'est la proportion que chaque critère contribue. Un critère avec un poids de 25 sur un total de 50 contribue autant qu'un critère pondéré à 50 sur 100.
L'option « Inclure dans le score de l'examen » a été supprimée de l'interface de la scorecard.
Ajouter un seuil de réussite
Vous pouvez définir un seuil de réussite — le score global minimum requis pour qu'un examen soit considéré comme réussi. Par exemple, si le seuil de réussite est de 80 %, tout examen avec un score inférieur à 80 % est marqué comme échoué.
Cela est évalué après la notation pondérée, à condition qu'aucun critère critique n'ait déjà fait échouer l'examen.
Comment fonctionne le score global de l'examen
Chaque critère est noté en utilisant ses options de notation définies.
Les notations contribuent avec leur score attribué (ou sont exclues si marquées Non noté).
Tous les critères sont combinés en utilisant leurs poids attribués.
Si un critère critique reçoit une note d'échec, le score global de l'examen devient 0 %.
Le score final est comparé au seuil de réussite pour déterminer si l'examen est réussi ou échoué.
Voici un exemple de la façon dont trois critères se combinent en un score final :
Critère | Notation sélectionnée | Score de notation | Poids |
Précision | Bon | 100 % | 60 |
Ton | Moyen | 50 % | 30 |
Efficacité | Bon | 100 % | 10 |
Score global = (100x60 + 50x30 + 100x10) / (60+30+10) = 85%
Où voir les scores
Une fois les examens terminés, les scores sont visibles à la fois dans la liste des conversations et dans chaque conversation.
Dans Monitor, la liste des conversations affiche le score global de l'examen (pourcentage ou Échec) à côté des notations des critères individuels sous forme de colonnes. Cela facilite la lecture des performances à travers les conversations et la détection des échecs ou des scores faibles.
Lorsque vous ouvrez une conversation et allez dans l'onglet Révision, vous pouvez voir la scorecard assignée, le statut de l'examen, le score global et la notation sélectionnée pour chaque critère. Cette vue montre exactement comment le score final a été déterminé.
Lorsque Fin note un critère à l'aide de l'IA, vous pouvez survoler la notation dans l'onglet Révision pour voir une info-bulle affichant la notation sélectionnée, la description du critère et le raisonnement de Fin pour ce score, le tout au même endroit.
Comment les coéquipiers voient leurs propres scores
Les coéquipiers peuvent voir les examens soumis sur leurs propres conversations en allant dans leur Inbox et en cliquant sur File d'attente de révision > Examens reçus dans la barre latérale gauche.
Cette vue montre tous les examens terminés, y compris :
Le score global de l'examen (codé en vert pour réussi, rouge pour échoué)
Qui a soumis l'examen — soit un examinateur nommé, soit Auto-reviewed (lorsque la révision automatique IA a exécuté la scorecard)
Sous quel Monitor l'examen a été soumis
Le statut de l'examen
Les coéquipiers peuvent cliquer sur n'importe quel examen pour voir la répartition complète de la scorecard.
Note : Si « Auto-reviewed » apparaît dans la colonne Examinateur, la scorecard a été notée automatiquement par l'IA. Vous pouvez cliquer sur l'examen pour voir le raisonnement de Fin pour chaque notation.
FAQ
Puis-je réutiliser les critères de scorecard dans plusieurs scorecards ?
Puis-je réutiliser les critères de scorecard dans plusieurs scorecards ?
Oui, les titres et descriptions des critères sont réutilisables. Une fois qu'un critère est créé, vous pouvez l'ajouter à plusieurs scorecards. Notez que les notes précédentes ne peuvent pas être réutilisées et doivent être définies à nouveau dans chaque scorecard.
Que se passe-t-il si je n'attache pas de scorecard à un monitor ?
Que se passe-t-il si je n'attache pas de scorecard à un monitor ?
Le monitor signalera toujours les conversations qui correspondent à vos critères, mais aucune notation ne sera effectuée. Les examinateurs verront les conversations signalées sans aucun critère de scorecard à remplir. Pour activer l'évaluation, attachez une scorecard lors de la configuration du monitor.
Puis-je mélanger des critères notés par l'IA et manuellement dans la même scorecard ?
Puis-je mélanger des critères notés par l'IA et manuellement dans la même scorecard ?
Oui. Vous pouvez choisir pour chaque critère si l'IA ou un examinateur humain gère la notation. Notez que si la révision automatique est activée et qu'un critère nécessite une notation manuelle, ces conversations apparaîtront toujours dans la file d'attente Non révisée.
Que fait un critère critique ?
Que fait un critère critique ?
Si un critère critique reçoit une note d'échec, le score global de l'examen tombe à 0 % quel que soit le score des autres critères. Cela est utile pour des normes non négociables — conformité, sécurité ou gestion des escalades — où un seul échec doit tout annuler.