Utilisez cet article pour demander à Operator de créer, exécuter et analyser des évaluations, examiner les modifications proposées et planifier des exécutions récurrentes. Operator peut aussi recommander des améliorations pour vos évaluations et simulations ou pour la configuration de Fin. Pour les bases, y compris ce que sont les évaluations et simulations, consultez Evals for Fin.
Note : Pour utiliser les évaluations avec Operator, votre espace de travail doit disposer du module complémentaire Pro et vous devez avoir accès à Operator.
Comment créer une évaluation avec Operator
Pour créer une évaluation avec Operator, allez à Fin AI Agent > Operator et demandez-lui de créer une évaluation pour votre cas d'utilisation.
Par exemple, vous pourriez lui demander de tester :
La version sur laquelle vous travaillez : les modifications de la configuration de Fin dans votre version actuelle, avant leur mise en production.
Conversations spécifiques : partagez un ou plusieurs identifiants de conversation, et Operator crée des simulations qui les reproduisent.
Cas limites que vous n'avez pas encore couverts : demandez à Operator de rechercher des lacunes dans vos simulations existantes et de suggérer de nouvelles.
Une procédure nouvelle ou mise à jour : vérifiez que Fin suit chaque étape, y compris les points où il doit transférer.
Un sujet : nommez un sujet, comme les remboursements, et Operator crée des simulations couvrant la gamme de scénarios pour lesquels les clients sont susceptibles de vous contacter.
Plus de variantes d'une évaluation existante : demandez à Operator d'ajouter des simulations avec différents clients, tons ou langues.
Vous pouvez indiquer à Operator ce que doivent être les simulations, les contrôles de simulation et les contrôles de transfert, ou le laisser les déterminer. Si quelque chose n'est pas clair, comme s'il faut ajouter des simulations à une évaluation existante ou à quelle équipe un transfert doit être adressé, Operator vous demande d'abord. Choisissez une option, tapez votre propre réponse sous Autre chose, ou cliquez sur Ignorer pour laisser Operator décider.
Conseil : Plus votre demande est précise, moins Operator aura de questions à poser.
Exemple d'invite : Créez une nouvelle évaluation appelée « Demandes de remboursement » avec 5 simulations : une demande de remboursement simple, un client demandant un remboursement hors délai, un client frustré facturé deux fois, un client demandant en espagnol, et un cas où Fin doit transférer à l'équipe de facturation. Pour l'adapter, remplacez le nom de l'évaluation et les scénarios par votre propre sujet et vos cas.
Comment examiner et enregistrer ce qu'Operator crée
Operator ne sauvegarde rien tant que vous ne l'avez pas examiné. Les nouvelles évaluations et simulations apparaissent dans le panneau « modifications en attente » au-dessus de la zone de message, chacune marquée « Nouvelle ». Cliquez sur un élément pour l'examiner avant de l'enregistrer.
Lorsque vous êtes prêt, choisissez où enregistrer les modifications :
Publier dans la branche principale : enregistre toutes les modifications en attente dans vos évaluations en direct immédiatement.
Enregistrer dans un brouillon de version : enregistre les modifications dans un brouillon de version existant, afin que vous puissiez les tester avec d'autres modifications avant leur mise en production. Sélectionnez un brouillon dans la liste ou cliquez sur Nouveau brouillon de version pour en créer un.
Pour annuler les modifications, cliquez sur l'icône de suppression.
Comment exécuter une évaluation avec Operator
Pour exécuter une évaluation avec Operator, demandez-lui d'exécuter l'évaluation, par exemple : Exécutez l'évaluation Demandes de remboursement. Operator vous montre les résultats au fur et à mesure que chaque simulation s'exécute.
Vous n'avez pas besoin d'Operator pour exécuter une évaluation. Allez à Fin AI Agent > Test > Evals et exécutez-la vous-même. Les exécutions lancées depuis Operator y apparaissent aussi, vous permettant de consulter tous les résultats en un seul endroit.
Comment lire les résultats fournis par Operator
Une fois que chaque simulation s'est exécutée, Operator présente les résultats et les explique :
Un tableau des résultats : le résultat global de chaque simulation (Réussi, Échoué ou Erreur) et les contrôles individuels qui le sous-tendent, pour que vous puissiez voir pourquoi il a abouti à ce résultat. Par exemple, une simulation appelée « Exportation en masse de l'espace de travail » peut échouer parce que le contrôle de transfert a échoué (Fin a escaladé alors qu'il n'aurait pas dû), même si le contrôle de réponse de Fin a réussi.
Un résumé : les chiffres principaux (3 réussis, 1 échoué, 2 erreurs), suivis d'une explication claire de ce qui a mal tourné et pourquoi. Par exemple, Operator peut retracer un échec d'exportation à une règle de guidage qui transfère à un coéquipier chaque fois que le mot « échec » apparaît.
Comment résoudre les problèmes avec Operator
Après avoir analysé les résultats, Operator peut recommander des améliorations, soit pour vos évaluations et simulations, soit pour la configuration de Fin, et effectuer ces modifications pour vous. Par exemple, lorsqu'une simulation échoue à cause d'une règle de guidage, Operator retrace l'échec jusqu'à cette règle pour que vous puissiez voir ce qu'il faut corriger. Operator n'applique pas les corrections de lui-même. Chaque modification proposée apparaît dans le panneau « modifications en attente » pour que vous puissiez l'examiner avant qu'elle soit enregistrée, comme décrit dans Comment examiner et enregistrer ce qu'Operator crée.
Comment planifier des évaluations avec Operator et les routines
Pour exécuter des évaluations selon un calendrier régulier, par exemple chaque lundi matin, configurez une routine dans Operator. Vous ne pouvez pas planifier des évaluations depuis la page des évaluations.
Pour planifier une évaluation :
Allez à Fin AI Agent > Operator et cliquez sur Routines.
Sous Configurer une routine, décrivez ce que vous voulez exécuter et quand. Par exemple : « Exécutez l'évaluation Demandes de remboursement chaque lundi à 9h et résumez les résultats. »
Operator rédige la routine et l'affiche dans un panneau à droite, avec son déclencheur, son calendrier et ses instructions. Si quelque chose manque, comme l'heure ou le fuseau horaire, Operator suggère une valeur par défaut et vous demande de confirmer ou modifier.
Vérifiez les détails de la routine, puis cliquez sur Accepter pour l'activer, ou sur Annuler pour l'annuler.
Chaque fois que la routine s'exécute, elle rapporte combien de simulations ont réussi et échoué, lesquelles ont échoué et pourquoi, ainsi que les corrections recommandées pour le contenu, les consignes ou les procédures de Fin.