Utilisez cet article pour exécuter les simulations dans un Eval, lire les résultats sur une page Eval, et examiner comment Fin s'est comporté sur une seule simulation.
Comment exécuter les simulations dans un Eval
Pour exécuter toutes les simulations d'un Eval en une fois, ouvrez l'Eval et cliquez sur Exécuter tout. Pour exécuter une simulation, cliquez sur le bouton d'exécution dans sa ligne. Pendant qu'une simulation s'exécute, sa colonne Dernière exécution affiche À l'instant et sa colonne Résultat affiche En cours. Lorsqu'elle se termine, Résultat change en Réussi, Échoué ou Erreur.
Que se passe-t-il lorsque vous exécutez un Eval ?
Lorsque vous exécutez un Eval, les résultats ne sont pas instantanés, car chaque simulation est une conversation complète à plusieurs tours. Fin répond, le client simulé répond, et la conversation continue jusqu'à sa fin. Ensuite, les vérifications et tout Scorecard sont notés. Une simulation peut prendre quelques minutes, et un Eval complet peut prendre plus de temps.
Les simulations sont mises en file d'attente et exécutées quelques-unes à la fois, pas toutes en même temps. Pendant qu'elles attendent, elles s'affichent comme En file d'attente. Une fois qu'elles commencent, elles s'affichent comme En cours.
Le résultat de l'Eval se met à jour à mesure que chaque simulation se termine, par exemple 3/10 En cours. Les scores du Scorecard apparaissent peu après la fin de la conversation.
Les exécutions se déroulent en arrière-plan. Vous pouvez quitter la page et revenir plus tard pour voir les résultats. Vous ne recevrez pas de notification lorsque l'exécution se termine.
Si vous exécutez plusieurs Evals en même temps, ils se mettent en file d'attente les uns derrière les autres, donc chacun prend plus de temps à se terminer.
Pour arrêter une exécution, cliquez sur le bouton d'arrêt sur l'Eval ou la simulation. Les simulations arrêtées comptent toujours dans votre quota mensuel de simulations.
Pour exécuter seulement certaines simulations, sélectionnez-les et cliquez sur Exécuter, ou recherchez ou filtrez la liste et cliquez sur Exécuter filtré.
Astuce : Pendant que vous travaillez sur une correction, exécutez uniquement les simulations qui vous intéressent plutôt que tout l'Eval. Gardez Exécuter tout pour les vérifications de régression avant de publier un changement.
Combien de simulations pouvez-vous exécuter chaque mois ?
Votre espace de travail peut exécuter un nombre défini de simulations dans les Evals chaque mois. La limite s'applique à l'ensemble de l'espace de travail et se réinitialise le premier jour de chaque mois civil.
Votre quota mensuel de simulations est basé sur le volume de conversations de votre espace de travail dans Intercom, et les espaces de travail plus grands reçoivent des quotas plus élevés.
Votre espace de travail est assigné à un segment en fonction du nombre de conversations des 30 derniers jours.
Votre segment est réévalué chaque mois, donc votre quota reflète votre volume de conversations le plus récent.
Si votre volume de conversations augmente ou diminue, votre quota peut changer lors du prochain cycle mensuel.
Le tableau ci-dessous montre le quota mensuel de simulations pour chaque segment de volume de conversations.
Segment de volume de conversations | Limite de simulations par mois |
Moins de 1K | 250 |
1K–15K | 1 000 |
15K–100K | 1 750 |
100K–1M | 5 000 |
1M+ | 12 500 |
Que se passe-t-il lorsque vous atteignez votre limite mensuelle de simulations ?
Lorsque votre espace de travail atteint 80 % de sa limite mensuelle de simulations, une bannière jaune affiche votre utilisation actuelle (par exemple, 850/1000) et la date de réinitialisation de la limite.
À 100 %, un message rouge apparaît, et vous ne pouvez plus exécuter de simulations jusqu'au mois suivant.
Que voyez-vous sur une page Eval ?
Une page Eval affiche les résultats d'un Eval et liste les simulations qu'il contient. Pour l'ouvrir, cliquez sur le nom d'un Eval sur la page Evals. Le nom de l'Eval apparaît dans le titre de la page, après le fil d'Ariane Evals.
Boutons en haut : Opérateur, un menu ⋯, Ajouter un scorecard, et Nouvelle simulation.
Filtres : une zone Rechercher des simulations, un filtre Résultat, les tags attachés à l'Eval, et un bouton + Tag.
Résultats des simulations : le nombre de simulations réussies, par exemple 4/6 réussies, avec une barre de progression.
Conversations simulées : un tableau avec la Conversation simulée (le message d'ouverture du client), les Notes, la Dernière exécution, et le Résultat (Réussi ou Échoué) pour chaque simulation, plus un bouton d'exécution sur chaque ligne.
Exécuter tout : exécute toutes les simulations dans l'Eval.
Le compte des résultats des simulations couvre le nombre de simulations dans l'Eval qui ont réussi toutes les vérifications de simulation et les critères de transfert lors de leur dernière exécution. Pour voir cette définition, survolez le point d'interrogation à côté de résultats des simulations.
Que pouvez-vous faire depuis le menu Eval ?
Cliquez sur le menu ⋯ en haut d'une page Eval pour choisir une de ces options : Modifier l'eval, Importer CSV, ou Supprimer l'eval.
Que voyez-vous sur une page Simulation ?
Une page Simulation affiche une conversation simulée, les vérifications sur lesquelles elle a été notée, et comment Fin s'en est sorti. Pour l'ouvrir, cliquez sur la ligne d'une simulation sur la page Eval. Le titre de la page montre le chemin Evals, puis le nom de l'Eval, puis Simulation.
Boutons en haut : Opérateur, Modifier, un menu ⋯, Exécuter, et un bouton de fermeture.
Résumé du résultat : le message d'ouverture du client, une étiquette Réussi ou Échoué, et la dernière exécution de la simulation.
ID d'exécution de simulation : un ID pour l'exécution, avec un bouton de copie.
Conversation : ce que le Test customer a dit et comment Fin AI Agent a répondu, y compris les événements enregistrés par Fin en cours de route, comme le réglage de la langue.
Transfert : une étiquette Réussi ou Échoué et le transfert attendu, par exemple Attendu : Pas de transfert.
Vérifications de simulation : une étiquette Réussi ou Échoué pour chaque vérification. Une vérification Réponse Fin montre les critères que vous avez définis et la raison pour laquelle elle a réussi ou échoué.
Notes : un endroit pour ajouter une note sur la simulation en cliquant sur Ajouter une note.
Scorecard (si l'Eval en a un) : le score de révision et la note pour chaque critère.
Pour changer ce que vérifie une simulation, consultez Configurer les simulations pour les Evals.
Comment lire le résultat d'une simulation
Lorsqu'une simulation se termine, elle affiche Réussi, Échoué ou Erreur. Une simulation réussit uniquement si chaque vérification de simulation et de transfert réussit, donc une seule vérification échouée signifie que la simulation échoue. Pour chaque simulation, vous obtenez le résultat global, la transcription complète de la conversation, et le journal des événements montrant la réflexion de Fin et les outils et informations utilisés à chaque étape.
Échoué : la conversation s'est terminée, mais Fin n'a pas satisfait à une de vos vérifications. Ouvrez la transcription et le journal des événements pour voir où le comportement de Fin a divergé des vérifications que vous avez définies.
Erreur : la conversation n'a pas pu être complétée. Exécutez-la à nouveau, puis vérifiez la configuration de la simulation (message client, données ou vérifications) pour une mauvaise configuration.
Si une seule conversation nécessite que Fin travaille sur plusieurs procédures, vous voyez Fin passer d'une procédure à l'autre au fur et à mesure que la conversation simulée se déroule, comme ce serait le cas pour un client réel. Chaque simulation conserve ses 15 dernières exécutions, et vous pouvez utiliser le menu déroulant de l'historique d'exécution sur une simulation pour consulter les résultats antérieurs.
Que signifient les résultats des Evals dans la liste des Evals ?
Chaque Eval dans la liste des Evals affiche un résultat global. Ce sont aussi les options dans le filtre Résultat :
Non exécuté : aucune des simulations de l'Eval n'a encore été exécutée.
En file d'attente : l'exécution attend de commencer.
En cours : les simulations sont en cours d'exécution, avec un compte du nombre (par exemple, 3/10 En cours).
Réussi : toutes les simulations ont réussi.
Partiellement réussi : certaines simulations ont réussi, et d'autres ont échoué ou ont eu une erreur.
Échoué : aucune simulation n'a réussi.
Annulé : l'exécution a été annulée avant qu'aucune simulation n'ait obtenu de résultat.
Intraitable : aucune simulation n'a obtenu de résultat, car elles ont été supprimées avant de pouvoir s'exécuter.
Les Evals Réussi, Partiellement réussi, et Échoué affichent un compte, comme 8/10 Réussi. Le badge est vert lorsque toutes les simulations ont réussi, et rouge lorsque moins de la moitié l'ont fait.
Pourquoi ma simulation a-t-elle échoué alors que la réponse de Fin semblait correcte ?
Une simulation peut échouer sur la vérification par défaut Pas de transfert même lorsque la réponse de Fin semblait correcte. Si vous ajoutez une simulation sans vérification explicite de transfert et sans vérifications de simulation, la simulation réussit uniquement si Fin a résolu la conversation sans la transférer à une équipe ou un workflow. Cette valeur par défaut n'est pas affichée dans la configuration de la simulation, alors vérifiez si une vérification de transfert a été définie lorsqu'une simulation échoue et que vous ne voyez pas pourquoi.
Astuce : Ajoutez une vérification explicite de transfert à chaque simulation, afin que le résultat réussi/échoué reflète votre intention, pas la valeur par défaut.
Comment tester Fin dans des langues autres que l'anglais
Pour tester Fin dans une autre langue, écrivez le premier message du client dans cette langue. Les simulations supportent les mêmes langues que Fin, et vous n'avez pas besoin de définir une langue. Lorsqu'une simulation commence, Fin détecte la langue du premier message en utilisant la même détection de langue que pour les conversations en direct, et l'utilise pour toute la simulation. Fin répond dans cette langue, le client simulé écrit aussi ses messages de suivi dans cette langue, et les Scorecards sont notés dans cette langue.
Si le client simulé a un Override de langue défini, Fin utilise cela à la place, comme il le ferait pour un client réel.
Fin respecte les paramètres multilingues de votre espace de travail. Si la langue détectée n'est pas une langue que vous avez activée pour Fin, ou si Fin ne peut pas la détecter avec suffisamment de confiance (par exemple, à partir d'un message très court comme « Hi »), il revient à la langue du Messenger du client, puis à la langue par défaut de votre espace de travail.
Vous pouvez voir quelle langue a été utilisée dans la transcription de la simulation, par exemple Fin a défini la langue sur espagnol.
Pour tester le même scénario dans plusieurs langues, créez une simulation par langue, et utilisez des tags sur les Evals pour les regrouper. Écrivez des messages d'ouverture d'au moins une phrase complète pour que la détection de langue soit fiable. La langue est définie une fois au début et ne change pas si le client change de langue en cours de conversation.
Pour la liste complète des langues prises en charge, consultez Langues prises en charge par Fin.
Comment relancer les Evals après un changement et selon un planning
Après avoir modifié le contenu, les directives, les procédures ou les compétences de Fin, relancez vos Evals existants pour vérifier les régressions. Chaque simulation est stockée et réutilisable, donc relancer prend un clic au lieu de recréer vos scénarios de test. Pour exécuter les Evals selon un planning régulier, par exemple chaque lundi matin, configurez une Routine dans Operator (voir Créer et exécuter des Evals avec Operator) qui exécute vos Evals choisis aux heures que vous choisissez. La planification n'est pas disponible sur la page Evals.