Utilisez Evals pour construire des conversations de test réalistes, les exécuter contre votre configuration Fin, et obtenir des résultats automatiques de réussite/échec avant que tout changement n’atteigne un client réel. Exécutez les mêmes tests chaque fois que vous effectuez un changement, pour vérifier que Fin se comporte toujours comme prévu.
Les Evals sont basés sur deux concepts :
Evals sont des groupes thématiques de tests, comme « Demandes de remboursement », « Scénarios d’escalade » ou « Ton et convivialité ».
Simulations sont les tests individuels à l’intérieur d’un Eval. Chacun est une conversation multi-tours réaliste entre un client simulé et Fin, avec les vérifications sur lesquelles le comportement de Fin est évalué.
Lorsque vous lancez un Eval, chaque Simulation à l’intérieur s’exécute automatiquement et reçoit un résultat de réussite/échec. Un juge LLM (modèle de langage large) évalue chaque Simulation selon les critères que vous avez définis.
Note : Pour créer, modifier ou exécuter des Evals, vous devez avoir Can view configuration and propose changes in a draft release ou Can view configuration and publish changes directly to main (individually or in a release) sous Fin AI Agent & Automation. Les coéquipiers avec Can view configuration peuvent voir les Evals et leurs résultats.
Commencez avec les Evals :
Comment gérer vos Evals : trouver, filtrer, taguer et créer des Evals, et importer des Simulations depuis un fichier CSV.
Configurer les Simulations pour les Evals : choisissez le client simulé, les données que Fin voit, et les vérifications sur lesquelles Fin est évalué, ou créez une Simulation à partir d’une conversation réelle.
Comment exécuter les Evals et lire les résultats : lancez les Simulations, comprenez chaque résultat, et testez dans d’autres langues.
Comment ajouter une fiche d’évaluation à un Eval : évaluez la qualité des réponses de Fin, ainsi que la réussite ou l’échec.
Créer et exécuter des Evals avec Operator : laissez Operator créer, exécuter, analyser et planifier les Evals pour vous.
Quand devriez-vous utiliser les Evals ?
Utilisez un Eval chaque fois que vous voulez avoir confiance dans le comportement de Fin :
Avant de déployer un changement : sur le contenu, les directives, les Procedures, ou tout autre élément de la configuration de Fin.
Lors du travail sur une Release : pour tester ensemble les changements de votre Release, avant leur mise en production.
Après une correction : pour confirmer que vous avez résolu le problème que vous vouliez régler.
De façon continue : pour relancer vos Evals les plus importants comme suite de régression et détecter les changements inattendus avant les clients.
Avant la mise en production de Fin : pour vérifier que votre configuration fonctionne comme prévu avant que les clients parlent à Fin pour la première fois.
Tester une Release avec les Evals
Lorsque vous travaillez sur des changements de Fin dans une Release, exécutez vos Evals contre ces changements avant leur mise en production. Fin répond en utilisant la version Release de votre contenu, directives, Procedures et Skills, pour que vous puissiez voir comment vos changements fonctionnent sans affecter les clients.
Ouvrez votre Release et allez à l’onglet Evals.
Pour créer un Eval uniquement pour cette Release, cliquez sur Ajouter un Eval, puis Nouvel eval. Il apparaît sous Ajouté dans cette release.
Pour vérifier les régressions, cliquez sur Exécuter eval sur n’importe lequel de vos Evals existants. L’onglet montre combien de vos Evals ont été exécutés contre la Release (par exemple, 3/5 exécutés).
Note :
Les nouveaux Evals et Simulations que vous créez dans une Release n’apparaissent pas dans vos Evals en direct tant que la Release n’est pas fusionnée.
Les résultats sont conservés séparément pour chaque Release. Les exécutions dans une Release ne modifient pas les résultats que vous voyez dans Main Fin.
Si vous modifiez la Release après avoir exécuté un Eval, les résultats sont marqués comme obsolètes. Exécutez l’Eval à nouveau.
Dans une Release, vous ne pouvez pas renommer ou supprimer des Evals existants, ni modifier une fiche d’évaluation.
Les tags ne sont pas enregistrés dans une Release. Les modifications de tags que vous faites dans une Release s’appliquent immédiatement à vos Evals en direct.
L’exécution des Evals n’est pas obligatoire pour fusionner une Release, mais nous la recommandons fortement.
Pour en savoir plus sur les Releases, consultez Releases for Fin.
Quel outil de test devrais-je utiliser ?
| Evals | Procedure Simulations | Batch Test |
Tests | La configuration complète de Fin, de bout en bout | Une Procedure seule | Questions uniques |
Type de conversation | Multi-tours | Multi-tours, dans une Procedure | Simple tour |
Notation | Automatique, par le juge LLM, plus fiches d’évaluation optionnelles | Automatique, selon les critères de succès et de résultat | Manuel (Bon, Acceptable ou Mauvais) |
Idéal pour | Tests de régression et parcours clients complets | Construction et vérification d’une Procedure | Vérifications rapides d’information |
Utilisez Procedure Simulations pendant que vous construisez une Procedure, pour vérifier qu’elle se comporte correctement seule. Voir Exécuter des Simulations pour les Procedures Fin.
Utilisez Evals une fois que cette Procedure est en production, pour tester la conversation complète, y compris son fonctionnement avec votre contenu, directives, connecteurs de données et transferts.
Si vous utilisez Batch Test aujourd’hui, commencez à construire des scénarios équivalents sous forme d’Evals. Vous pouvez exporter vos questions Batch Test vers un fichier CSV et les importer comme Simulations.
Note : À partir du 5 novembre 2026, les nouveaux espaces de travail ne verront plus Batch Test dans la navigation de gauche. Si vous utilisez déjà Batch Test, il reste disponible.
Limites d’utilisation des Simulations
Il y a une limite mensuelle au nombre de Simulations que vous pouvez exécuter dans les Evals. Cette limite s’applique à tout votre espace de travail et se réinitialise le premier jour de chaque mois calendaire. Votre quota est basé sur les conversations de votre espace de travail des 30 derniers jours, et est réévalué chaque mois.
Volume de conversation | Simulations par mois |
Moins de 1K | 250 |
1K–15K | 1 000 |
15K–100K | 1 750 |
100K–1M | 5 000 |
1M+ | 12 500 |
Chaque exécution de Simulation compte dès qu’elle commence, y compris celles que vous arrêtez en cours. Si vous atteignez votre limite, vous verrez « Vous avez atteint votre limite mensuelle de simulations », et vous ne pourrez plus exécuter de Simulations avant le mois suivant. Si vous cliquez sur Exécuter tout proche de votre limite, les Simulations qui tiennent dans votre quota s’exécutent, les autres ne démarrent pas.
Limitations actuelles
Jusqu’à 50 Simulations par Eval, et jusqu’à 50 lignes par import CSV.
Les tags s’appliquent uniquement aux Evals. Vous ne pouvez pas taguer des Simulations individuelles, ni exécuter tous les Evals avec un tag en une seule fois.
Pas de notifications. Vous ne serez pas averti lorsque l’exécution se termine.
Pas encore d’annotation par réviseur. Il n’y a aucun moyen d’enregistrer si un réviseur est d’accord ou non avec un résultat.
Pas encore de modèles préconstruits. Les catégories de tests courantes, comme l’injection de prompt, n’ont pas de point de départ prêt à l’emploi.
Les Workflows ne sont pas simulés. Une vérification de transfert peut confirmer que Fin passe une conversation à un workflow, mais les Evals ne simulent pas ce que fait ensuite le workflow.
FAQ
Ai-je besoin d’Operator pour utiliser les Evals ?
Ai-je besoin d’Operator pour utiliser les Evals ?
Non, chaque client Fin peut créer et exécuter des Evals depuis Fin AI Agent > Test > Evals. Operator fait partie de l’add-on Pro et peut créer, exécuter, analyser et planifier les Evals pour vous.
Combien de temps prend l’exécution d’un Eval ?
Combien de temps prend l’exécution d’un Eval ?
Prévoyez des minutes plutôt que des secondes, car chaque Simulation est une conversation multi-tours complète suivie d’une notation. Les exécutions continuent en arrière-plan, vous pouvez donc quitter la page et revenir pour voir les résultats.
Pourquoi ma Simulation a-t-elle échoué alors que la réponse de Fin semblait correcte ?
Pourquoi ma Simulation a-t-elle échoué alors que la réponse de Fin semblait correcte ?
Si vous n’avez pas défini de vérification de transfert, la Simulation est évaluée selon une vérification par défaut No handoff, donc elle échoue si Fin transfère. Voir Comment exécuter les Evals et lire les résultats.
Puis-je programmer l’exécution automatique des Evals ?
Puis-je programmer l’exécution automatique des Evals ?
Oui, avec une Routine Operator. Voir Créer et exécuter des Evals avec Operator.