Utilisez cet article pour choisir la bonne méthode de test de Fin : Evals pour les conversations de bout en bout et les suites de régression, Procedure Simulations pour une seule Procedure, Batch tests pour des séries de questions à tour unique, et Previews pour des vérifications manuelles rapides pendant la construction.
Référence rapide : quel outil fait quoi
Le tableau ci-dessous compare les quatre façons de tester Fin. Les Evals testent Fin de bout en bout, tandis que les Procedure Simulations testent une Procedure à la fois. Voir Evals for Fin.
| Evals | Procedure Simulations | Batch tests | Previews |
Qu'est-ce que c'est | Test automatisé de bout en bout de toute la configuration de Fin. Chaque Simulation dans un Eval est une conversation à plusieurs tours entre un client simulé et Fin, évaluée selon les contrôles que vous définissez. | Test automatisé et piloté par IA d'une seule Procedure de bout en bout. L'IA agit comme un client simulé et juge le résultat selon des critères de réussite que vous définissez. | Outil de test questions-réponses pour valider les réponses de Fin sur jusqu'à 50 questions à la fois. Teste comment Fin répond sur le contenu, les conseils, les users, les langues et les automatisations. | Panneau de test manuel et interactif disponible dans toutes les zones de formation de Fin. Vous tapez des messages et voyez la réponse de Fin et le journal des événements en temps réel. |
Idéal pour | Tests de régression après toute modification de Fin. Test des parcours clients complets, y compris ce qui se passe avant qu'une Procedure soit déclenchée et après sa transmission. Test des modifications dans une Release avant leur mise en production. | Validation de la logique complexe d'une Procedure de bout en bout avant mise en production. Détection des régressions après mises à jour de Procedure. Test des cas limites et des chemins alternatifs. | Vérification de la couverture du contenu sur de nombreuses questions à la fois. Diagnostic des lacunes dans les connaissances, les conseils ou les automatisations. QA pré-lancement sur les audiences, marques et langues. | Vérifications manuelles rapides pendant la construction. Vérification de l'impact d'un changement spécifique — contenu, conseils, attributs, escalade ou Procedure — sur la réponse de Fin en temps réel. |
Fonctionne avec | Tout ce que Fin utilise pour répondre : contenu, conseils, conseils d'escalade, Skills et Procedures. | Une seule Procedure. Pour des Simulations sur toute la configuration de Fin, utilisez Eval Simulations. Fin for Sales a ses propres Simulations. | Tous les customers utilisant Fin — qu'ils utilisent Procedures, Tasks ou simplement du contenu de connaissances. | Toutes les zones de formation de Fin : Content, Guidance, Attributes, Escalation, Procedures et Deploy. |
Mode de test | Automatisé — l'IA génère le côté client de la conversation et un juge LLM évalue le résultat. Des Scorecards optionnels évaluent aussi la qualité des réponses. | Automatisé — l'IA génère le côté client de la conversation et évalue le résultat avec un jugement de réussite/échec. | Automatisé — Fin génère une réponse à chaque question. Vous révisez et notez manuellement les réponses (Bon / Acceptable / Mauvais). | Manuel — vous tapez vous-même les messages et observez la réponse de Fin et le journal des événements. |
Crée une vraie conversation ? | Non — les Simulations s'exécutent dans les Evals et n'atteignent jamais un client. | Non — s'exécute entièrement en arrière-plan. Aucune conversation inbox n'est créée. | Non — simulation uniquement. Ne crée pas de conversations inbox ni n'affecte les données clients. | Oui — les conversations Preview apparaissent dans votre inbox, mais sont exclues des rapports. |
Appelle des API en direct ? | Non — les connecteurs de données retournent toujours leur réponse de test enregistrée, jamais de données en direct. | Non — n'appelle pas d'API externes en direct (ex. Shopify, Stripe). Teste uniquement la logique. | Non — les connecteurs de données utilisent des charges utiles de test/échantillon configurées. Pas d'appels API en direct. | Oui — peut accéder aux données réelles des users et aux intégrations en direct lors des tests en tant qu'utilisateur ou lead spécifique. |
Enregistre et relance | Oui — les Evals sont enregistrés et peuvent être relancés comme suite de régression, ou programmés avec une Operator Routine. Jusqu'à 50 Simulations par Eval. | Oui — les simulations sont enregistrées et peuvent être relancées à chaque mise à jour de la Procedure. Supporte Exécuter tout. | Oui — les groupes de test (jusqu'à 50 questions chacun) peuvent être enregistrés, relancés et partagés entre coéquipiers. | Non — conversations manuelles ponctuelles. Non enregistrées ni relançables. |
Jugement réussite/échec | Oui — le juge LLM attribue automatiquement à chaque Simulation un Pass ou Fail. | Oui — l'IA évalue la conversation selon des critères de réussite et attribue Pass ou Fail avec justification complète. | Non — vous notez manuellement chaque réponse comme Bonne, Acceptable ou Mauvaise et choisissez une cause racine. | Non — pas de jugement automatisé. Vous évaluez vous-même le résultat. |
Limites d'utilisation | Oui — limite mensuelle de Simulation basée sur le volume de conversations de l’espace de travail (250–12 500/mois), réinitialisée le premier de chaque mois. | Oui — limite mensuelle d’exécutions basée sur le volume de conversations de l’espace de travail (250–12 500/mois). Inclus avec Procedures sans frais supplémentaires. | Sans frais. Jusqu’à 50 questions par groupe de test. | Pas de limites. |
Disponibilité | Disponible pour chaque client Fin. Pas de bêta ni de demande d’accès nécessaire. | Généralement disponible pour tous les clients utilisant Procedures. | Disponible pour les clients Fin existants avec un siège complet et la permission All conversations. À partir du 5 novembre 2026, les nouveaux espaces de travail ne verront plus les Batch tests et utiliseront Evals à la place. | Généralement disponible pour tous les clients Fin. |
Quand utiliser chaque outil
Utilisez Evals lorsque
Vous souhaitez tester une conversation client complète à plusieurs échanges couvrant tout ce que Fin utilise pour répondre : contenu, directives, directives d’escalade, compétences et Procedures.
Vous souhaitez des résultats automatiques de réussite/échec basés sur des vérifications que vous définissez (réponse Fin, Procedure déclenchée, connecteur de données appelé, transfert), plus une notation qualité optionnelle avec une Scorecard.
Vous souhaitez une suite de régression que vous pouvez relancer après chaque modification de Fin, ou programmer avec une Operator Routine.
Vous souhaitez tester les changements dans une Release avant leur mise en production.
Vous souhaitez recréer une vraie conversation où la réponse de Fin n’était pas satisfaisante et continuer à la retester jusqu’à correction.
Apprenez à configurer Evals dans Evals for Fin.
Utilisez Procedure Simulations lorsque
Vous devez valider une Procedure de bout en bout avant sa mise en production.
Vous souhaitez des tests automatisés et répétables qui détectent les régressions après chaque mise à jour.
Votre Procedure comporte une logique de branchement, des Conditions ou des sous-procédures — et vous avez besoin d’un cas de test distinct par chemin.
Vous souhaitez que l’IA juge le résultat selon des critères de réussite définis (réponse Fin, valeurs d’attribut, appels de connecteur de données, résultat d’instruction).
Vous devez tester une logique sensible au temps (par exemple, fenêtres de remboursement) en contrôlant l’heure de la simulation et les valeurs des données.
Note : L’heure de la simulation contrôle uniquement la date utilisée par le raisonnement propre à Fin pour la logique de date en langage naturel. Elle ne modifie pas ce que voit une condition de code Python — le code qui appelle datetime.datetime.now() lit toujours la date système réelle, quelle que soit l’heure de Simulation définie. Pour tester une branche de date basée sur du code, exécutez la simulation à la date réelle du calendrier, ou réécrivez la condition en langage naturel plutôt qu’en code.
Utilisez Batch tests lorsque
Vous souhaitez valider les réponses de Fin sur un large ensemble de questions — pas seulement un scénario.
Vous effectuez une QA pré-lancement sur le contenu, les directives, les audiences, les langues ou les marques.
Vous souhaitez diagnostiquer les lacunes de contenu en voyant quelles sources Fin utilise pour chaque réponse.
Vous souhaitez tester des questions générées à partir de vraies conversations passées ou de sujets IA.
Vous avez besoin d’un rapport CSV téléchargeable pour partager les résultats avec votre équipe ou les dirigeants.
Utilisez Previews lorsque
Vous construisez activement et souhaitez vérifier rapidement un changement — sur le contenu, les directives, un attribut, une règle d’escalade ou une Procedure.
Vous souhaitez parcourir manuellement une conversation en tant qu’utilisateur, audience ou langue spécifique.
Vous devez voir le journal des événements de Fin pour comprendre exactement ce qui a été appliqué (personnalité, directives, tâches, sources de contenu).
Vous souhaitez tester Fin Vision en envoyant une image ou une capture d’écran.
Vous validez un flux Procedure et souhaitez voir l’expérience complète du client et du teammate dans l’inbox (y compris les automatisations en aval).
FAQs
Quelle est la différence entre Simulations et Previews ?
Quelle est la différence entre Simulations et Previews ?
Les Previews sont manuelles et interactives : vous tapez vous-même les messages et regardez Fin répondre en temps réel. Elles sont idéales pour des vérifications rapides pendant la construction.
Les Simulations sont automatisées : l’IA joue le rôle du client, exécute la conversation complète et juge le résultat selon les critères de réussite que vous définissez.
Les Simulations ne créent pas de conversations dans l’inbox ; les Previews oui. Utilisez les Simulations lorsque vous devez valider la logique des Procedures à grande échelle. Utilisez les Previews pour des tests manuels en contexte.
Quelle est la différence entre Simulations et Batch tests ?
Quelle est la différence entre Simulations et Batch tests ?
Les Batch tests vérifient comment Fin répond à un large ensemble de questions — testant la couverture du contenu, les directives et les automatisations sur plusieurs scénarios à la fois. Vous évaluez les réponses manuellement.
Les Simulations testent une seule Procedure de bout en bout avec un jugement automatisé par IA.
Les Batch tests fonctionnent avec toutes les configurations Fin. Les Procedure Simulations sont exclusives aux Procedures.
Quelle est la différence entre Batch tests et Previews ?
Quelle est la différence entre Batch tests et Previews ?
Les Batch tests sont des sessions QA structurées et répétables sur jusqu’à 50 questions — utiles pour les vérifications pré-lancement et le diagnostic des lacunes de contenu.
Les Previews sont non structurées et manuelles — une conversation à la fois, utiles pour un retour instantané pendant la construction.
Les résultats des Batch tests sont enregistrés et peuvent être exportés en CSV. Les conversations Preview apparaissent dans votre inbox mais ne sont pas enregistrées comme sessions de test.
Les Simulations appellent-elles des API en direct ou affectent-elles des données réelles ?
Les Simulations appellent-elles des API en direct ou affectent-elles des données réelles ?
Non. Les simulations n'appellent pas d'API externes en direct (comme Shopify ou Stripe) et n'affectent aucune donnée réelle. Elles testent uniquement la logique. Si vous devez tester avec de vrais appels API, utilisez Preview et sélectionnez un utilisateur spécifique avec des données réelles dans leur système externe.
Serai-je facturé pour les Simulations ou les Batch tests ?
Serai-je facturé pour les Simulations ou les Batch tests ?
Les Simulations sont incluses avec les Procedures sans frais supplémentaires. Les Batch tests sont également gratuits (vous ne serez pas facturé pour les réponses générées via Batch test).
Note : Les Simulations ont une limite mensuelle d'exécution (250–12 500 par mois selon le volume de conversation), qui se réinitialise le premier de chaque mois.
Puis-je utiliser les Batch tests pour tester une Procedure ?
Puis-je utiliser les Batch tests pour tester une Procedure ?
Les Batch tests montrent si une Procedure aurait été déclenchée pour une question donnée, mais ils n'exécutent pas la Procedure ni n'évaluent sa logique de bout en bout. Pour une validation complète de la Procedure (y compris les branches, les appels aux connecteurs de données et les résultats des instructions), utilisez les Simulations.
Quel outil de test dois-je utiliser avant la mise en production ?
Quel outil de test dois-je utiliser avant la mise en production ?
Utilisez les outils en combinaison avant la mise en production : Preview pour des vérifications manuelles rapides pendant la construction, les Simulations de Procedure pour valider la logique de chaque Procedure avec des résultats automatisés de réussite/échec, et les Evals pour confirmer que la configuration complète de Fin gère vos conversations clients les plus importantes de bout en bout. Les Batch tests restent disponibles pour des vérifications de questions à tour unique.
Il est fortement recommandé d'exécuter des Simulations avant chaque lancement de Procedure.
Quelle est la différence entre les Evals et les Simulations ?
Quelle est la différence entre les Evals et les Simulations ?
Les Simulations testent une Procedure. Chaque Simulation de Procedure s'exécute dans les limites de cette Procedure, c'est donc l'outil adapté pendant la construction d'une Procedure et pour vérifier qu'elle fonctionne toujours après des modifications.
Les Evals testent Fin de bout en bout. Une Simulation Eval exécute une conversation complète couvrant tout ce que Fin utilise pour répondre, y compris ce qui se passe avant qu'une Procedure soit déclenchée et après sa transmission. Les Evals rejouent également des conversations réelles et fonctionnent comme une suite de régression après toute modification de Fin.
Utilisez les deux : les Simulations de Procedure pendant la construction d'une Procedure, puis une Eval pour couvrir le parcours client complet une fois en production. Voir Evals for Fin.
Dois-je utiliser les Evals ou les Batch tests ?
Dois-je utiliser les Evals ou les Batch tests ?
Les Evals font tout ce que les Batch tests font, et plus encore. Les Batch tests vérifient des questions à tour unique que vous évaluez manuellement. Les Evals exécutent des conversations multi-tours complètes, les notent automatiquement selon les critères que vous définissez, et peuvent être relancés comme suite de régression. Si vous utilisez les Batch tests aujourd'hui, importez vos questions dans une Eval via l'import CSV, ou demandez à Operator de créer l'Eval pour vous.
Faits clés à retenir
Les Simulations de Procedure sont exclusives aux Procedures. Elles ne peuvent pas être utilisées avec les Tasks, Workflows ou les tests de contenu général. Pour simuler des conversations complètes sur toute la configuration de Fin, utilisez les Simulations Eval. Fin for Sales a ses propres Simulations.
Les Batch tests sont disponibles pour les clients Fin existants — qu'ils utilisent Procedures, Tasks ou simplement du contenu de connaissance.
Les conversations Preview apparaissent dans l'inbox mais sont exclues des rapports.
Seul Preview peut appeler des API en direct. Les Simulations et les Batch tests sont des environnements sécurisés et isolés.
Les limites d'exécution des Simulations sont par espace de travail, pas par coéquipier, et se réinitialisent chaque mois.
Les évaluations des réponses dans Batch test ne forment pas Fin — elles sont uniquement destinées à la revue humaine et à l'analyse des causes profondes.
Dans les Simulations, si un test réussit mais que les critères de réussite sont trop stricts (par exemple, nécessitant une question spécifique que Fin a trouvée lui-même), le test peut quand même échouer. Concentrez les critères de réussite sur les résultats, pas sur les étapes intermédiaires.
Les Evals testent toute la configuration de Fin dans une conversation multi-tours, incluant Procedures, contenu, guides, guides d'escalade et compétences. Utilisez-les comme suite de régression après toute modification de Fin.
