Utilisez cet article pour configurer une simulation : définissez le client simulé, contrôlez les données que Fin voit au début de la conversation, choisissez les contrôles et le transfert utilisés par le juge LLM (large language model) pour noter Fin, ou créez une simulation à partir d'une conversation réelle.
Comment ouvrir l'éditeur de simulation
Pour configurer une simulation, ouvrez-la et cliquez sur Modifier, ou cliquez sur Nouvelle simulation sur une page d'Eval. L'éditeur comporte trois sections : le client simulé, les données que Fin voit, et comment le juge LLM note Fin. Lorsque vous avez terminé, cliquez sur Enregistrer, puis sur Exécuter pour la tester.
Comment définir le client simulé
La section Définir le client simulé configure avec qui Fin va parler.
Titre (optionnel) : si vous n'en ajoutez pas, le nom de la simulation correspond au premier message du client.
Simulation en tant que : le client avec qui Fin parle, par exemple Test customer, et la marque, affichée comme Toutes les marques.
Canal : Chat ou Email.
Heure de la simulation : une date et heure fixes utilisées pour la simulation. Elle utilise le fuseau horaire du client, ou GMT (Greenwich Mean Time) si aucun n'est défini. Elle commence à Non défini.
Premier message du client (obligatoire) : la première chose que le client simulé dit à Fin.
Instructions de suivi : ce que le client sait, ce qu'il partagera si on le lui demande, et comment il communique. Fin les utilise pour générer le reste de la conversation côté client, pour une simulation multi-tours réaliste.
Comment choisir qui est le client simulé
Par défaut, chaque simulation s'exécute en tant que Test customer. Le Test customer appartient à tous vos publics, donc Fin peut utiliser tout votre contenu en direct, vos directives et vos automatisations. C'est utile pour vérifier ce que Fin sait, mais cela ne montre pas ce qu'un client spécifique vivrait.
Pour tester le ciblage d'audience, simulez plutôt un client réel ou un lead de votre espace de travail. Fin voit alors uniquement le contenu, les directives, les procédures et les connecteurs de données auxquels ce client a droit, comme dans une conversation en direct.
Dans l'éditeur de simulation, allez à Définir le client simulé.
À côté de Simulation en tant que, cliquez sur Test customer et sélectionnez Client ou lead.
Pour restreindre la liste, choisissez un public dans le menu déroulant sous la zone de recherche. Il affiche Tout le monde par défaut, et liste les users et leads actuellement dans ce public.
Recherchez par nom, email ou ID client, et sélectionnez la personne avec qui vous voulez que Fin parle.
Lorsque la simulation s'exécute, elle utilise les attributs, l'entreprise et les tags de cette personne. Pour tester un scénario spécifique, remplacez certains de ces éléments dans Définir les données Fin (optionnel) > Valeurs d'attributs de départ. Tout ce que vous ne définissez pas utilise les valeurs existantes du client.
Note :
Les publics qui utilisent des attributs de conversation, ou qui filtrent par marque, ne peuvent pas être sélectionnés, car l'appartenance dépend d'une conversation qui n'a pas encore eu lieu. Vous pouvez toujours choisir un client en utilisant un autre public, ou en recherchant tout le monde.
Le public est uniquement utilisé pour trouver un client et n'est pas enregistré avec la simulation. Chaque exécution vérifie à quels publics le client appartient en utilisant ses données à ce moment, donc les résultats peuvent changer.
Seuls les users et leads peuvent être sélectionnés. Les visiteurs ne sont pas disponibles.
Si vous revenez à Test customer (par défaut), le ciblage d'audience est désactivé pour cette simulation.
Combien de temps une simulation peut-elle durer, et combien une Eval peut-elle contenir ?
Une simulation se termine après jusqu'à 6 réponses de Fin, ou plus tôt si Fin résout la conversation, transfère, ou si le client simulé met fin à la conversation. Chaque Eval supporte jusqu'à 50 simulations. Pour en ajouter plus, supprimez des simulations existantes ou placez les simulations supplémentaires dans une nouvelle Eval.
Comment définir les données que Fin voit dans une simulation
La section optionnelle Définir les données Fin contrôle les données que Fin voit au début de la simulation.
Valeurs d'attributs de départ : les valeurs d'attributs que Fin voit au début de la conversation. Cliquez sur Ajouter un attribut pour en définir un.
Réponses des données : dans les simulations, les connecteurs de données retournent toujours leur réponse de test enregistrée, jamais de données en direct, quel que soit le profil simulé. Cliquez sur Personnaliser une réponse de connecteur pour changer la réponse de test uniquement pour cette simulation.
Comment définir comment le juge LLM note Fin
La section Définir le comportement du juge LLM définit comment les réponses de Fin sont notées. Elle comporte deux parties : contrôles de simulation et transfert.
Comment ajouter un contrôle de simulation
Les contrôles de simulation décrivent ce que Fin doit dire ou faire pour réussir, si nécessaire. Pour en ajouter un, cliquez sur Ajouter et choisissez un type de contrôle :
Réponse de Fin : décrivez ce que Fin doit dire pendant la conversation. Séparez chaque réponse attendue en son propre critère de réussite.
Procédure déclenchée : Fin a démarré une procédure spécifique.
Procédure changée : Fin est passé d'une procédure à une autre pendant la conversation.
Compétence : Fin a utilisé une compétence spécifique.
Connecteur de données : Fin a appelé un connecteur de données spécifique.
Comment définir le transfert attendu
Le transfert décrit ce qui doit être vrai à la fin de la conversation. Choisissez une de ces options :
Pas de transfert : Fin n'a pas transféré à une équipe ou un workflow.
Transféré à une équipe ou un coéquipier : Fin n'a pas pu répondre, ou une directive de transfert a été appliquée.
Transféré à un workflow : la conversation n'est pas simulée après le transfert.
Important : Si une simulation n'a pas de contrôle de transfert ni de contrôles de simulation, elle est notée selon un contrôle Pas de transfert par défaut, et elle échoue si Fin transfère. Ce contrôle par défaut n'est pas affiché dans l'éditeur, donc ajoutez un contrôle de transfert explicite à chaque simulation.
Après avoir configuré une simulation, consultez Comment exécuter les Evals et lire les résultats.
Comment créer une simulation à partir d'une conversation réelle
Pour créer une simulation à partir d'une conversation client réelle, ajoutez une des réponses de Fin à une Eval depuis l'Inbox, ou demandez à Operator de créer la simulation. Dans les deux cas, vous n'avez pas à taper le scénario vous-même.
Une simulation créée à partir d'une conversation réelle s'appelle une relecture. Une relecture capture la conversation jusqu'à la réponse de Fin choisie et fige les messages précédents. À chaque exécution, Fin génère uniquement cette réponse, vous testez donc la réponse qui vous importe, pas une conversation qui change à chaque fois. Cela fait des relectures le moyen le plus rapide de transformer une erreur réelle en test durable.
Comment ajouter une réponse de Fin à une Eval depuis l'Inbox
Pour ajouter une réponse de Fin à une Eval depuis l'Inbox, ouvrez la conversation, choisissez le message de Fin, et ajoutez-le à une Eval.
Ouvrez la conversation dans l'Inbox.
Survolez le message de Fin que vous voulez tester, puis cliquez sur le menu d'options (...) qui apparaît à côté.
Cliquez sur Ajouter la réponse de Fin à l'Eval.
Dans la boîte de dialogue Ajouter à l'eval, cliquez sur Sélectionner une eval et choisissez l'Eval à laquelle l'ajouter.
Cliquez sur Ajouter.
Ajouter la réponse de Fin à l'Eval n'apparaît que sur les réponses de Fin pouvant être rejouées.
Comment créer une simulation avec Operator
Pour créer une simulation avec Operator, demandez-lui de créer une simulation pour la conversation. Operator rejoue le message d'ouverture du client et propose la simulation dans l'Eval que vous choisissez.
Note : Pour créer des simulations avec Operator, vous avez besoin de l'add-on Pro.
Dans un chat avec Operator, écrivez Créer une simulation pour cette conversation et ajoutez la conversation.
Répondez aux deux questions posées par Operator : Dans quelle eval la simulation doit-elle aller ? et Comment Fin doit-il terminer la conversation ? Par exemple, choisissez Fin répond lui-même (pas de transfert) si Fin doit résoudre la conversation sans transfert.
Examinez la simulation proposée, puis cliquez sur Publier dans le principal pour l'ajouter à l'Eval.
Jusqu'à ce que vous cliquiez sur Publier dans le principal, la simulation reste un changement en attente et ne peut pas s'exécuter.
Comment modifier une simulation de relecture avec Operator
Pour modifier une simulation de relecture, demandez à Operator de faire la modification dans le même chat, par exemple mets-la à jour pour transférer à un coéquipier. Operator propose la modification aux contrôles de simulation, et vous cliquez sur Publier dans le principal pour l'enregistrer.
Que comprend une simulation de relecture ?
Après avoir cliqué sur Publier dans le principal, la simulation de relecture apparaît dans l'Eval que vous avez choisie, nommée d'après le message d'ouverture du client. Ouvrez-la depuis l'Eval pour voir ces parties :
Contexte initial de la conversation : les messages de la conversation source jusqu'au message du client, avec un espace réservé où la réponse unique de Fin apparaît lorsque la simulation s'exécute.
Voir la conversation source : un lien vers la conversation originale.
Définir le client simulé : Simulation en tant que, la marque, le Canal, et l'Heure de la simulation.
Instructions de suivi : instructions optionnelles sur ce que le client dit après la première réponse de Fin. Les ajouter nécessite au moins un contrôle de simulation, pour que Fin ait quelque chose sur quoi être noté.
Note : Certaines parties d'une simulation de relecture ne peuvent pas être modifiées, y compris la section Définir le client simulé. Elles proviennent de la conversation source. Pour changer ce sur quoi Fin est évalué, modifiez les contrôles de simulation, par exemple en demandant à Operator de les mettre à jour.
Comment utiliser une relecture pour corriger la réponse de Fin
Pour corriger une réponse de Fin avec une relecture, exécutez-la, modifiez la configuration de Fin, et réexécutez-la jusqu'à ce qu'elle réussisse :
Exécutez la relecture pour voir comment Fin répond avec votre configuration actuelle.
Faites une modification au contenu, aux directives, à la procédure ou à la compétence derrière la réponse. Pour tester la modification avant sa mise en production, faites-la dans une Release.
Exécutez la relecture à nouveau et comparez la nouvelle réponse avec les exécutions précédentes, en utilisant le menu déroulant de l'historique d'exécution sur la simulation.
Ajoutez des contrôles qui définissent ce que signifie « corrigé », comme un contrôle de réponse de Fin ou un contrôle de transfert, pour obtenir un résultat clair de réussite ou d'échec plutôt qu'un jugement subjectif.
Conservez la relecture une fois qu'elle réussit. Elle sert désormais de test de régression, donc réexécutez-la après de futures modifications pour vous assurer que la correction tient.