Use este artigo para configurar uma Simulação: defina o cliente simulado, controle os dados que Fin vê no início da conversa, escolha as verificações e o handoff que o juiz LLM (modelo de linguagem grande) usa para pontuar Fin, ou crie uma Simulação a partir de uma conversa real.
Como abrir o editor de Simulação
Para configurar uma Simulação, abra-a e clique em Editar, ou clique em Nova simulação na página do Eval. O editor tem três seções: o cliente simulado, os dados que Fin vê e como o juiz LLM pontua Fin. Quando terminar, clique em Salvar e depois em Executar para testar.
Como definir o cliente simulado
A seção Definir cliente simulado configura com quem Fin estará falando.
Título (opcional): se você não adicionar um, o nome da Simulação corresponde à primeira mensagem do cliente.
Simulando como: o cliente com quem Fin conversa, por exemplo Test customer, e a marca, mostrada como All brands.
Canal: Chat ou Email.
Hora da Simulação: uma data e hora fixas para a Simulação usar. Usa o fuso horário do cliente, ou GMT (Greenwich Mean Time) se nenhum estiver definido. Começa como Não definido.
Primeira mensagem do cliente (obrigatório): a primeira coisa que o cliente simulado diz para Fin.
Instruções de acompanhamento: o que o cliente sabe, o que compartilhará se perguntado e como se comunica. Fin usa isso para gerar o restante da conversa do cliente, para uma simulação realista de múltiplas interações.
Como escolher quem é o cliente simulado
Por padrão, toda Simulação roda como um Test customer. O Test customer pertence a todos os seus públicos, então Fin pode usar todo o seu conteúdo ao vivo, orientações e automações. Isso é útil para verificar o que Fin sabe, mas não mostra o que um cliente específico experimentaria.
Para testar o direcionamento de público, simule um cliente real ou lead do seu workspace. Fin então vê apenas o conteúdo, orientações, Procedimentos e conectores de dados para os quais esse cliente se qualifica, assim como em uma conversa ao vivo.
No editor de Simulação, vá para Definir cliente simulado.
Ao lado de Simulando como, clique em Test customer e selecione Cliente ou lead.
Para restringir a lista, escolha um público no menu suspenso abaixo da caixa de busca. Ele mostra Everyone por padrão e lista os users e leads atualmente nesse público.
Pesquise por nome, email ou ID do cliente e selecione a pessoa com quem você quer que Fin converse.
Quando a Simulação roda, usa os atributos, empresa e tags dessa pessoa. Para testar um cenário específico, substitua qualquer um deles em Definir dados do Fin (opcional) > Valores iniciais de atributos. Tudo que não for definido usa os valores existentes do cliente.
Nota:
Públicos que usam atributos de conversa ou que filtram por marca não podem ser selecionados, porque a associação depende de uma conversa que ainda não aconteceu. Você ainda pode escolher um cliente usando outro público ou pesquisando em todos.
O público é usado apenas para encontrar um cliente e não é salvo com a Simulação. Cada execução verifica a quais públicos o cliente pertence usando seus dados naquele momento, então os resultados podem mudar.
Apenas users e leads podem ser selecionados. Visitantes não estão disponíveis.
Se você voltar para Test customer (padrão), o direcionamento de público é desativado para essa Simulação.
Quanto tempo uma Simulação pode durar e quantas um Eval pode conter?
Uma Simulação termina após até 6 respostas do Fin, ou antes se Fin resolver a conversa, fizer handoff ou o cliente simulado encerrar a conversa. Cada Eval suporta até 50 Simulações. Para adicionar mais, exclua Simulações existentes ou coloque as extras em um novo Eval.
Como definir os dados que Fin vê em uma Simulação
A seção opcional Definir dados do Fin controla os dados que Fin vê no início da Simulação.
Valores iniciais de atributos: os valores de atributos que Fin vê no início da conversa. Clique em Adicionar atributo para definir um.
Respostas de dados: em Simulações, conectores de dados sempre retornam sua resposta de teste salva, nunca dados ao vivo, independentemente de quem você está simulando. Clique em Personalizar resposta do conector para alterar a resposta de teste apenas para esta Simulação.
Como definir como o juiz LLM pontua Fin
A seção Definir comportamento do juiz LLM define como as respostas do Fin são pontuadas. Ela tem duas partes: verificações da Simulação e Handoff.
Como adicionar uma verificação de Simulação
As verificações de Simulação descrevem o que Fin deve dizer ou fazer para passar, se for o caso. Para adicionar uma, clique em Adicionar e escolha um tipo de verificação:
Resposta do Fin: descreva o que Fin deve dizer durante a conversa. Separe cada resposta esperada em seu próprio critério de sucesso.
Procedimento acionado: Fin iniciou um Procedimento específico.
Procedimento alterado: Fin mudou de um Procedimento para outro durante a conversa.
Habilidade: Fin usou uma Habilidade específica.
Conector de dados: Fin chamou um conector de dados específico.
Como definir o handoff esperado
Handoff descreve o que deve ser verdade ao final da conversa. Escolha uma destas opções:
Sem handoff: Fin não fez handoff para uma equipe ou fluxo de trabalho.
Handoff para equipe ou colega: Fin não conseguiu responder, ou a orientação de handoff foi aplicada.
Handoff para um fluxo de trabalho: a conversa não é simulada após o handoff.
Importante: Se uma Simulação não tem verificação de Handoff nem verificações de Simulação, ela é pontuada contra uma verificação padrão de Sem handoff e falha se Fin fizer handoff. Essa padrão não aparece no editor, então adicione uma verificação explícita de Handoff para cada Simulação.
Depois de configurar uma Simulação, veja Como executar Evals e ler os resultados.
Como criar uma Simulação a partir de uma conversa real
Para criar uma Simulação a partir de uma conversa real com um cliente, adicione uma das respostas do Fin a um Eval a partir do Inbox, ou peça ao Operador para criar a Simulação. De qualquer forma, você não precisa digitar o cenário.
Uma Simulação criada a partir de uma conversa real é chamada de replay. Um replay captura a conversa até a resposta do Fin que você escolheu e congela as mensagens anteriores. Cada vez que roda, Fin gera apenas essa resposta, então você testa a resposta que importa, não uma conversa que muda a cada execução. Isso torna os replays a forma mais rápida de transformar um erro real em um teste que você pode manter.
Como adicionar uma resposta do Fin a um Eval a partir do Inbox
Para adicionar uma resposta do Fin a um Eval a partir do Inbox, abra a conversa, escolha a mensagem do Fin e adicione-a a um Eval.
Abra a conversa no Inbox.
Passe o mouse sobre a mensagem do Fin que deseja testar, depois clique no menu de opções (...) que aparece ao lado.
Clique em Adicionar resposta do Fin ao Eval.
Na caixa de diálogo Adicionar ao eval, clique em Selecionar um eval e escolha o Eval para adicioná-la.
Clique em Adicionar.
Adicionar resposta do Fin ao Eval aparece apenas em respostas do Fin que podem ser reproduzidas.
Como criar uma Simulação com o Operador
Para criar uma Simulação com o Operador, peça para ele criar uma simulação para a conversa. O Operador reproduz a mensagem inicial do cliente e propõe a Simulação no Eval que você escolher.
Nota: Para criar Simulações com o Operador, você precisa do add-on Pro.
Em um chat com o Operador, escreva Criar uma simulação para esta conversa e adicione a conversa.
Responda às duas perguntas que o Operador faz: Em qual eval a simulação deve ir? e Como Fin deve encerrar a conversa? Por exemplo, escolha Fin responde sozinho (sem handoff) se Fin deve resolver a conversa sem fazer handoff.
Revise a Simulação proposta, depois clique em Publicar para principal para adicioná-la ao Eval.
Até você clicar em Publicar para principal, a Simulação fica como uma alteração pendente e não pode ser executada.
Como editar uma Simulação replay com o Operador
Para editar uma Simulação replay, peça ao Operador para fazer a alteração no mesmo chat, por exemplo atualize para fazer handoff para um colega. O Operador propõe a alteração nas verificações da Simulação, e você clica em Publicar para principal para salvar.
O que uma Simulação replay inclui?
Depois de clicar em Publicar para principal, a Simulação replay aparece no Eval que você escolheu, nomeada pela mensagem inicial do cliente. Abra-a no Eval para ver estas partes:
Contexto inicial da conversa: as mensagens da conversa original até a mensagem do cliente, com um espaço reservado onde a única resposta do Fin aparece quando a Simulação roda.
Ver conversa original: um link para a conversa original.
Definir cliente simulado: Simulando como, a marca, o Canal e a Hora da Simulação.
Instruções de acompanhamento: instruções opcionais para o que o cliente diz após a primeira resposta do Fin. Adicioná-las requer pelo menos uma verificação de Simulação, para que haja algo contra o qual Fin seja pontuado.
Nota: Algumas partes de uma Simulação replay não podem ser editadas, incluindo a seção Definir cliente simulado. Elas vêm da conversa original. Para mudar o que Fin é avaliado, edite as verificações da Simulação, por exemplo, pedindo ao Operador para atualizá-las.
Como usar um replay para corrigir a resposta do Fin
Para corrigir uma resposta do Fin com um replay, execute-o, altere a configuração do Fin e execute novamente até passar:
Execute o replay para ver como Fin responde com sua configuração atual.
Faça uma alteração no conteúdo, orientação, Procedimento ou Habilidade por trás da resposta. Para testar a alteração antes de ir ao vivo, faça-a em uma Release.
Execute o replay novamente e compare a nova resposta com execuções anteriores, usando o menu suspenso do histórico de execuções na Simulação.
Adicione verificações que definam o que "corrigido" significa, como uma verificação de resposta do Fin ou uma verificação de Handoff, para obter um resultado claro de aprovação ou reprovação em vez de julgamento.
Mantenha o replay depois que passar. Agora ele funciona como um teste de regressão, então execute-o novamente após futuras alterações para garantir que a correção se mantenha.