Fin Evals explicados | Centro de Ajuda

Use Evals para criar conversas de teste realistas, execute-as contra sua configuração do Fin e obtenha resultados automáticos de aprovação/reprovação antes que qualquer alteração chegue a um cliente real. Execute os mesmos testes sempre que fizer uma alteração para verificar se o Fin ainda se comporta como esperado.

Evals são construídos em torno de dois conceitos:

Evals são grupos temáticos de testes, como “Pedidos de reembolso”, “Cenários de escalonamento” ou “Tom e simpatia.”
Simulações são os testes individuais dentro de um Eval. Cada uma é uma conversa realista de múltiplas interações entre um cliente simulado e o Fin, junto com as verificações contra as quais o comportamento do Fin é avaliado.

Quando você executa um Eval, cada Simulação dentro dele é executada automaticamente e recebe um resultado de aprovação/reprovação. Um juiz LLM (modelo de linguagem grande) avalia cada Simulação com base nas verificações que você definiu.

Nota: Para criar, editar ou executar Evals, você precisa de Can view configuration and propose changes in a draft release ou Can view configuration and publish changes directly to main (individually or in a release) sob Fin AI Agent & Automation. Colegas com Can view configuration podem ver Evals e seus resultados.

Comece com Evals:

Como gerenciar seus Evals: encontre, filtre, marque e crie Evals, e importe Simulações de um arquivo CSV.
Configure Simulações para Evals: escolha o cliente simulado, os dados que o Fin vê e as verificações nas quais o Fin é avaliado, ou crie uma Simulação a partir de uma conversa real.
Como executar Evals e ler os resultados: execute Simulações, entenda cada resultado e teste em outros idiomas.
Como adicionar um Scorecard a um Eval: avalie a qualidade das respostas do Fin, além de aprovação ou reprovação.
Crie e execute Evals com Operator: deixe o Operator criar, executar, analisar e agendar Evals para você.

Quando você deve usar Evals?

Use um Eval sempre que quiser ter confiança em como o Fin se comporta:

Antes de enviar uma alteração: para conteúdo, orientações, Procedures ou qualquer outra coisa na configuração do Fin.
Enquanto trabalha em um Release: para testar as alterações do seu Release juntas, antes de entrarem no ar.
Após uma correção: para confirmar que você resolveu o problema que se propôs a resolver.
De forma contínua: para reexecutar seus Evals mais importantes como uma suíte de regressão e detectar mudanças inesperadas antes dos clientes.
Antes de colocar o Fin no ar: para verificar se sua configuração funciona como esperado antes que os clientes conversem com o Fin pela primeira vez.

Testando um Release com Evals

Quando você está trabalhando em alterações no Fin em um Release, execute seus Evals contra essas alterações antes que elas entrem no ar. O Fin responde usando a versão do Release do seu conteúdo, orientações, Procedures e Skills, para que você possa ver como suas alterações funcionam sem afetar nenhum cliente.

Abra seu Release e vá para a aba Evals.
Para criar um Eval apenas para este Release, clique em Add an Eval e depois em New eval. Ele aparecerá em Added in this release.
Para verificar regressões, clique em Run eval em qualquer um dos seus Evals existentes. A aba mostra quantos dos seus Evals foram executados contra o Release (por exemplo, 3/5 run).

Nota:

Novos Evals e Simulações que você criar dentro de um Release não aparecem nos seus Evals ativos até que o Release seja mesclado.
Os resultados são mantidos separadamente para cada Release. Execuções dentro de um Release não alteram os resultados que você vê no Main Fin.
Se você alterar o Release após executar um Eval, os resultados serão marcados como desatualizados. Execute o Eval novamente.
Dentro de um Release, você não pode renomear ou excluir Evals existentes, nem editar um Scorecard.
Tags não são salvas em um Release. As alterações de tags feitas dentro de um Release se aplicam imediatamente aos seus Evals ativos.
Executar Evals não é obrigatório para mesclar um Release, mas recomendamos fortemente.

Para mais informações sobre Releases, veja Releases para Fin.

Qual ferramenta de teste devo usar?

	Evals	Procedure Simulations	Batch Test
Testes	Configuração completa do Fin, de ponta a ponta	Uma Procedure isolada	Perguntas únicas
Tipo de conversa	Múltiplas interações	Múltiplas interações, dentro de uma Procedure	Única interação
Pontuação	Automática, pelo juiz LLM, mais Scorecards opcionais	Automática, contra critérios de sucesso e resultado	Manual (Bom, Aceitável ou Ruim)
Melhor para	Testes de regressão e jornadas completas do cliente	Construção e verificação de uma Procedure	Verificações rápidas de informação

Use Procedure Simulations enquanto estiver construindo uma Procedure, para verificar se ela se comporta corretamente sozinha. Veja Executar Simulações para Procedures do Fin.
Use Evals assim que essa Procedure estiver ativa, para testar a conversa completa, incluindo como ela funciona com seu conteúdo, orientações, conectores de dados e transferências.
Se você usa Batch Test hoje, comece a construir cenários equivalentes como Evals. Você pode exportar suas perguntas do Batch Test para um arquivo CSV e importá-las como Simulações.

Nota: A partir de 5 de novembro de 2026, novos workspaces não verão Batch Test na navegação à esquerda. Se você já usa Batch Test, ele ainda estará disponível.

Limites de uso de Simulação

Há um limite mensal para o número de Simulações que você pode executar em Evals. O limite se aplica a todo o seu workspace e é reiniciado no primeiro dia de cada mês do calendário. Sua cota é baseada nas conversas do seu workspace nos últimos 30 dias e é verificada mensalmente.

Volume de conversas	Simulações por mês
Menos de 1K	250
1K–15K	1.000
15K–100K	1.750
100K–1M	5.000
1M+	12.500

Cada execução de Simulação conta assim que começa, incluindo execuções que você interrompe no meio. Se atingir seu limite, verá “You have reached your monthly simulation limit,” e não poderá executar mais Simulações até o próximo mês. Se clicar em Run all perto do seu limite, as Simulações que couberem na sua cota serão executadas, e as demais não começarão.

Limitações atuais

Até 50 Simulações por Eval, e até 50 linhas por importação CSV.
Tags se aplicam apenas a Evals. Você não pode marcar Simulações individuais, nem executar todos os Evals com uma tag de uma vez.
Sem notificações. Você não será notificado quando uma execução terminar.
Sem anotação de revisor ainda. Não há como registrar se um revisor concorda ou discorda de um resultado.
Sem templates pré-construídos ainda. Categorias comuns de teste, como injeção de prompt, não têm um ponto de partida pronto.
Workflows não são simulados. Uma verificação de Handoff pode confirmar que o Fin passa uma conversa para um workflow, mas Evals não simulam o que o workflow faz em seguida.

Perguntas frequentes

Preciso do Operator para usar Evals?

Não, todo cliente Fin pode criar e executar Evals em Fin AI Agent > Test > Evals. O Operator faz parte do add-on Pro e pode criar, executar, analisar e agendar Evals para você.

Quanto tempo leva para executar um Eval?

Espere minutos em vez de segundos, porque cada Simulação é uma conversa completa de múltiplas interações seguida de pontuação. As execuções continuam em segundo plano, então você pode sair da página e voltar para ver os resultados.

Por que minha Simulação falhou se a resposta do Fin parecia correta?

Se você não definiu uma verificação de Handoff, a Simulação é avaliada contra uma verificação padrão No handoff, então ela falha se o Fin fizer um handoff. Veja Como executar Evals e ler os resultados.

Posso agendar Evals para serem executados automaticamente?

Sim, com uma Rotina do Operator. Veja Crie e execute Evals com Operator.