Use este artigo para escolher a forma certa de testar o Fin: Evals para conversas de ponta a ponta e suítes de regressão, Procedure Simulations para um único Procedimento, Testes em Lote para conjuntos de perguntas de turno único e Previews para verificações manuais rápidas enquanto você constrói.

Referência rápida: qual ferramenta faz o quê

A tabela abaixo compara as quatro formas de testar o Fin. Evals testam o Fin de ponta a ponta, enquanto Procedure Simulations testam um Procedimento por vez. Veja Evals for Fin.

	Evals	Procedure Simulations	Testes em Lote	Previews
O que é	Teste automatizado e de ponta a ponta de toda a configuração do Fin. Cada Simulação em um Eval é uma conversa de múltiplos turnos entre um cliente simulado e o Fin, avaliada com base em verificações que você define.	Teste automatizado e com IA de ponta a ponta de um único Procedimento. A IA atua como cliente simulado e avalia o resultado com base em critérios de sucesso que você define.	Uma ferramenta de teste de perguntas e respostas para validar as respostas do Fin em até 50 perguntas ao mesmo tempo. Testa como o Fin responde em conteúdo, orientação, users, idiomas e automações.	Um painel de teste manual e interativo disponível em todas as áreas de treinamento do Fin. Você digita mensagens e vê a resposta do Fin e o registro de eventos em tempo real.
Melhor para	Teste de regressão após qualquer alteração no Fin. Teste de jornadas completas do cliente, incluindo o que acontece antes de um Procedimento ser acionado e depois que ele é entregue. Teste as alterações em uma Release antes de entrarem no ar.	Validar a lógica complexa do Procedimento de ponta a ponta antes de entrar no ar. Detectar regressões após atualizações do Procedimento. Testar casos extremos e caminhos ramificados.	Verificar a cobertura de conteúdo em muitas perguntas ao mesmo tempo. Diagnosticar lacunas em conhecimento, orientação ou automações. Garantia de qualidade pré-lançamento para públicos, marcas e idiomas.	Verificações manuais rápidas enquanto constrói. Verificar como uma mudança específica — em conteúdo, orientação, atributos, escalonamento ou um Procedimento — afeta a resposta do Fin no momento.
Funciona com	Tudo que o Fin usa para responder: conteúdo, orientação, orientação de escalonamento, Skills e Procedimentos.	Um único Procedimento. Para Simulações em toda a configuração do Fin, use Eval Simulations. Fin for Sales tem suas próprias Simulações.	Todos os customers que usam o Fin — seja usando Procedimentos, Tasks ou apenas conteúdo de conhecimento.	Todas as áreas de treinamento do Fin: Conteúdo, Orientação, Atributos, Escalonamento, Procedimentos e Deploy.
Modo de teste	Automatizado — IA gera o lado do cliente da conversa e um juiz LLM avalia o resultado. Scorecards opcionais também avaliam a qualidade da resposta.	Automatizado — IA gera o lado do cliente da conversa e avalia o resultado com julgamento de aprovado/reprovado.	Automatizado — Fin gera uma resposta para cada pergunta. Você revisa e avalia as respostas manualmente (Bom / Aceitável / Ruim).	Manual — você digita as mensagens e observa a resposta do Fin e o registro de eventos.
Cria uma conversa real?	Não — Simulações rodam dentro dos Evals e nunca chegam a um cliente.	Não — roda totalmente em segundo plano. Nenhuma conversa na inbox é criada.	Não — apenas simulação. Não cria conversas na inbox nem afeta dados de clientes.	Sim — conversas Preview aparecem na sua inbox, mas são excluídas dos relatórios.
Usa APIs ao vivo?	Não — conectores de dados sempre retornam suas respostas de teste salvas, nunca dados ao vivo.	Não — não chama APIs externas ao vivo (ex.: Shopify, Stripe). Testa apenas a lógica.	Não — conectores de dados usam cargas de teste/amostra configuradas. Sem chamadas de API ao vivo.	Sim — pode acessar dados reais de users e integrações ao vivo ao testar como um usuário ou lead específico.
Salva e reexecuta	Sim — Evals são salvos e podem ser reexecutados como suíte de regressão ou agendados com uma Operator Routine. Até 50 Simulações por Eval.	Sim — simulações são salvas e podem ser reexecutadas sempre que o Procedimento é atualizado. Suporta Executar tudo.	Sim — grupos de teste (até 50 perguntas cada) podem ser salvos, reexecutados e compartilhados entre colegas.	Não — conversas manuais únicas. Não são salvas nem reexecutáveis.
Julgamento de aprovado/reprovado	Sim — o juiz LLM dá a cada Simulação um resultado automático de Aprovado ou Reprovado.	Sim — IA avalia a conversa com base nos critérios de sucesso e atribui Aprovado ou Reprovado com justificativa completa.	Não — você avalia manualmente cada resposta como Boa, Aceitável ou Ruim e escolhe a causa raiz.	Não — sem julgamento automatizado. Você avalia o resultado por conta própria.
Limites de uso	Sim — limite mensal de Simulação baseado no volume de conversas do workspace (250–12.500/mês), reiniciado no primeiro dia de cada mês.	Sim — limite mensal de execuções baseado no volume de conversas do workspace (250–12.500/mês). Incluído com Procedures sem custo adicional.	Sem custo. Até 50 perguntas por grupo de teste.	Sem limites.
Disponibilidade	Disponível para todos os clientes Fin. Não é necessário beta ou solicitação de acesso.	Geralmente disponível para todos os clientes que usam Procedures.	Disponível para clientes Fin existentes com assento completo e permissão All conversations. A partir de 5 de novembro de 2026, novos workspaces não terão Batch tests e usarão Evals em vez disso.	Geralmente disponível para todos os clientes Fin.

Quando usar cada ferramenta

Use Evals quando

Você quiser testar uma conversa completa e multi-turno do cliente em tudo que Fin usa para responder: conteúdo, orientação, orientação de escalonamento, habilidades e Procedures.
Você quiser resultados automáticos de aprovação/reprovação a partir de verificações que você define (resposta Fin, Procedure acionado, conector de dados chamado, transferência), além de pontuação opcional de qualidade com um Scorecard.
Você quiser uma suíte de regressão que possa ser executada novamente após qualquer alteração no Fin, ou agendada com uma Operator Routine.
Você quiser testar as mudanças em um Release antes de entrarem em produção.
Você quiser recriar uma conversa real onde a resposta do Fin não foi boa o suficiente e continuar testando até que esteja corrigida.

Aprenda como configurar Evals em Evals for Fin.

Use Procedure Simulations quando

Você precisar validar um Procedure de ponta a ponta antes de colocá-lo no ar.
Você quiser testes automatizados e repetíveis que detectem regressões após cada atualização.
Seu Procedure tem lógica de ramificação, Conditions ou sub-procedures — e você precisa de um caso de teste separado para cada caminho.
Você quiser que a IA julgue o resultado com base em critérios de sucesso definidos (resposta Fin, valores de atributo, chamadas de conector de dados, resultado da instrução).
Você precisar testar lógica sensível ao tempo (ex.: janelas de reembolso) controlando o tempo da simulação e os valores dos dados.

Nota: O tempo da simulação controla apenas a data que o próprio Fin usa para lógica de data em linguagem simples. Não altera o que uma condição de código Python vê — código que chama datetime.datetime.now() sempre lê a data real do sistema, independentemente do tempo da simulação que você definir. Para testar um ramo de data baseado em código, execute a simulação na data real do calendário ou reescreva a condição em linguagem simples em vez de código.

Use Batch tests quando

Você quiser validar as respostas do Fin em um amplo conjunto de perguntas — não apenas um cenário.
Você estiver fazendo QA pré-lançamento em conteúdo, orientação, públicos, idiomas ou marcas.
Você quiser diagnosticar lacunas de conteúdo vendo de quais fontes o Fin puxa para cada resposta.
Você quiser testar perguntas geradas a partir de conversas reais passadas ou tópicos de IA.
Você precisar de um relatório CSV para baixar e compartilhar resultados com sua equipe ou líderes seniores.

Use Previews quando

Você estiver construindo ativamente e quiser verificar rapidamente uma mudança imediatamente — em conteúdo, orientação, um atributo, uma regra de escalonamento ou um Procedure.
Você quiser percorrer manualmente uma conversa como um usuário específico, público ou em um idioma específico.
Você precisar ver o log de eventos do Fin para entender exatamente o que foi aplicado (personalidade, orientação, tarefas, fontes de conteúdo).
Você quiser testar o Fin Vision enviando uma imagem ou captura de tela.
Você estiver validando um fluxo de Procedure e quiser ver a experiência completa do cliente e do teammate inbox (incluindo automações downstream).

Perguntas Frequentes

Qual a diferença entre Simulations e Previews?

Previews são manuais e interativos: você digita as mensagens e vê o Fin responder em tempo real. São ótimos para verificações rápidas durante a construção.
Simulations são automatizadas: a IA atua como cliente, executa a conversa completa e julga o resultado com base nos critérios de sucesso que você definiu.
Simulations não criam conversas no inbox; Preview cria. Use Simulations quando precisar validar a lógica do Procedure em escala. Use Preview para testes manuais em contexto.

Qual a diferença entre Simulations e Batch tests?

Batch tests verificam como o Fin responde a um amplo conjunto de perguntas — testando cobertura de conteúdo, orientação e automações em muitos cenários ao mesmo tempo. Você avalia as respostas manualmente.
Simulations testam um único Procedure de ponta a ponta com julgamento automatizado da IA.
Batch tests funcionam com todas as configurações Fin. Procedure Simulations são exclusivas para Procedures.

Qual a diferença entre Batch tests e Previews?

Batch tests são execuções estruturadas e repetíveis de QA com até 50 perguntas — úteis para verificações pré-lançamento e diagnóstico de lacunas de conteúdo.
Previews são não estruturados e manuais — uma conversa por vez, úteis para feedback instantâneo durante a construção.
Resultados de Batch tests são salvos e podem ser exportados para CSV. Conversas de Preview aparecem no seu inbox, mas não são salvas como execuções de teste.

Simulations chamam APIs ao vivo ou afetam dados reais?

Não. Simulações não fazem chamadas a APIs externas ao vivo (como Shopify ou Stripe) e não afetam dados reais. Elas testam apenas a lógica. Se precisar testar com chamadas reais de API, use Preview e selecione um usuário específico com dados reais em seu sistema externo.

Serei cobrado por Simulações ou testes Batch?

Simulações estão incluídas com Procedures sem custo adicional. Testes Batch também são gratuitos (você não será cobrado pelas respostas geradas através do teste Batch).

Nota: Simulações têm um limite mensal de execuções (250–12.500 por mês dependendo do volume de conversas), que é reiniciado no primeiro dia de cada mês.

Posso usar testes Batch para testar um Procedure?

Testes Batch mostram se um Procedure teria sido acionado para uma determinada pergunta, mas não executam o Procedure nem avaliam sua lógica de ponta a ponta. Para validação completa do Procedure (incluindo ramificações, chamadas a conectores de dados e resultados de instruções), use Simulações.

Qual ferramenta de teste devo usar antes de entrar ao vivo?

Use as ferramentas em combinação antes de entrar ao vivo: Preview para verificações manuais rápidas enquanto você constrói, Simulações de Procedure para validar a lógica de cada Procedure com resultados automatizados de aprovação/reprovação, e Evals para confirmar que a configuração completa do Fin lida com suas conversas mais importantes com clientes de ponta a ponta. Testes Batch permanecem disponíveis para verificações de perguntas de turno único.

É fortemente recomendado executar Simulações antes de cada lançamento de Procedure.

Qual a diferença entre Evals e Simulações?

Simulações testam um Procedure. Cada Simulação de Procedure ocorre dentro dos limites desse Procedure, sendo a ferramenta certa enquanto você constrói um Procedure e para verificar se ele ainda funciona após alterações.
Evals testam o Fin de ponta a ponta. Uma Simulação Eval executa uma conversa completa envolvendo tudo que o Fin usa para responder, incluindo o que acontece antes de um Procedure ser acionado e depois que ele é entregue. Evals também reproduzem conversas reais e funcionam como uma suíte de regressão após qualquer alteração no Fin.
Use ambos: Simulações de Procedure enquanto constrói um Procedure, depois um Eval para cobrir toda a jornada do cliente quando estiver ao vivo. Veja Evals for Fin.

Devo usar Evals ou testes Batch?

Evals fazem tudo que testes Batch fazem, e mais. Testes Batch verificam perguntas de turno único que você avalia manualmente. Evals executam conversas completas de múltiplos turnos, avaliam automaticamente com base em critérios que você define e podem ser reexecutados como suíte de regressão. Se você usa testes Batch hoje, importe suas perguntas para um Eval com importação CSV, ou peça para o Operator construir o Eval para você.

Fatos importantes para lembrar

Simulações de Procedure são exclusivas para Procedures. Não podem ser usadas com Tasks, Workflows ou testes gerais de conteúdo. Para simular conversas completas na configuração inteira do Fin, use Simulações Eval. Fin for Sales tem suas próprias Simulações.
Testes Batch estão disponíveis para clientes existentes do Fin — seja usando Procedures, Tasks ou apenas conteúdo de conhecimento.
Conversas Preview aparecem na inbox, mas são excluídas dos relatórios.
Apenas Preview pode acessar APIs ao vivo. Simulações e testes Batch são ambientes seguros e isolados.
Limites de execução de Simulações são por workspace, não por colega, e são reiniciados mensalmente.
Avaliações de respostas em testes Batch não treinam o Fin — são apenas para revisão humana e análise da causa raiz.
Em Simulações, se um teste passa mas os critérios de sucesso são muito rígidos (ex.: exigir uma pergunta específica que o Fin encontrou), o teste ainda pode falhar. Foque os critérios de sucesso nos resultados, não nos passos intermediários.
Evals testam toda a configuração do Fin em uma conversa de múltiplos turnos, incluindo Procedures, conteúdo, orientações, orientações de escalonamento e habilidades. Use-os como sua suíte de regressão após qualquer alteração no Fin.

Evals vs. Simulações vs. Testes em Lote vs. Previews