Passar para o conteúdo principal

Simulações vs. Testes em Lote vs. Visualizações

Saiba quando usar as três ferramentas de teste do Fin — Simulações, Testes em Lote e Visualizações.

Escrito por Dawn

Este artigo explica quando usar as três ferramentas de teste do Fin — Simulações, Testes em Lote e Visualizações.


Referência rápida: qual ferramenta faz o quê

Simulações

Testes em Lote

Visualizações

O que é

Teste automatizado de ponta a ponta com IA de um único Procedure. A IA atua como um cliente simulado e avalia o resultado com base nos critérios de sucesso que você define.

Uma ferramenta de teste de perguntas e respostas para validar as respostas do Fin em até 50 perguntas de uma vez. Testa como o Fin responde em conteúdo, orientação, users, idiomas e automações.

Um painel de teste manual e interativo disponível em todas as áreas de treinamento do Fin. Você digita mensagens e vê a resposta do Fin e o registro de eventos em tempo real.

Melhor para

Validar a lógica complexa do Procedure de ponta a ponta antes de entrar no ar. Detectar regressões após atualizações do Procedure. Testar casos extremos e caminhos ramificados.

Verificar a cobertura de conteúdo em muitas perguntas ao mesmo tempo. Diagnosticar lacunas em conhecimento, orientação ou automações. QA pré-lançamento para públicos, marcas e idiomas.

Verificações manuais rápidas enquanto constrói. Verificar como uma mudança específica — em conteúdo, orientação, atributos, escalonamento ou um Procedure — afeta a resposta do Fin no momento.

Funciona com

Apenas Procedures.

Todos os customers que usam Fin — seja com Procedures, Tasks ou apenas conteúdo de conhecimento.

Todas as áreas de treinamento do Fin: Conteúdo, Orientação, Atributos, Escalonamento, Procedures e Deploy.

Modo de teste

Automatizado — IA gera o lado do cliente da conversa e avalia o resultado com julgamento de aprovado/reprovado.

Automatizado — Fin gera uma resposta para cada pergunta. Você revisa e avalia as respostas manualmente (Bom / Aceitável / Ruim).

Manual — você digita as mensagens e observa a resposta do Fin e o registro de eventos.

Cria uma conversa real?

Não — roda inteiramente em segundo plano. Nenhuma conversa na inbox é criada.

Não — apenas simulação. Não cria conversas na inbox nem afeta dados de customers.

Sim — conversas de Visualização aparecem na sua inbox, mas são excluídas dos relatórios.

Chama APIs ao vivo?

Não — não chama APIs externas ao vivo (ex.: Shopify, Stripe). Testa apenas a lógica.

Não — conectores de dados usam cargas de teste/amostra configuradas. Sem chamadas de API ao vivo.

Sim — pode acessar dados reais de users e integrações ao vivo ao testar como um user ou lead específico.

Salva e executa novamente

Sim — simulações são salvas e podem ser executadas novamente sempre que o Procedure for atualizado. Suporta Executar tudo.

Sim — grupos de teste (até 50 perguntas cada) podem ser salvos, executados novamente e compartilhados entre colegas.

Não — conversas manuais únicas. Não são salvas nem podem ser executadas novamente.

Julgamento de aprovado/reprovado

Sim — IA avalia a conversa com base nos critérios de sucesso e atribui Aprovado ou Reprovado com justificativa completa.

Não — você avalia manualmente cada resposta como Bom, Aceitável ou Ruim e escolhe a causa raiz.

Não — sem julgamento automatizado. Você avalia o resultado por conta própria.

Limites de uso

Sim — limite mensal de execuções baseado no volume de conversas do workspace (50–2.500/mês). Incluído com Procedures sem custo extra.

Sem custo. Até 50 perguntas por grupo de teste.

Sem limites.

Disponibilidade

Apenas Procedures — requer acesso gerenciado de disponibilidade.

Geralmente disponível para todos os customers do Fin com assento completo e permissão Todas as conversas.

Geralmente disponível para todos os customers do Fin.


Quando usar cada ferramenta

Use Simulações quando

  • Você precisa validar um Procedure de ponta a ponta antes de colocá-lo no ar.

  • Você quer testes automatizados e repetíveis que detectem regressões após cada atualização.

  • Seu Procedure tem lógica ramificada, Condições ou sub-procedures — e você precisa de um caso de teste separado para cada caminho.

  • Você quer que a IA avalie o resultado com base em critérios de sucesso definidos (resposta do Fin, valores de atributos, chamadas de conectores de dados, resultado da instrução).

  • Você precisa testar lógica sensível ao tempo (ex.: janelas de reembolso) controlando o tempo da simulação e os valores dos dados.

Use Testes em Lote quando

  • Você quer validar as respostas do Fin em um amplo conjunto de perguntas — não apenas um cenário.

  • Você está fazendo QA pré-lançamento em conteúdo, orientação, públicos, idiomas ou marcas.

  • Você quer diagnosticar lacunas de conteúdo vendo de quais fontes o Fin puxa para cada resposta.

  • Você quer testar perguntas geradas a partir de conversas reais passadas ou tópicos de IA.

  • Você precisa de um relatório CSV para baixar e compartilhar resultados com sua equipe ou líderes seniores.

Use Visualizações quando

  • Você está construindo ativamente e quer fazer verificações rápidas de uma mudança imediatamente — em conteúdo, orientação, um atributo, uma regra de escalonamento ou um Procedure.

  • Você quer percorrer manualmente uma conversa como um user, público ou em um idioma específico.

  • Você precisa ver o registro de eventos do Fin para entender exatamente o que foi aplicado (personalidade, orientação, tarefas, fontes de conteúdo).

  • Você quer testar o Fin Vision enviando uma imagem ou captura de tela.

  • Você está validando um fluxo de Procedure e quer ver a experiência completa do customer e do teammate na inbox (incluindo automações downstream).


Perguntas frequentes

Qual a diferença entre Simulações e Visualizações?

  • Visualizações são manuais e interativas: você digita as mensagens e observa o Fin responder em tempo real. São ótimas para verificações rápidas durante a construção.

  • Simulações são automatizadas: a IA atua como cliente, executa a conversa completa e avalia o resultado com base nos critérios de sucesso que você definiu.

  • Simulações não criam conversas na inbox; Visualizações sim. Use Simulações quando precisar validar a lógica do Procedure em escala. Use Visualizações para testes manuais em contexto.

Qual a diferença entre Simulações e Testes em Lote?

  • Testes em Lote verificam como o Fin responde a um amplo conjunto de perguntas — testando cobertura de conteúdo, orientação e automações em muitos cenários ao mesmo tempo. Você avalia as respostas manualmente.

  • Simulações testam um único Procedure de ponta a ponta com julgamento automatizado da IA.

  • Testes em Lote funcionam com todas as configurações do Fin. Simulações são exclusivas para Procedures.

Qual a diferença entre Testes em Lote e Visualizações?

  • Testes em Lote são execuções estruturadas e repetíveis de QA com até 50 perguntas — úteis para verificações pré-lançamento e diagnóstico de lacunas de conteúdo.

  • Visualizações são não estruturadas e manuais — uma conversa por vez, úteis para feedback instantâneo durante a construção.

  • Resultados de Testes em Lote são salvos e podem ser exportados para CSV. Conversas de Visualização aparecem na inbox, mas não são salvas como execuções de teste.

Simulações chamam APIs ao vivo ou afetam dados reais?

Não. Simulações não chamam APIs externas ao vivo (como Shopify ou Stripe) e não afetam dados reais. Testam apenas a lógica. Se precisar testar com chamadas reais de API, use Visualizações e selecione um user específico com dados reais no sistema externo.

Serei cobrado por Simulações ou Testes em Lote?

Simulações estão incluídas com Procedures sem custo extra. Testes em Lote também são gratuitos (você não será cobrado pelas respostas geradas por Testes em Lote).

Nota: Simulações têm um limite mensal de execuções (50–2.500 por mês dependendo do volume de conversas), que é reiniciado no primeiro dia de cada mês.

Posso usar Testes em Lote para testar um Procedure?

Testes em Lote mostram se um Procedure teria sido acionado para uma determinada pergunta, mas não executam o Procedure nem avaliam sua lógica de ponta a ponta. Para validação completa do Procedure (incluindo ramificações, chamadas de conectores de dados e resultados de instruções) use Simulações.

Qual ferramenta de teste devo usar antes de entrar no ar?

Use os três em combinação: Visualizações para verificações manuais rápidas enquanto constrói; Simulações para validar a lógica do Procedure de ponta a ponta com resultados automatizados de aprovado/reprovado; Testes em Lote para confirmar as respostas do Fin em um amplo conjunto de perguntas reais de customers.

É altamente recomendável executar Simulações antes de cada lançamento de Procedure.


Fatos importantes para lembrar

  • Simulações são exclusivas para Procedures. Não podem ser usadas com Tasks, Workflows ou testes gerais de conteúdo.

  • Testes em Lote funcionam para todos os customers do Fin — seja usando Procedures, Tasks ou apenas conteúdo de conhecimento.

  • Conversas de Visualização aparecem na inbox, mas são excluídas dos relatórios.

  • Apenas Visualizações podem chamar APIs ao vivo. Simulações e Testes em Lote são ambientes seguros e isolados.

  • Limites de execução de Simulações são por workspace, não por teammate, e são reiniciados mensalmente.

  • Avaliações de respostas em Testes em Lote não treinam o Fin — são apenas para revisão humana e análise da causa raiz.

  • Em Simulações, se um teste passa mas os critérios de sucesso são muito rígidos (ex.: exigir uma pergunta específica que o Fin encontrou), o teste ainda pode falhar. Foque os critérios de sucesso nos resultados, não nos passos intermediários.

Respondeu à sua pergunta?