Este artigo explica quando usar as três ferramentas de teste da Fin — Simulations, Batch tests e Previews.
Referência rápida: qual ferramenta faz o quê
| Simulations | Batch tests | Previews |
O que é | Testes automatizados de ponta a ponta com IA de um único Procedure. A IA atua como cliente simulado e avalia o resultado de acordo com critérios de sucesso que você define. | Uma ferramenta de teste de perguntas e respostas para validar as respostas da Fin em até 50 perguntas ao mesmo tempo. Testa como a Fin responde quanto a conteúdo, orientação, users, idiomas e automações. | Um painel de teste manual e interativo disponível em todas as áreas de treinamento da Fin. Você digita mensagens e vê a resposta da Fin e o registro de eventos em tempo real. |
Melhor para | Validar a lógica complexa do Procedure de ponta a ponta antes de ir ao vivo. Detectar regressões após atualizações do Procedure. Testar casos extremos e caminhos ramificados. | Verificar cobertura de conteúdo em muitas perguntas ao mesmo tempo. Diagnosticar lacunas em conhecimento, orientação ou automações. QA pré-lançamento entre audiências, marcas e idiomas. | Verificações manuais rápidas enquanto cria. Verificar como uma mudança específica — no conteúdo, orientação, atributos, escalonamento ou em um Procedure — afeta a resposta da Fin no momento. |
Funciona com | Apenas Procedures. | Todos os customers que usam a Fin — seja usando Procedures, Tasks, ou apenas conteúdo de conhecimento. | Todas as áreas de treinamento da Fin: Content, Guidance, Attributes, Escalation, Procedures e Deploy. |
Modo de teste | Automatizado — a IA gera o lado do cliente da conversa e avalia o resultado com um julgamento de aprovou/reprovou. | Automatizado — Fin gera uma resposta para cada pergunta. Você revisa e avalia as respostas manualmente (Bom / Aceitável / Ruim). | Manual — você digita as mensagens e observa a resposta da Fin e o registro de eventos. |
Cria uma conversa real? | Não — roda inteiramente em segundo plano. Nenhuma conversa na inbox é criada. | Não — apenas simulação. Não cria conversas na inbox nem afeta dados de clientes. | Sim — conversas de Preview aparecem na sua inbox, mas são excluídas dos relatórios. |
Atinge APIs ao vivo? | Não — não chama APIs externas ao vivo (por exemplo, Shopify, Stripe). Testa apenas a lógica. | Não — conectores de dados usam payloads de teste/amostra configurados. Sem chamadas de API ao vivo. | Sim — pode acessar dados reais de users e integrações ao vivo ao testar como um usuário ou lead específico. |
Salva e reenrola | Sim — simulações são salvas e podem ser reenviadas sempre que o Procedure for atualizado. Suporta Executar tudo. | Sim — grupos de teste (até 50 perguntas cada) podem ser salvos, reenviados e compartilhados com colegas. | Não — conversas manuais únicas. Não são salvas nem reenviáveis. |
Julgmento de aprovou/reprovou | Sim — a IA avalia a conversa com base nos critérios de sucesso e atribui Aprovado ou Reprovado com justificativa completa. | Não — você avalia manualmente cada resposta como Bom, Aceitável ou Ruim e escolhe a causa raiz. | Não — sem julgamento automatizado. Você avalia o resultado. |
Limites de uso | Sim — limite mensal de execuções baseado no volume de conversas do workspace (250–12.500/mês). Incluído com Procedures sem custo adicional. | Sem cobrança. Até 50 perguntas por grupo de teste. | Sem limites. |
Disponibilidade | Geralmente disponível para todos os customers que usam Procedures. | Geralmente disponível para todos os customers da Fin com assento completo e permissão All conversations. | Geralmente disponível para todos os customers da Fin. |
Quando usar cada ferramenta
Use Simulations quando
Você precisa validar um Procedure de ponta a ponta antes de colocá-lo no ar.
Você quer testes automatizados e repetíveis que detectem regressões após cada atualização.
Seu Procedure tem lógica ramificada, Conditions ou sub-procedures — e você precisa de um caso de teste separado por caminho.
Você quer que a IA julgue o resultado de acordo com critérios de sucesso definidos (resposta da Fin, valores de atributo, chamadas de data connector, resultado de instrução).
Você precisa testar lógica sensível ao tempo (por exemplo, janelas de reembolso) controlando o tempo da simulação e valores de dados.
Use Batch tests quando
Você quer validar as respostas da Fin em um amplo conjunto de perguntas — não apenas um cenário.
Você está fazendo QA pré-lançamento em conteúdo, orientação, audiências, idiomas ou marcas.
Você quer diagnosticar lacunas de conteúdo vendo de quais fontes a Fin tira cada resposta.
Você quer testar perguntas geradas a partir de conversas reais passadas ou tópicos de IA.
Você precisa de um relatório CSV para baixar e compartilhar resultados com sua equipe ou líderes.
Use Previews quando
Você está criando ativamente e quer fazer checagens pontuais de uma mudança imediatamente — no conteúdo, orientação, um atributo, uma regra de escalonamento ou um Procedure.
Você quer percorrer manualmente uma conversa como um usuário específico, audiência ou em um idioma específico.
Você precisa ver o registro de eventos da Fin para entender exatamente o que foi aplicado (personality, guidance, tasks, content sources).
Você quer testar o Fin Vision enviando uma imagem ou captura de tela.
Você está validando um fluxo do Procedure e quer ver a experiência completa do cliente e do colega na inbox (incluindo automações downstream).
FAQs
Qual a diferença entre Simulations e Previews?
Qual a diferença entre Simulations e Previews?
Previews são manuais e interativos: você digita mensagens e observa a Fin responder em tempo real. Ótimos para checagens rápidas enquanto cria.
Simulations são automatizadas: a IA atua como cliente, executa a conversa completa e julga o resultado com base nos critérios de sucesso que você definiu.
Simulations não criam conversas na inbox; Preview sim. Use Simulations quando precisar validar a lógica do Procedure em escala. Use Preview para testes manuais em contexto.
Qual a diferença entre Simulations e Batch tests?
Qual a diferença entre Simulations e Batch tests?
Batch tests verificam como a Fin responde a um amplo conjunto de perguntas — testando cobertura de conteúdo, orientação e automações em muitos cenários de uma vez. Você avalia as respostas manualmente.
Simulations testam um único Procedure de ponta a ponta com julgamento automatizado pela IA.
Batch tests funcionam com todas as configurações da Fin. Simulations são exclusivas para Procedures.
Qual a diferença entre Batch tests e Previews?
Qual a diferença entre Batch tests e Previews?
Batch tests são execuções de QA estruturadas e repetíveis em até 50 perguntas — úteis para checagens pré-lançamento e diagnóstico de lacunas de conteúdo.
Previews são não estruturados e manuais — uma conversa por vez, úteis para feedback instantâneo enquanto cria.
Os resultados de Batch test são salvos e podem ser exportados para CSV. As conversas de Preview aparecem na sua inbox, mas não são salvas como execuções de teste.
Simulations chamam APIs ao vivo ou afetam dados reais?
Simulations chamam APIs ao vivo ou afetam dados reais?
Não. Simulations não chamam APIs externas ao vivo (como Shopify ou Stripe) e não afetam nenhum dado real. Testam apenas a lógica. Se precisar testar com chamadas reais de API, use Preview e selecione um usuário específico com dados reais no sistema externo.
Serei cobrado por Simulations ou Batch tests?
Serei cobrado por Simulations ou Batch tests?
Simulations estão incluídas com Procedures sem custo adicional. Batch tests também são gratuitos (você não será cobrado pelas respostas geradas no Batch test).
Observação: Simulations têm um limite mensal de execuções (250–12.500 por mês dependendo do volume de conversas), que é redefinido no primeiro dia de cada mês.
Posso usar Batch tests para testar um Procedure?
Posso usar Batch tests para testar um Procedure?
Batch tests mostram se um Procedure teria sido acionado para uma determinada pergunta, mas não executam o Procedure nem avaliam sua lógica de ponta a ponta. Para validação completa do Procedure (incluindo ramificação, chamadas de data connector e resultados de instrução) use Simulations.
Qual ferramenta de teste devo usar antes de entrar no ar?
Qual ferramenta de teste devo usar antes de entrar no ar?
Use as três em combinação: Preview para checagens manuais rápidas enquanto cria; Simulations para validar a lógica do Procedure de ponta a ponta com resultados automatizados de aprovou/reprovou; Batch tests para confirmar as respostas da Fin em um amplo conjunto de perguntas reais de clientes.
Recomendamos fortemente executar Simulations antes de cada lançamento de Procedure.
Fatos principais a lembrar
Simulations são exclusivas para Procedures. Não podem ser usadas com Tasks, Workflows, ou testes gerais de conteúdo.
Batch tests funcionam para todos os customers da Fin — seja usando Procedures, Tasks, ou apenas conteúdo de conhecimento.
As conversas de Preview aparecem na inbox, mas são excluídas dos relatórios.
Apenas Preview pode chamar APIs ao vivo. Simulations e Batch tests são ambientes seguros e isolados.
Os limites de execução de Simulation são por workspace, não por colega, e são redefinidos mensalmente.
As avaliações de resposta no Batch test não treinam a Fin — são apenas para revisão humana e análise de causa raiz.
Em Simulations, se um teste passar mas os critérios de sucesso forem muito rígidos (por exemplo, exigir uma pergunta específica que a Fin encontrou), o teste ainda pode falhar. Foque os critérios de sucesso nos resultados, não em passos intermediários.
