O teste em lote permite simular como o Fin responderá às perguntas reais dos clientes — antes que essas respostas cheguem aos clientes reais. Isso ajuda a verificar a cobertura do conteúdo, depurar resultados inesperados e refinar o comportamento do Fin em várias marcas, users, idiomas e automações.
Principais benefícios / casos de uso:
Valide as respostas do Fin em várias marcas e perfis de users antes de entrar no ar.
Diagnostique e corrija lacunas de conteúdo inspecionando a fonte, personalidade e orientação por trás de cada resposta.
Organize execuções de teste em grupos reutilizáveis para acompanhar mudanças ao longo do tempo.
Veja quando as automações são acionadas, incluindo tarefas, ações e respostas personalizadas do Fin.
Controle as configurações de idioma e garanta que as traduções em tempo real funcionem conforme o esperado.
O Batch Test foi projetado para todos os clientes que usam Intercom para suportar conversas – seja você um cliente Fin existente ou apenas querendo explorar seu potencial.
Para acessar o Batch Test para Fin, os membros da equipe devem ter um full seat e sua permissão de acesso a conversas configurada para "Todas as conversas".
Como usar o Batch test
1. Gere suas perguntas
Vá para Fin AI Agent > Test na navegação principal e escolha como deseja adicionar perguntas.
As opções para adicionar perguntas para um teste em lote são:
Gerar a partir de conversas passadas
Todas as conversas
De um tópico AI específico
Adicionar perguntas manualmente
Enviar um arquivo CSV de perguntas
Essas opções permitem garantir que o Fin seja testado contra consultas reais e relevantes de clientes antes do lançamento, ajudando a identificar lacunas de conteúdo e otimizar respostas para diferentes públicos e cenários.
Nota:
Você pode enviar até 50 perguntas por grupo de teste.
Você deve ter no mínimo 1 conversa nos últimos 90 dias para que a opção Gerar a partir do inbox apareça.
As permissões "Pode acessar pessoas, empresas e listas de contas" e "Pode acessar páginas de perfil de lead e user" também são necessárias.
Como criar sua lista de perguntas de clientes
Cada abordagem para gerar grupos de perguntas tem suas próprias vantagens e casos de uso ideais.
Gerar perguntas a partir de conversas passadas
Você pode gerar automaticamente até 50 perguntas com base nas suas conversas mais recentes com clientes (30-90 dias), para que o conjunto de perguntas represente com precisão o que os clientes estão perguntando neste momento.
Esta é uma maneira rápida de obter uma lista de perguntas que reflete com precisão as necessidades atuais dos clientes.
Nota: A opção só aparece se houver pelo menos algum volume recente de conversas (por exemplo, últimos 90 dias).
Gerar perguntas por tópico
Este método usa tópicos AI para gerar conjuntos de perguntas específicas por tópico com base em consultas reais de clientes. É particularmente útil quando você quer focar em áreas específicas e entender quão bem elas estão sendo tratadas.
Casos de uso comuns incluem:
Preparar-se para picos sazonais em perguntas de clientes (por exemplo, dúvidas fiscais de fim de ano).
Avaliar o desempenho do Fin após ativar novo conteúdo em tópicos específicos.
Priorizar tópicos de alto volume ou baixo CSAT identificados pelo Topics Explorer.
Nota: Este método requer que tópicos AI estejam disponíveis no seu workspace. O Topics Explorer depende de dados recentes de conversas para gerar insights.
Adicionar perguntas manualmente
Se você não quiser gerar suas perguntas a partir de dados existentes, pode copiar e colar uma lista de perguntas ou adicioná-las uma a uma. Este método oferece controle total sobre o conteúdo e a formulação exata, sem depender de conversas históricas.
Casos de uso comuns incluem:
Você tem uma lista de perguntas pré-preparada com cenários críticos de conformidade e/ou casos extremos que não aparecem nos dados históricos de conversas.
Você está testando respostas sobre novos recursos ou políticas sem volume de conversas anteriores.
Enviar um arquivo CSV de perguntas
Este método permite enviar um conjunto de perguntas geradas em outro lugar, como em outra plataforma de suporte. Você só precisa de um arquivo .csv com uma única coluna contendo até 50 perguntas de teste.
Casos de uso comuns incluem:
Você precisa carregar em massa uma lista selecionada (por exemplo, por tópico, público, região)
Você precisa realizar avaliações repetíveis entre equipes
Você está se preparando para um lançamento ou pico sazonal e quer um único upload para cobrir de 30 a 50 perguntas canônicas.
Ao selecionar o método certo de geração de perguntas para suas necessidades, você pode avaliar e refinar o desempenho do Fin contra cenários relevantes de clientes, ajudando a identificar lacunas e melhorar respostas ao longo do tempo.
2. Configure seu teste
Suas perguntas de teste começarão automaticamente a ser executadas usando um usuário genérico de visualização para acessar todo o conteúdo e acionar todas as automações sem segmentação. Para configurar essas configurações de teste, clique no menu suspenso Manage no topo da página e depois selecione Settings.
Testar como
Escolha como testar Fin simulando users ou audiências. Você pode escolher testar Fin como:
User or Lead - Teste Fin como um user ou lead, com conteúdo disponível, orientações e automações (tarefas, conectores de dados e respostas personalizadas). Selecione um user para ver como Fin adapta as respostas com base em user attributes, como idioma, localização, plano e mais. Perfeito para validar configurações antes do lançamento ou para solucionar problemas após a implantação. Você pode selecionar na lista suspensa de contatos no seu workspace e escolher simular como esse user específico. Isso é particularmente útil se você já tiver users de teste configurados no seu workspace. No entanto, você também pode buscar e selecionar users/leads reais dentro do seu workspace.
Audience - Teste Fin como audiência(s), com conteúdo e orientações específicas para a audiência. As automações não serão executadas.
Preview User - Teste Fin com todo o conteúdo ao vivo, orientações e automações incluídas.
Marca
Se você configurou várias marcas no seu workspace, pode selecionar a marca que deseja testar. Por exemplo, o conteúdo pode ser diferente para essa marca, então a resposta do Fin pode ser testada para garantir que essas nuances sejam captadas.
Clique em Confirm para executar o teste novamente com essas configurações.
3. Execute o teste e inspecione as respostas
Depois de executar um teste, você pode ver a resposta gerada pelo Fin para cada pergunta.
Use o painel "Evaluate answer" para ver:
Configurações de Personality (ex.: tom de voz)
Guidance (se configurado)
Content sources de onde o Fin puxou
Automations (ex.: Fin Tasks, Data connectors ou Custom Answers acionados)
Embora você não possa editar diretamente as automações acionadas em um teste Batch, o painel direciona para a tela de configuração relevante para você revisar ou fazer ajustes rapidamente.
4. Adicione uma nova pergunta
Para adicionar uma nova pergunta, vá para Fin AI Agent > Test na navegação principal. Em seguida, clique no botão + add question. Um menu suspenso aparecerá, oferecendo várias opções para como você gostaria de adicionar suas perguntas.
Generate more from all conversations - Você pode criar até 50 perguntas a partir de suas conversas passadas.
Generate more by Topic - Se AI Topics estiverem disponíveis no seu workspace, perguntas podem ser geradas automaticamente com base nos tópicos das suas conversas.
Upload more from a CSV - Importe até 50 perguntas de uma vez fazendo upload de um arquivo CSV.
Add more manually - Você pode copiar e colar uma lista de perguntas ou adicioná-las uma a uma.
5. Ajuste as configurações de idioma e traduções
Para ajudar você a obter respostas precisas no idioma correto, o teste Batch facilita a verificação e atualização das configurações de Language support e Real-time translation durante o teste.
Se você estiver vendo uma resposta em um idioma diferente do esperado — por exemplo, se uma pergunta em russo receber uma resposta em inglês — ele fornece mensagens claras em amarelo explicando por que isso pode estar acontecendo e como corrigir o problema.
Depois de ativar as configurações apropriadas e atualizar a resposta, as respostas do Fin aparecerão no idioma correto.
Você pode precisar ativar apenas uma ou ambas as configurações, dependendo da sua configuração atual. Não se preocupe — você pode ativá-las simultaneamente e voltar a esta tela.
6. Avalie as respostas do Fin
Revise as respostas do Fin e avalie se elas atendem às expectativas, verificando a precisão factual, o tom apropriado e se os dados corretos foram acessados ou os procedimentos certos foram acionados.
Se você selecionar Acceptable, pode adicionar uma nota interna para referência futura ao melhorar as respostas do Fin. Essas notas serão incluídas no relatório CSV para download do teste.
Se você selecionar Poor, escolha um motivo para sua avaliação na lista. É aqui que você precisa realizar uma análise de causa raiz para determinar corretamente por que a resposta do Fin não atendeu às expectativas e assim poder fazer melhorias imediatas.
As opções possíveis são as seguintes:
Não usou o conteúdo correto
Não esclareceu a pergunta do customer
Usou o conteúdo incorretamente
O tom não estava correto
O comprimento da resposta é muito longo ou curto
Não falou no idioma correto
Outro
Nota: Essas avaliações não treinam o Fin diretamente. Você precisa aplicar uma correção via Improve this answer ou atualizando o conteúdo/orientação, e então executar o teste novamente.
Leia abaixo os indicadores para ajudar você a realizar a análise de causa raiz para uma resposta avaliada como Poor.
Não usou o conteúdo correto
Use quando a resposta estiver factualmente errada porque o Fin se baseou em uma fonte irrelevante, desatualizada ou incompleta.
Indicadores:
As citações apontam para a página errada
A resposta faz referência a uma política antiga ou produto/plano diferente
Fatos-chave estão faltando ou incorretos
Não esclareceu a pergunta do customer
Use quando a pergunta é ambígua ou falta detalhes importantes e Fin respondeu prematuramente em vez de pedir contexto.
Indicadores:
Consultas multi-intenção (“refund + upgrade”)
Termos vagos (“issue with login”)
Dependência de especificidades do cliente (plano, região, plataforma) que não foram coletadas.
Conteúdo usado incorretamente
Use quando o conteúdo subjacente está correto, mas Fin interpretou, combinou ou ordenou de forma errada.
Indicadores:
Passos fora de sequência
Aplicação de regras para o público/plano errado
Mistura de dois procedimentos
Omissão de um pré-requisito presente na fonte
Tom não estava correto
Use quando a resposta não corresponde à voz da sua marca ou à sensibilidade da situação.
Indicadores:
Muito casual/alegre para tópicos sensíveis (billing, security)
Formal demais para FAQs simples
Falta de empatia ou tranquilização
Caso contrário, não corresponde à voz da sua marca
O comprimento da resposta é muito longo ou curto
Use quando a verbosidade não se encaixa na intenção ou canal.
Indicadores:
Respostas em bloco de texto para FAQs rápidas
Respostas muito breves em múltiplas etapas para questões importantes de conformidade
Detalhes-chave enterrados ou omitidos
Não falou no idioma correto
Use quando o idioma da resposta não corresponde ao cliente ou região.
Indicadores:
Resposta aparece em inglês quando a configuração do público de teste é não-inglês (ou vice-versa)
Respostas em idiomas mistos na mesma conversa
Outros
Use quando o problema não se encaixa nas categorias acima (deixe uma nota clara).
Exemplos:
Automação acionada (ou não) conforme esperado
Desalinhamento de marca/público-alvo
Conector de dados ausente
Elemento de UI (captura de tela) necessário do conteúdo para fins ilustrativos
7. Refinar respostas do Fin
Depois de selecionar o motivo que melhor corresponde à sua avaliação, clique em Melhorar esta resposta para ver recomendações dinâmicas adaptadas à causa raiz selecionada para essa resposta específica.
Recomendações comuns incluem:
Adicionar ou revisar orientações para:
Modelar o tom de voz e o comprimento da resposta
Garantir que Fin faça perguntas esclarecedoras para consultas ambíguas
Estabelecer regras claras de escalonamento para áreas de alto risco
Definir conteúdo fonte preferido para intenções ou marcas específicas
Garantir que requisitos de conformidade e políticas sejam aplicados corretamente
Adicionar um trecho para:
Atualizações de conhecimento rápidas, precisas e privadas
Soluções imediatas para conteúdo desatualizado ou incorreto
Detalhes apenas para uso interno que não devem ser compartilhados publicamente
Informações sazonais ou limitadas no tempo (por exemplo, promoções)
Casos específicos restritos que exigem redação ou parâmetros específicos
Criando ou atualizando artigos existentes para:
Perguntas frequentes principais amplamente necessárias pelos customers
Procedimentos complexos que se beneficiam de títulos, passos numerados, tabelas ou imagens
Conteúdo que deve ser referenciado para transparência e valor de autoatendimento para o customer
Tópicos com correções repetidas em snippets e que devem ser consolidados em um artigo
Habilitando o acesso do Fin a artigos específicos
Atualizando idiomas suportados para:
Fornecer suporte em mais idiomas
Detectar a língua de entrada de forma eficaz
Permitir tradução em tempo real do conteúdo de ajuda no seu idioma padrão
Nota: Se você selecionar Outro como motivo para uma resposta classificada como Poor, pode não receber uma solução recomendada. Em alguns casos, a solução apropriada pode envolver atualizar conectores de dados ou criar um procedimento que permita ao Fin agir em nome do customer.
Exemplo
Este exemplo demonstra uma análise hipotética da causa raiz e solução para uma pergunta classificada como Poor.
Pergunta: “Como adiciono um novo user sem pagar?”
O que aconteceu: Fin respondeu com passos genéricos para convidar um user, mas perdeu a nuance de cobrança baseada no plano.
Análise da causa raiz: Os detalhes da resposta mostram que Fin se baseou no artigo “Invite user” que não cobre especificidades de plano/cobrança para assentos gratuitos vs pagos (lacuna de conhecimento).
Selecione o motivo: "Não usou o conteúdo correto."
Sugestões: Atualize o artigo “Invite user” para incluir informações relevantes; Adicione orientações para garantir que o Fin faça perguntas esclarecedoras para identificar o tipo de plano relevante antes de responder.
8. Filtrar um teste e fazer atualizações em massa
Filtrar um teste por Status da resposta:
Qualquer - todas as perguntas adicionadas ao grupo de teste.
Perguntas respondidas - apenas perguntas onde o Fin forneceu uma resposta direta, desambiguação ou automação (por exemplo, transferência de workflow, Fin Task, etc.)
Perguntas não respondidas - apenas perguntas onde o Fin não pôde fornecer uma resposta ou acionar qualquer ação de acompanhamento.
Filtrar um teste por Avaliação da resposta:
Qualquer
Boa
Aceitável
Ruim
Faça atualizações em massa usando as caixas de seleção à esquerda da pergunta. Isso permite atualizar em massa pares de P+R para baixar certas perguntas, excluir essas perguntas, criar um grupo de teste ou atualizar a resposta associada a essa pergunta.
9. Salvar e organizar grupos de teste
Você pode usar grupos de teste para organizar e salvar até 50 perguntas e respostas na área de testes. Este é o número máximo que você pode carregar de uma vez, tornando uma forma prática de agrupar perguntas relacionadas para revisão e reutilização mais fácil. Cada grupo de teste mantém as configurações usadas durante o teste — como simular um user específico — para que você possa refazer os testes com a mesma configuração a qualquer momento.
Clique em Gerenciar no topo da página para selecionar a opção + Criar novo grupo.
A partir daí, você tem várias opções flexíveis para preencher seu novo grupo de teste com perguntas:
Gerar a partir do inbox: Puxe perguntas diretamente das suas conversas existentes, seja de todas as conversas ou por tópicos específicos.
Adicionar manualmente: Insira perguntas uma a uma.
Enviar um arquivo CSV: Importe várias perguntas rapidamente usando um arquivo CSV.
Clique em Gerenciar para renomear um grupo ou excluir um grupo de teste.
Clique no nome do seu grupo de teste para criar grupos adicionais, ou selecione um grupo diferente que você salvou anteriormente.
Grupos de teste são especialmente úteis para organizar perguntas por tópico. Por exemplo, se você testou e revisou um lote de perguntas sobre sinistros de seguro, pode salvá-las como um grupo rotulado “Perguntas sobre Sinistros de Seguro.” Isso facilita revisitar, refazer ou avaliar esse conteúdo depois.
Eles também são ótimos para gerenciar a colaboração da equipe. Como o Batch test é um recurso a nível de workspace, usar grupos de teste permite que os teammates mantenham suas execuções de teste separadas. Em vez de excluir testes anteriores para liberar espaço, você pode salvá-los em grupos para preservar o trabalho de todos.
10. Baixar um relatório CSV
Um arquivo CSV pode ser gerado, compilando todas as perguntas, respostas, avaliações aplicadas pelos users e as fontes utilizadas para cada resposta. Basta clicar em Gerenciar no topo da página e depois selecionar Obter relatório CSV.
Isso é ótimo para compartilhar resultados com sua equipe mais ampla para colaboração, ou visibilidade para líderes seniores revisarem.
Perguntas frequentes
O que não é testável no Batch test?
Fin Vision (reconhecimento de imagem) ainda não é suportado na seção Batch test.
Serei cobrado por resoluções ao usar o Batch test?
Não, a página Fin AI Agent > Test é gratuita para usar e você não será cobrado pelas respostas de IA geradas através do Batch test. 👌
Posso gerar perguntas de teste automaticamente?
Sim, você pode gerar perguntas de teste automaticamente. No entanto, para que a opção "Generate from inbox" apareça, você deve ter no mínimo 1 conversa nos últimos 90 dias no seu workspace.
As avaliações de respostas treinam o Fin?
Não. Batch test é estritamente para garantia de qualidade — as avaliações ajudam você a identificar áreas para melhorar, não para re-treinar o Fin.
Posso testar diferentes idiomas?
Sim. Batch test verifica e sinaliza qualquer configuração de idioma ou tradução ausente para que você possa resolver facilmente.
Posso simular diferentes users?
Sim. Batch test permite que você selecione um user/lead no seu workspace e veja como o Fin responderia com base nos atributos específicos do user.
Qual é a diferença entre redefinir um teste e executar um teste novamente?
Redefinir o teste permitirá que você escolha outro batch, seja do histórico de conversas ou de um upload. Executar o teste novamente irá re-gerar respostas com base em quaisquer alterações de conteúdo ou avaliações de respostas que você forneceu no batch para que você possa continuar refinando o desempenho.
Por que a opção "Generate from inbox" está desabilitada?
A opção "Generate from inbox" está desabilitada quando não há conversas suficientes ou conversas com tópicos relevantes na sua inbox.
O Batch testing afeta os dados dos clientes?
Não. Batch testing é apenas simulação e não altera os dados dos clientes.
Quando o batch testing é executado:
Data connectors usam seus payloads de teste ou amostra configurados. Os resultados são claramente rotulados como “answer uses sample response data”, então nenhuma API ao vivo é chamada.
Fin Tasks, Procedures, and Workflows não são executados. Batch testing apenas mostra o que teria sido acionado em uma conversa real, então nenhuma tag, atualização, escalonamento ou gravação realmente acontece.
Isso permite que você valide respostas e comportamentos com segurança sem impactar os dados do Intercom ou sistemas externos.