Use este artigo para encontrar, filtrar e marcar seus Evals, criar um novo Eval, organizar seus Evals, importar Simulações de um arquivo CSV (comma-separated values), adicionar um Scorecard e ver como o Fin está performando em seus Evals.
O que é a página de Evals?
A página de Evals lista todos os Evals no seu espaço de trabalho, para que você possa ver como cada grupo de testes performou e executá-los novamente. Um Eval é um grupo temático de testes, e cada teste dentro dele é chamado de Simulação. Para abrir a página, vá para Fin AI Agent > Test > Evals.
A tabela de Evals tem estas colunas:
Nome do Eval: o nome do Eval, com um botão de execução ao lado. Passe o mouse sobre o botão para ver seu rótulo Executar eval.
Resultado: como o Eval performou na sua última execução, por exemplo 4/6 Aprovado.
Tags: quaisquer tags anexadas ao Eval.
Data da última execução: a data da última vez que o Eval foi executado.
Última execução por: quem executou o Eval pela última vez.
Última atualização: quando o Eval foi alterado pela última vez.
Criado em: quando o Eval foi criado.
Como organizar seus Evals
Para organizar seus Evals, agrupe Simulações em Evals pelo tema que fizer sentido para seu negócio. Muitas equipes começam pelo que ainda não está funcionando, depois expandem a partir daí. Pontos de partida comuns incluem:
Problemas conhecidos: conversas onde o Fin deu uma resposta errada, incompleta ou inútil. Recrie cada uma como uma Simulação, corrija a causa e execute novamente para confirmar a correção. Para recriar uma conversa rapidamente, veja Como criar uma Simulação a partir de uma conversa real em Configurar Simulações para Evals.
Cenários de escalonamento: situações onde o Fin deve (ou não deve) passar para um colega.
Cenários de tópico: um tópico, como pedidos de reembolso, testado em várias variações. Seus 10 ou 20 principais tópicos por volume de conversa são um bom ponto de partida.
Cenários comportamentais: verificações para garantir que o Fin mantenha o tom e a marca em diferentes situações, independentemente do tópico.
Com o tempo, construa um ou alguns Evals como um "conjunto dourado" que cubra as conversas que mais importam para você. Execute o conjunto dourado regularmente, por exemplo semanalmente ou sempre que alterar a configuração do Fin, para garantir que seus cenários mais importantes ainda funcionem.
Como encontrar um Eval por nome, resultado ou tag
Para encontrar um Eval por nome, digite na caixa Buscar evals no topo da página de Evals. Para restringir a lista, clique em Adicionar Filtro e escolha Resultado ou Tag.
Como filtrar Evals por resultado
Vá para Fin AI Agent > Test > Evals.
Clique em Adicionar Filtro, depois clique em Resultado.
Selecione um ou mais resultados: Não executado, Executando, Na fila, Aprovado, Parcialmente aprovado, Reprovado, Cancelado ou Inprocessável.
Como filtrar Evals por tag
Vá para Fin AI Agent > Test > Evals.
Clique em Adicionar Filtro, depois clique em Tag.
Selecione uma ou mais tags. Cada tag mostra quantos Evals a utilizam.
Como criar um novo Eval
Para criar um Eval, escolha se deseja construí-lo manualmente ou importar uma lista de cenários de clientes de um arquivo CSV (comma-separated values).
Vá para Fin AI Agent > Test > Evals.
Clique em Novo eval.
Escolha Criar manualmente para construir suas Simulações você mesmo, ou Enviar um CSV para importar uma lista de cenários de clientes.
Dê ao Eval um nome claro e descritivo de até 250 caracteres, para que você e seus colegas saibam o que ele cobre quando executá-lo novamente depois.
Cada Eval pode conter até 50 Simulações. Para importar de um arquivo CSV, veja Como importar Simulações de um arquivo CSV. Para configurar as Simulações dentro de um Eval, veja Configurar Simulações para Evals.
Como importar Simulações de um arquivo CSV
Para importar Simulações de um arquivo CSV, envie-o da página de Evals ou de dentro de um Eval. Cada linha vira uma Simulação, e você revisa cada correspondência de coluna antes de salvar. Para importar, você precisa de Pode visualizar configuração e propor mudanças em uma versão rascunho ou Pode visualizar configuração e publicar mudanças diretamente no principal (individualmente ou em uma versão) em Fin AI Agent & Automation.
Para importar em um novo Eval, vá para Fin AI Agent > Test > Evals, clique em Novo eval e selecione Enviar um CSV. Para adicionar Simulações a um Eval que você já tem, abra-o, selecione Importar CSV no menu de opções (...) e escolha esse Eval em Importar para.
O que um arquivo CSV pode incluir para Simulações?
Uma importação CSV pode preencher 5 campos de Simulação. Apenas a mensagem inicial é obrigatória.
Mensagem inicial (obrigatória): a primeira coisa que o cliente simulado diz para o Fin.
Instruções de acompanhamento: o que o cliente sabe, o que compartilha com o Fin se perguntado e como se comunica.
Canal: o canal em que o cliente simulado escreve, seja Messenger ou Email.
Transferência: se o Fin deve transferir a conversa: nenhuma, para uma equipe ou para um fluxo de trabalho.
Resposta esperada: o que o Fin deve dizer ou fazer para passar. Cada resposta esperada se torna uma verificação de resposta do Fin. Para adicionar várias respostas esperadas para uma Simulação, coloque cada uma em sua própria linha na mesma célula.
Para começar com um arquivo pronto, clique em Download template na caixa de diálogo Upload a CSV file. O template tem uma coluna para cada um dos 5 campos.
Os cabeçalhos das colunas não precisam corresponder exatamente ao template. Nomes comuns como question, prompt, persona, outcome ou ground truth são reconhecidos automaticamente. Arquivos separados por vírgula, ponto e vírgula e tabulação funcionam todos.
Quais são os limites de importação do CSV?
Limite | Valor |
Linhas por arquivo e por Avaliação | 50 |
Tamanho do arquivo | 10 MB |
Caracteres por resposta esperada | 1.000 |
Campos da simulação para corresponder | 5 |
Como enviar um arquivo CSV e corresponder colunas aos campos da Simulação
Na caixa de diálogo Upload a CSV file, arraste seu arquivo CSV ou clique em Choose file. O arquivo é lido no seu navegador e mostrado como uma tabela, com a contagem de linhas e colunas, antes de qualquer coisa ser salva. Para usar um arquivo diferente, clique em Replace file.
Verifique a tabela e clique em Continue.
Na etapa Match the columns, verifique o campo da Simulação correspondente a cada coluna e altere os que estiverem errados, ou clique em Reset matches para começar de novo.
Ao lado de Import to, escolha New eval e digite um nome, ou escolha uma Avaliação existente para adicionar as Simulações.
Cada campo da Simulação é correspondido a uma coluna, e as colunas que você não usar são listadas em Not used e ignoradas. Se uma resposta esperada tiver mais de 1.000 caracteres, será perguntado o que fazer: Leave them out (padrão) importa a linha sem essa resposta, Cut to 1,000 characters mantém o início da resposta, e Skip these rows exclui a linha inteira.
Como corrigir valores de Channel e Handoff sem editar seu arquivo CSV
Se um valor de Channel ou Handoff não for reconhecido pelo Fin, como WhatsApp ou Yes, um aviso aparece nesse campo.
Selecione o aviso no campo Channel ou Handoff.
Escolha o que cada valor não reconhecido significa.
Clique em Apply.
Você também pode escolher Skip rows para excluir essas linhas da importação. Qualquer valor que você deixar sem alteração será padrão Messenger para Channel e No handoff para Handoff.
Como visualizar e importar Simulações de um arquivo CSV
Clique em Preview simulations para ver cada linha como será executada, incluindo a primeira mensagem, instruções de acompanhamento, verificações de resposta do Fin e transferência.
Verifique a contagem de linhas na parte inferior da caixa de diálogo. Ela mostra quantas linhas serão importadas (por exemplo, 9 de 10 linhas) e o que foi deixado de fora.
Clique em Import.
Após a importação, uma confirmação mostra quantas Simulações foram criadas. Cada linha aparece na Avaliação como uma Simulação nomeada pela mensagem inicial, pronta para você clicar em Run all. As Simulações importadas usam o Test customer e todas as marcas, então abra uma Simulação para escolher um cliente específico. Tags são adicionadas à Avaliação, não no arquivo CSV. Quando você importa dentro de um Release, as Simulações são adicionadas a esse Release.
Quando você não pode importar Simulações de um arquivo CSV?
Nenhuma coluna está correspondida a Opening message, ou nenhuma linha tem uma.
A nova Avaliação não tem nome, ou o nome já está em uso.
Seu arquivo tem mais de 50 linhas.
Se suas linhas fizerem uma Avaliação existente ultrapassar 50 Simulações, você verá quantas ainda cabem e poderá selecionar Import first [number] para importar apenas essas. Se alguma linha for rejeitada na importação, nada será salvo. Cada linha com problema é listada com o motivo, e você pode selecionar Import without these rows para importar o restante.
Como marcar Avaliações e gerenciar tags
Tags agrupam Avaliações relacionadas para que você possa encontrá-las rapidamente conforme sua suíte cresce. Por exemplo, marque por tópico (Refunds), equipe ou responsável (Billing team), tipo de teste (Regression, Escalation) ou idioma (French). Uma Avaliação pode ter quantas tags você precisar.
Como criar uma tag para Avaliações
Para ver e criar tags, clique em Tags no canto superior direito da página de Avaliações. O painel de Tags lista cada tag e quantas Avaliações a usam, e você pode encontrar uma tag com a caixa Search tags.
Vá para Fin AI Agent > Test > Evals.
Clique em Tags, depois clique em New tag.
Em Name, digite um nome para a tag, por exemplo "Refunds".
Opcionalmente, clique em Add evals e escolha as Avaliações que devem receber a tag quando você criá-la.
Clique em Create tag.
Como adicionar tags às Avaliações
Na lista de Evals: selecione as caixas ao lado de um ou mais Evals, clique em Tag acima da lista e escolha as tags para adicionar. Você pode marcar até 100 Evals de uma vez.
Dentro de um Eval: clique em + Tag abaixo do nome do Eval.
Como renomear ou excluir tags para Evals
Para renomear ou excluir uma tag, clique em Tags no topo da página de Evals, ou selecione Gerenciar tags no seletor de tags. O painel mostra quantos Evals usam cada tag. Excluir uma tag a remove de todos os Evals, incluindo Evals em Releases.
Nota: Tags se aplicam a Evals, não a Simulações individuais. Para agrupar Simulações de forma diferente, divida-as em Evals separados. As tags de Eval são separadas das tags usadas em conversas e contatos.
Como adicionar um Scorecard a um Eval
Um Scorecard adiciona pontuação de qualidade a um Eval, como Esclarecimento ou Eficiência, além das verificações de aprovação/reprovação. Para adicionar, abra o Eval e clique em Adicionar scorecard no canto superior direito, ao lado de Nova simulação. Depois de adicionar, uma seção Avaliação de qualidade aparece ao lado de Resultados da simulação.
Para criar um Scorecard, adicionar critérios e definir o peso da pontuação e a configuração Crítica de cada critério, veja Como adicionar um Scorecard a um Eval.
Como ver o desempenho do Fin em seus Evals
Para ver como o Fin performou em todos os seus Evals, veja o resumo no topo de Fin AI Agent > Test > Evals. Ele reflete a última vez que cada Simulação foi executada e tem duas partes:
Resultados da simulação: quantas Simulações passaram em todas as suas verificações de Simulação e de Transferência, por exemplo 42/50 passaram (84%). Simulações que deram erro contam como falhas, e Simulações que ainda não foram executadas contam para o total.
Avaliação de qualidade: para cada Scorecard, a pontuação média da revisão e a média para cada critério, em todos os Evals que o usam. Use as setas para navegar entre os Scorecards.
O resumo atualiza com sua busca e filtros, então filtrar por uma tag mostra resultados apenas para esses Evals.
Para comparar execuções anteriores, abra uma Simulação e clique no menu suspenso do histórico de execuções ao lado do resultado. Ele lista cada execução por data com seu resultado.
Perguntas frequentes sobre gerenciamento de Evals
Quantas Simulações um Eval pode conter?
Quantas Simulações um Eval pode conter?
Um Eval pode conter até 50 Simulações. Para adicionar mais, exclua Simulações existentes ou crie um novo Eval.
Posso criar Simulações a partir de um arquivo CSV?
Posso criar Simulações a partir de um arquivo CSV?
Sim, você pode criar Simulações a partir de um arquivo CSV. Clique em Novo eval, depois escolha Upload a CSV para importar uma lista de cenários de clientes. Para adicionar Simulações importadas a um Eval que você já tem, abra-o e selecione Import CSV no menu de opções (...). Perguntas do Batch Test também funcionam: exporte-as para um arquivo CSV, e cada pergunta vira a mensagem inicial de uma Simulação.
Posso marcar Simulações individuais?
Posso marcar Simulações individuais?
Você não pode marcar Simulações individuais, porque tags se aplicam apenas a Evals. Para agrupar Simulações de forma diferente, divida-as em Evals separados.
Quem pode criar, editar e executar Evals?
Quem pode criar, editar e executar Evals?
Colegas com permissão Pode visualizar configuração e propor alterações em uma versão de rascunho ou Pode visualizar configuração e publicar alterações diretamente no principal (individualmente ou em uma versão) sob Fin AI Agent & Automation podem criar, editar, marcar e executar Evals. Colegas com permissão Pode visualizar configuração podem ver Evals e seus resultados, e podem filtrá-los por tag.