Use este artigo para pedir ao Operator que crie, execute e analise Evals, revise as alterações que ele propõe e agende execuções recorrentes. O Operator também pode recomendar melhorias para seus Evals e Simulações ou para a configuração do Fin. Para o básico, incluindo o que são Evals e Simulações, veja Evals para Fin.
Nota: Para usar Evals com o Operator, seu workspace precisa do add-on Pro e você precisa ter acesso ao Operator.
Como criar um Eval com o Operator
Para criar um Eval com o Operator, vá para Fin AI Agent > Operator e peça para criar um Eval para seu caso de uso.
Por exemplo, você poderia pedir para testar:
O lançamento em que você está trabalhando: as alterações na configuração do Fin no seu lançamento atual, antes de entrarem no ar.
Conversas específicas: compartilhe um ou mais IDs de conversa, e o Operator cria Simulações que as recriam.
Casos extremos que você ainda não cobriu: peça ao Operator para procurar lacunas nas suas Simulações existentes e sugerir novas.
Um Procedimento novo ou atualizado: verifique se o Fin segue cada passo, incluindo os pontos onde deve fazer a transferência.
Um tópico: nomeie um tópico, como reembolsos, e o Operator cria Simulações cobrindo a variedade de cenários sobre os quais os clientes provavelmente vão contatar você.
Mais variações de um Eval existente: peça ao Operator para adicionar Simulações com clientes, tons ou idiomas diferentes.
Você pode dizer ao Operator quais devem ser as Simulações, as verificações de Simulação e as verificações de Transferência, ou deixar que ele decida. Se algo não estiver claro, como se deve adicionar Simulações a um Eval existente ou para qual equipe a transferência deve ir, o Operator pergunta primeiro. Escolha uma opção, digite sua própria resposta em Algo mais ou clique em Pular para deixar o Operator decidir.
Dica: Quanto mais específico for seu pedido, menos perguntas o Operator precisará fazer.
Exemplo de prompt: Crie um novo Eval chamado "Solicitações de reembolso" com 5 Simulações: um pedido de reembolso simples, um cliente perguntando sobre um reembolso fora do prazo, um cliente frustrado que foi cobrado duas vezes, um cliente perguntando em espanhol e um caso em que o Fin deve transferir para a equipe de Cobrança. Para adaptar, substitua o nome do Eval e os cenários pelo seu próprio tópico e casos.
Como revisar e salvar o que o Operator cria
O Operator não salva nada até que você revise. Novos Evals e Simulações aparecem no painel "alterações pendentes" acima da caixa de mensagem, cada um marcado como "Novo". Clique em qualquer item para revisá-lo antes de salvar.
Quando estiver pronto, escolha onde salvar as alterações:
Publicar no principal: salva todas as alterações pendentes nos seus Evals ativos imediatamente.
Salvar em rascunho de lançamento: salva as alterações em um rascunho de lançamento existente, para que você possa testá-las junto com outras alterações antes de entrarem no ar. Selecione um rascunho da lista ou clique em Novo rascunho de lançamento para criar um.
Para descartar as alterações, clique no ícone de exclusão.
Como executar um Eval com o Operator
Para executar um Eval com o Operator, peça para ele executar o Eval, por exemplo: Execute o Eval Solicitações de reembolso. O Operator mostra os resultados conforme cada Simulação é executada.
Você não precisa do Operator para executar um Eval. Vá para Fin AI Agent > Teste > Evals e execute você mesmo. Execuções iniciadas pelo Operator também aparecem lá, para que você possa revisar todos os resultados em um só lugar.
Como ler os resultados que o Operator fornece
Quando todas as Simulações forem executadas, o Operator apresenta os resultados e os explica:
Uma tabela de resultados: o resultado geral de cada Simulação (Aprovado, Reprovado ou Erro) e as verificações individuais por trás dele, para que você possa ver por que ele ficou assim. Por exemplo, uma Simulação chamada "Exportação em massa do workspace" pode falhar porque a verificação de Transferência falhou (o Fin escalou quando não deveria), mesmo que a verificação de resposta do Fin tenha passado.
Um resumo: as contagens principais (3 aprovados, 1 reprovado, 2 com erro), seguidas por uma explicação em linguagem simples do que deu errado e por quê. Por exemplo, o Operator pode rastrear uma exportação falhada até uma regra de orientação que transfere para um colega sempre que a palavra "falha" aparece.
Como corrigir problemas com o Operator
Após analisar os resultados, o Operator pode recomendar melhorias, seja para seus Evals e Simulações ou para a configuração do Fin, e fazer essas alterações para você. Por exemplo, quando uma Simulação falha por causa de uma regra de orientação, o Operator rastreia a falha até essa regra para que você veja o que corrigir. O Operator não aplica correções sozinho. Cada alteração que ele propõe aparece no painel "alterações pendentes" para você revisar antes de salvar, conforme descrito em Como revisar e salvar o que o Operator cria.
Como agendar Evals com o Operator e Rotinas
Para executar Evals em uma programação regular, como toda segunda-feira de manhã, configure uma Rotina no Operator. Você não pode agendar Evals pela página de Evals.
Para agendar um Eval:
Vá para Fin AI Agent > Operator e clique em Rotinas.
Em Configurar uma rotina, descreva o que deseja executar e quando. Por exemplo: “Execute o Eval Solicitações de reembolso toda segunda-feira às 9h e resuma os resultados.”
O Operator cria o rascunho da Rotina e o mostra em um painel à direita, com seu gatilho, programação e instruções. Se algo estiver faltando, como o horário ou o fuso horário, o Operator sugere um padrão e pede que você confirme ou altere.
Verifique os detalhes da Rotina e clique em Aceitar para ativá-la ou em Descartar para cancelá-la.
Cada vez que a Rotina é executada, ela informa quantas Simulações passaram e falharam, quais falharam e por quê, e quaisquer correções recomendadas para o conteúdo, orientação ou Procedimentos do Fin.