Use este artigo para adicionar um Scorecard a uma Avaliação, criar um novo Scorecard, adicionar critérios e definir a ponderação e a configuração Crítica de cada critério.
Como adicionar um Scorecard a uma Avaliação
Um Scorecard adiciona pontuação de qualidade a uma Avaliação, como Esclarecimento ou Eficiência, além das verificações de aprovação/reprovação. Até que uma Avaliação tenha um Scorecard, ela mostra apenas resultados da Simulação e nenhuma avaliação de Qualidade. Um Scorecard se aplica a toda Simulação na Avaliação, com os mesmos critérios para cada uma.
Vá para Fin AI Agent > Test > Evals e abra a Avaliação.
Clique em Adicionar scorecard no canto superior direito da Avaliação, ao lado de Nova simulação.
Depois de adicionar um Scorecard, uma seção Avaliação de qualidade aparece no topo da Avaliação, ao lado de Resultados da simulação. Os critérios exibidos vêm do Scorecard que você adicionou, então a seção lista os critérios que esse Scorecard contém. Ela mostra a Pontuação de revisão geral e a média para cada um desses critérios. A lista de conversas simuladas também ganha uma coluna de Pontuação de revisão e uma coluna para cada critério.
Você também pode adicionar um Scorecard a partir das Configurações da Avaliação. Para abrir as Configurações da Avaliação em uma Avaliação existente, clique no menu de opções (...) ao lado de Nova simulação, depois clique em Editar avaliação. Nas Configurações da Avaliação, abra o menu suspenso Avaliação de qualidade, então escolha um Scorecard existente ou clique em Criar novo scorecard. O padrão é Sem scorecard.
Nota: Scorecards são compartilhados com Monitores, então alterações em um Scorecard se aplicam em todos os lugares onde ele é usado. Para escrever critérios que pontuem de forma confiável, veja Como escrever critérios eficazes para Monitor e Scorecard.
Como criar um Scorecard para uma Avaliação
Para criar um Scorecard para uma Avaliação, dê um nome e adicione os critérios nos quais o Fin será avaliado. Scorecards de Avaliação sempre avaliam o Fin, então a configuração Quem é avaliado está fixa para Fin AI Agent, e Companheiros humanos designados não está disponível.
Nas Configurações da Avaliação, abra o menu suspenso Avaliação de qualidade e clique em Criar novo scorecard. O menu suspenso então mostra Novo scorecard, e o formulário Novo scorecard aparece abaixo dele.
Em Nome do scorecard, insira um nome.
Em Critérios de avaliação, clique em + Critérios. O painel Editar scorecard > Novo critério abre. Para preenchê-lo, veja Como adicionar critérios a um Scorecard.
Depois de adicionar critérios pontuados, a seção Pontuação de revisão (%) mostra uma média ponderada deles. É calculada multiplicando a pontuação (%) de cada critério pelo seu peso, somando os resultados e dividindo pelo peso total. Até lá, mostra Não pontuado.
O botão alternar Scorecard de autoavaliação está disponível somente quando todos os critérios usam avaliação por IA.
Como adicionar critérios a um Scorecard
No painel Editar scorecard > Novo critério, em Nome do critério, insira um nome claro para referência, por exemplo Sentimento.
Em Descrição, descreva o que deve ser avaliado, em até 255 caracteres. O avaliador de IA usa essa descrição para decidir qual classificação aplicar.
Em Opções de classificação, clique em Adicionar opção até que o critério tenha pelo menos 2 opções de classificação. A opção Não aplicável está sempre presente e não conta.
Opcionalmente, ative Razões para classificação.
Clique em Salvar para salvar o critério, depois clique em Salvar alterações em Configurações da Avaliação para anexar o Scorecard à Avaliação.
As Avaliações pontuam automaticamente cada critério com IA, usando a descrição do critério e a transcrição da Simulação (todas as mensagens, excluindo eventos). Pontuar manualmente não está disponível, porque Simulações não têm avaliador humano. Conteúdo, Procedimentos e orientações do Fin ainda não estão disponíveis para o avaliador de IA como contexto.
Como definir ponderação de pontuação e Crítico para um critério
Na tabela Critérios de avaliação, cada critério tem uma Ponderação de pontuação e uma configuração Crítico:
Ponderação de pontuação: quanto o critério conta para a Pontuação de revisão (%). Critérios que mostram Não pontuado não têm ponderação.
Crítico: se um critério Crítico falhar, todo o scorecard falha, independentemente da pontuação de revisão. A caixa de seleção Crítico está indisponível para critérios que mostram Não pontuado.
Como ler os resultados do Scorecard para uma Simulação
Para ver como o Fin pontuou em uma única conversa, abra uma Simulação de uma Avaliação que tenha um Scorecard. Junto com sua verificação de Transferência e verificações da Simulação, a Simulação mostra sua Pontuação de revisão e, para cada critério, a classificação dada pelo juiz LLM (modelo de linguagem grande). Se Razões para classificação estiver ativado para um critério, você também verá o motivo do juiz, para entender por que uma resposta foi pontuada daquela forma e transformar isso em uma correção.