Um scorecard personalizado define o que é bom para sua equipe, estabelecendo explicitamente os critérios que você valoriza - como precisão, tom ou conformidade com políticas. Scorecards funcionam junto com Monitors: um Monitor define quais conversas serão revisadas, e um scorecard define como cada uma é avaliada. Monitors podem avaliar tanto conversas do Fin AI Agent quanto de colegas humanos.
Você pode ter múltiplos scorecards para diferentes Monitors. Escolha qual scorecard associar a um Monitor na tela de configuração do Monitor:
Nota: Scorecards estão disponíveis como parte do Pro add-on.
Para criar um scorecard
Vá para Fin AI Agent > Analyze > Monitors e clique em Scorecards. Você pode usar o Fin Quality Scorecard pronto para uso ou criar o seu clicando em + New scorecard:
Criar um novo critério para scorecard
Comece adicionando critérios para o scorecard. Primeiro, clique em New scorecard > + Criteria > Create new.
Ao criar um novo atributo, siga os seguintes passos:
1. Nomeie o Critério
Dê ao critério um nome curto e claro (por exemplo, Sentiment ou Answer accuracy). Esse nome aparece nos relatórios e será usado como referência.
2. Descreva o que está sendo avaliado
Adicione uma descrição clara explicando o que o critério verifica e como deve ser pontuado. A descrição é o prompt que a AI usa para pontuar esse critério, e quanto mais precisa for, mais precisamente a AI avaliará as conversas. Também ajuda os revisores humanos a aplicar os mesmos critérios de forma consistente.
Dica: Para ajuda na redação de descrições eficazes, veja como escrever critérios eficazes para Monitor e Scorecard.
3. Escolha como o critério será pontuado
Decida se o critério deve ser pontuado automaticamente pela AI ou manualmente por revisores humanos. Você pode misturar atributos pontuados pela AI e por humanos no mesmo scorecard.
Nota: Títulos e descrições dos critérios do scorecard são reutilizáveis. Depois de criar um atributo, você pode adicioná-lo a vários scorecards. As pontuações anteriores não podem ser reutilizadas e precisarão ser definidas do zero em cada scorecard.
4. Defina as opções de avaliação
Adicione os possíveis valores de avaliação que um revisor ou a AI podem selecionar (por exemplo: Good, Okay, Poor). Cada atributo deve ter pelo menos duas opções de avaliação. Para cada opção, você irá:
Nomear a avaliação (curto e claro)
Descrever quando deve ser selecionada
Atribuir uma pontuação (por exemplo, 100%, 50%, 0%) ou marcá-la como Not scored
A pontuação que você atribuir determina como essa avaliação contribui para a pontuação geral da revisão.
4b. Definir motivos para avaliação (opcional)
Para cada opção de avaliação, você pode definir uma lista de rating reasons, que são rótulos predefinidos que explicam por que uma determinada pontuação foi dada. Os motivos de avaliação ajudam revisores e AI a categorizar as pontuações de forma consistente, facilitando a identificação de padrões nas conversas.
Quando a AI pontua um critério, ela seleciona automaticamente o motivo predefinido mais relevante, quando aplicável. Se nenhum motivo predefinido se encaixar, a AI gera uma explicação clara para que cada pontuação tenha um contexto significativo.
5. Ativar Auto-review (opcional)
Você pode automatizar todo o processo de QA para um scorecard ativando o Auto-review scorecard.
Quando ativado:
Se a AI pontuar todos os critérios do scorecard, a etapa de revisão manual será totalmente ignorada.
Os colegas ainda podem substituir manualmente qualquer pontuação da AI se encontrarem alguma discrepância.
Dica: O Auto-review funciona melhor em scorecards onde todos os critérios são pontuados pela AI. Se algum critério exigir um humano, essas conversas ainda aparecerão na fila Unreviewed.
Configure seu scorecard
Depois de adicionar os critérios do scorecard, configure como eles afetam o resultado geral da revisão.
Marcando um critério do scorecard como crítico
Você pode marcar um critério como Critical. Se um critério crítico receber uma avaliação reprovada, toda a revisão será reprovada:
A pontuação geral da revisão se torna 0%
Isso substitui todos os pesos
Avaliações Not scored excluem o critério da pontuação geral e não acionam reprovação
Critérios críticos são úteis para padrões inegociáveis, como requisitos de conformidade, segurança ou aderência a políticas, e tratamento de escalonamentos.
Peso dos critérios do scorecard
Cada critério pode receber um weight para definir sua importância relativa.
O peso deve ser um número inteiro entre 0 e 100
Pesos maiores aumentam o impacto desse critério na pontuação geral da revisão
Use pesos para refletir o que importa mais — por exemplo, um peso maior em Accuracy do que em Efficiency se a correção for mais importante que a velocidade.
Nota:
Os pesos são relativos entre si, não fixos a uma escala de 100. O total pode somar qualquer número — o que importa é a proporção que cada critério contribui. Um critério com peso 25 de um total de 50 contribui tanto quanto um com peso 50 de 100.
A opção 'Include in review score' foi removida da interface do scorecard.
Adicionando um limite de aprovação
Você pode definir um pass threshold — a pontuação mínima geral necessária para que uma revisão seja considerada aprovada. Por exemplo, se o limite de aprovação for 80%, qualquer revisão com pontuação abaixo de 80% será marcada como reprovada.
Isso é avaliado após a pontuação ponderada, desde que nenhum critério crítico tenha reprovado a revisão.
Como funciona a pontuação geral da revisão
Cada critério é avaliado usando suas opções de avaliação definidas.
As avaliações contribuem com a pontuação atribuída (ou são excluídas se marcadas como Not scored).
Todos os critérios são combinados usando seus pesos atribuídos.
Se algum critério crítico receber uma avaliação reprovada, a pontuação geral da revisão se torna 0%.
A pontuação final é comparada com o pass threshold para determinar se a revisão é aprovada ou reprovada.
Aqui está um exemplo de como três critérios se combinam em uma pontuação final:
Critério | Avaliação selecionada | Pontuação da avaliação | Peso |
Accuracy | Good | 100% | 60 |
Tone | Okay | 50% | 30 |
Efficiency | Good | 100% | 10 |
Pontuação geral = (100x60 + 50x30 + 100x10) / (60+30+10) = 85%
Onde visualizar as pontuações
Após as revisões serem concluídas, as pontuações ficam visíveis tanto na lista de conversas quanto dentro de cada conversa.
No Monitor, a lista de conversas mostra a pontuação geral da revisão (porcentagem ou Fail) junto com as avaliações individuais dos critérios como colunas. Isso facilita a análise do desempenho nas conversas e a identificação de reprovações ou pontuações baixas.
Quando você abre uma conversa e vai para a aba Review, pode ver o scorecard atribuído, o status da revisão, a pontuação geral e a avaliação selecionada para cada critério. Essa visão mostra exatamente como a pontuação final foi determinada.
Quando o Fin pontua um critério usando AI, você pode passar o mouse sobre a avaliação na aba Review para ver uma dica mostrando a avaliação selecionada, a descrição do critério e o raciocínio do Fin para essa pontuação, tudo em um só lugar.
Como os colegas veem suas próprias pontuações
Os colegas podem ver as revisões enviadas em suas próprias conversas indo para sua Inbox e clicando em Review queue > Reviews received na barra lateral esquerda.
Esta visão mostra todas as revisões concluídas, incluindo:
A pontuação geral da revisão (colorida em verde para aprovação, vermelha para reprovação)
Quem enviou a revisão — seja um revisor nomeado ou Auto-reviewed (quando o AI auto-review executou o scorecard)
Em qual Monitor a revisão foi submetida
O status da revisão
Os colegas podem clicar em qualquer revisão para ver a análise completa do scorecard.
Nota: Se "Auto-reviewed" aparecer na coluna Reviewer, o scorecard foi pontuado automaticamente pela AI. Você pode clicar na revisão para ver o raciocínio do Fin para cada avaliação.
Perguntas frequentes
Posso reutilizar critérios de scorecard em vários scorecards?
Posso reutilizar critérios de scorecard em vários scorecards?
Sim, títulos e descrições dos critérios são reutilizáveis. Depois de criar um critério, você pode adicioná-lo a vários scorecards. Note que pontuações anteriores não podem ser reutilizadas e precisarão ser definidas do zero em cada scorecard.
O que acontece se eu não anexar um scorecard a um monitor?
O que acontece se eu não anexar um scorecard a um monitor?
O monitor ainda sinalizará conversas que correspondam aos seus critérios, mas nenhuma pontuação será feita. Os revisores verão conversas sinalizadas sem nenhum critério de scorecard para preencher. Para habilitar a avaliação, anexe um scorecard durante a configuração do monitor.
Posso misturar critérios pontuados pela AI e manualmente no mesmo scorecard?
Posso misturar critérios pontuados pela AI e manualmente no mesmo scorecard?
Sim. Você pode escolher, critério a critério, se a AI ou um revisor humano fará a pontuação. Note que se o Auto-review estiver ativado e algum critério exigir pontuação manual, essas conversas ainda aparecerão na fila Unreviewed.
O que um critério crítico faz?
O que um critério crítico faz?
Se um critério crítico receber uma avaliação reprovada, a pontuação geral da revisão cai para 0%, independentemente de como os outros critérios foram pontuados. Isso é útil para padrões inegociáveis — conformidade, segurança ou tratamento de escalonamentos — onde uma única falha deve sobrepor tudo o mais.