Escrever critérios eficazes é o que separa um Monitor que identifica problemas reais de um que enche sua fila de ruído. Este guia aborda as melhores práticas para critérios de sinalização do Monitor e descrições de atributos do Scorecard. Os Monitores atualmente avaliam apenas conversas do Fin AI Agent.
Nota: Monitors está disponível como parte do add-on Pro.
Critérios de sinalização do Monitor vs. descrições de atributos do scorecard
Esses dois tipos de critérios funcionam de forma diferente, então precisam ser escritos de forma diferente.
| Critérios de sinalização do Monitor | Descrições dos critérios do Scorecard |
Propósito | Decide quais conversas serão revisadas | Define como cada conversa é avaliada |
Lógica | Sim/não - cada monitor funciona de forma independente | Competitiva - a IA seleciona a melhor correspondência única |
Desafio principal | Reduzir falsos positivos e falsos negativos | Eliminar sobreposição entre valores dos critérios |
Melhores práticas para escrever critérios de sinalização do Monitor
Monitores funcionam como verificações independentes de sim/não. Múltiplos Monitores podem sinalizar a mesma conversa - e isso é aceitável. Por isso, a precisão importa mais que a distinção.
1. Descreva comportamento observável, não intenção inferida
Foque no que aparece na conversa.
Evite: Cliente está frustrado
Prefira: Cliente usa frases como Isto é inaceitável, Estou extremamente decepcionado ou Isto é ridículo.
A IA tem melhor desempenho ao avaliar sinais explícitos em vez de interpretações emocionais.
2. Inclua exemplos concretos
Exemplos reduzem drasticamente a ambiguidade.
Use padrões de frase explícitos: por exemplo, cancelar minha assinatura, fechar minha conta, excluir meus dados
Exemplos ancoram o modelo na linguagem do mundo real.
3. Adicione exclusões explícitas
Reduzir falsos positivos é crítico para Monitores.
Exemplo: Cliente usa palavrões. EXCLUIR: linguagem leve como droga ou porcaria. Se algo não deve acionar o monitor, diga isso claramente.
4. Use limites quantificáveis
Evite termos vagos.
Ruim: Fin dá uma resposta curta.
Melhor: A resposta do Fin tem menos de 50 palavras.
Limites específicos melhoram a consistência.
5. Divida a lógica de múltiplas etapas em critérios numerados
Se seu Monitor depende de sequência ou padrão, estruture-o claramente:
Cliente expressa frustração.
Fin responde sem reconhecer a emoção.
Cliente repete a reclamação.
Isso torna a lógica determinística e mais fácil de avaliar.
6. Mantenha simples
Se a regra for direta, não complique.
Exemplo: Fin sugere próximos passos (por exemplo, Por favor, tente limpar seu cache, Faça logout e login novamente, Clique neste link).
Clareza vence complexidade.
7. Use 'explicitamente' para exigir linguagem direta do cliente
Se seu Monitor deve ser acionado apenas quando o cliente declara algo diretamente — não apenas sugere — inclua a palavra "explicitamente" nos seus critérios. Sem isso, a IA pode inferir intenção pelo contexto e corresponder a conversas onde o comportamento foi apenas sugerido, não declarado.
Sem "explicitamente": Cliente solicita retorno de chamada — pode corresponder a "Você pode me conectar com a equipe de segurança?" já que a IA pode inferir que isso implica um pedido de contato direto.
Com "explicitamente": Cliente solicita explicitamente retorno de chamada — corresponde apenas se o cliente pedir diretamente, por exemplo, "Posso receber uma ligação?" ou "Por favor, me ligue."
Dica: Use a ferramenta Test Monitor para validar seus critérios com conversas reais antes de ativá-la. Atualize os critérios de sinalização e execute o teste novamente até que os resultados reflitam com precisão o que você quer que o Monitor capture.
8. Use filtros precisos para condições de atribuição, não critérios de sinalização
Os critérios de sinalização leem a transcrição da conversa — eles não têm acesso confiável a um histórico estruturado de atribuições. Evite escrever condições como "somente se o Agente X foi o colega designado quando a conversa foi encerrada" ou "não sinalizar se foi reatribuído antes do encerramento" nos critérios de sinalização. Por mais cuidadosamente redigidas, essas condições introduzem falsos positivos porque a IA interpreta texto não estruturado, não consulta um registro de atribuição.
Em vez disso, use os filtros de conversa disponíveis em Adicionar filtros para delimitar o monitor pelo responsável diretamente — esses verificam o registro real de atribuição da conversa, não a transcrição, e aplicam-se de forma determinística sem interpretação da IA envolvida.
Dica: Se você se pegar escrevendo sentenças de exclusão para contornar uma condição de atribuição nos critérios de sinalização, isso é um sinal de que a condição pertence a um filtro preciso em vez disso.
Melhores práticas para escrever descrições de critérios de scorecard
Comece com o princípio central: os critérios competem. A IA analisa a lista completa e seleciona a melhor correspondência para cada critério. Seu trabalho é tornar essa escolha óbvia.
1. Use nomes claros e concisos
Mantenha os nomes curtos e específicos. Quem lê a lista deve entender imediatamente o propósito sem abrir a descrição.
Ruim: Problemas de Comunicação com o Cliente
Melhor: Tom - Rude ou Desdenhoso
2. Escreva descrições abrangentes
As descrições carregam a maior parte do sinal de classificação.
Descreva explicitamente todos os tipos de conversa que pertencem.
Inclua palavras-chave, frases comuns e exemplos.
Pense nos casos extremos e inclua-os.
Esclareça como são os casos bons e ruins.
A descrição deve facilitar para a IA reconhecer frases do mundo real, não apenas definições abstratas.
Dê a cada opção de avaliação o mesmo nível de detalhe. Se a opção Falha listar dez frases e a opção Aprovação for uma linha, a IA achará mais fácil corresponder à opção Falha e a selecionará em excesso.
3. Torne os critérios claramente distintos
Critérios dentro do mesmo scorecard não devem competir conceitualmente.
Evite sobreposição semântica.
Garanta que cada atributo tenha um limite claro.
Se dois atributos puderem se aplicar razoavelmente pelo mesmo motivo, refine um deles.
Tudo bem se uma única conversa se encaixar em vários critérios no scorecard. O que importa é que dentro de cada conjunto de critérios, os valores sejam claramente separáveis.
4. Avalie a qualidade sistematicamente
Ao revisar sua taxonomia, avalie cada critério em:
Clareza / concisão
Abrangência da descrição
Distinção dos critérios
Critérios sobrepostos (se houver)
Pontuação final + comentário
Essa revisão estruturada força você a aperfeiçoar definições e reduzir ambiguidades — o que melhora diretamente o desempenho da classificação.
5. Descreva todas as opções de avaliação, incluindo Aprovação e Não Aplicável
A IA compara a conversa com a descrição de cada opção de avaliação e seleciona a melhor correspondência. Ela está fazendo correspondência, não seguindo passos, então a opção com a descrição mais rica e reconhecível tende a vencer.
Escreva cada opção como uma descrição positiva das conversas que pertencem a ela, com palavras-chave e um exemplo curto.
Descreva o caso comum na opção Aprovação. Se a maioria das conversas deve ser aprovada, faça da Aprovação a opção mais fácil de corresponder.
Dê à opção Não Aplicável sua própria descrição concreta (por exemplo, "nenhum colega respondeu" ou "mensagem de spam ou teste"). Uma opção que só diz "N/A" raramente é selecionada.
Mantenha cada opção entre três e cinco linhas. Listas longas de exclusão dentro da opção Falha não são aplicadas de forma confiável; transforme cada exclusão em uma linha em Aprovação ou Não Aplicável.
Equilibrar as opções reduz a seleção excessiva. Isso não faz a IA aplicar uma regra que não pode aplicar; veja os pontos 6 e 7.
Ruim: Falha: o cliente diz que a resposta está errada, não funcionou, não corresponde ao que vê, contradiz uma resposta anterior, pergunta "você tem certeza" (e mais dez linhas). Aprovação: qualquer outra coisa.
Melhor: Falha: depois que Fin respondeu, o cliente disse explicitamente que a resposta estava errada ou não funcionou ("isso não está certo", "já tentei isso", "essa opção não está lá"). Aprovação: o cliente agradeceu Fin, fez uma pergunta de acompanhamento, deu os detalhes que Fin pediu ou pediu uma pessoa sem dizer que a resposta estava errada. Não Aplicável: Fin não respondeu à pergunta, ou a mensagem é spam ou um teste.
6. Evite condições que dependam da ordem dos eventos
A IA não aplica de forma confiável a ordem nas opções de avaliação do scorecard. Uma condição como "o cliente pediu uma pessoa antes de Fin responder" ou "aceito apenas depois que um colega respondeu" é avaliada em sua forma mais simples, "o cliente pediu uma pessoa" ou "um colega respondeu", mesmo quando a opção Aprovação descreve a outra ordem e dá um exemplo.
Se o comportamento que você quer avaliar depende da ordem, espere que a IA avalie a versão mais simples e verifique uma amostra manualmente antes de reportar o número.
Quando possível, escreva o critério como o comportamento mais simples, sem ordem, e separe os casos depois usando atributos da conversa ou filtros nos relatórios.
Se a ordem for o ponto principal, avalie esse critério manualmente em uma amostra em vez de usar IA.
7. Mantenha julgamentos fora dos critérios avaliados pela IA
A IA avalia o que pode ver. Um critério que depende de um julgamento, como "o colega não acrescentou nada material" ou "o cliente aceitou a explicação em si em vez da transferência", vai variar. Reescrevê-lo com base no que o cliente diz ajuda apenas se a nova redação não depender também da ordem dos eventos. Se depender, avalie manualmente em uma amostra.
8. Teste um critério alterado em uma cópia antes de salvá-lo
Salvar uma alteração em um critério do scorecard e escolher "Going forward and backfill" reavalia todas as conversas que o Monitor revisou, geralmente em algumas horas. "Going forward only" mantém as avaliações passadas como estão. De qualquer forma, as contagens antes e depois da alteração não são comparáveis.
Copie o scorecard, faça a alteração na cópia e anexe-a a um segundo Monitor em uma pequena amostra aleatória das mesmas conversas.
Exporte os resultados por critério após alguns dias e leia 20 Fails e 10 Passes por critério.
Somente quando a cópia pontuar como você espera, faça a mesma alteração no scorecard ao vivo e anote a data na descrição do Monitor para que qualquer pessoa que leia uma tendência saiba onde está a quebra.
Nota: Testar a redação com um assistente de IA separado (por exemplo, pedir ao Operador para pontuar conversas com base no texto) é uma primeira verificação útil, mas não é o mesmo modelo do avaliador do Monitor. Trate isso como uma verificação preliminar, não como uma aprovação final.
Dica: Se você quiser que os motivos da avaliação apareçam na exportação do conjunto de dados, adicione motivos predefinidos ao critério. Sem eles, a coluna do motivo da avaliação fica vazia.
FAQs
Qual deve ser o tamanho dos meus critérios de sinalização?
Qual deve ser o tamanho dos meus critérios de sinalização?
Não há um tamanho fixo - o tamanho certo é o que for necessário para descrever o comportamento com precisão. Um Monitor simples pode precisar de apenas duas ou três frases. Um complexo (como detectar padrões de falha em múltiplas etapas) pode precisar de uma descrição estruturada e numerada. Prefira mais detalhes a menos. Para as opções de avaliação do scorecard, distribua esses detalhes igualmente entre Pass, Fail e Not Applicable (veja "Describe every rating option" acima).
Posso usar os mesmos critérios do scorecard em vários scorecards?
Posso usar os mesmos critérios do scorecard em vários scorecards?
Sim - títulos e descrições dos critérios são reutilizáveis. Depois de criar critérios, você pode adicioná-los a vários scorecards. Note que as pontuações anteriores não podem ser reutilizadas e precisarão ser definidas do zero em cada scorecard.
Qual é a diferença entre os critérios de sinalização do monitor e a descrição dos critérios do scorecard?
Qual é a diferença entre os critérios de sinalização do monitor e a descrição dos critérios do scorecard?
Os critérios de sinalização do monitor determinam se uma conversa será incluída no Monitor - é um filtro sim/não. As descrições dos critérios do scorecard definem como cada conversa é pontuada uma vez que está no Monitor. Pense no Monitor como a rede e no scorecard como a régua.
Minha contagem de Fail aumentou depois que apertei um critério. Por quê?
Duas causas comuns. A opção Fail ficou muito mais detalhada que Pass, então corresponde a mais conversas, não menos: adicione detalhes equivalentes a Pass e Not Applicable. Ou a redação apertada depende da ordem dos eventos ou de um julgamento, que a IA pontua como o comportamento mais simples: veja os pontos 6 e 7. Em ambos os casos, reavalie em uma cópia antes de salvar no scorecard ao vivo.