Escrever critérios eficazes é o que separa um Monitor que identifica problemas reais de um que enche sua fila de ruído. Este guia aborda as melhores práticas para critérios de sinalização do Monitor e descrições de atributos do Scorecard. Os Monitores atualmente avaliam apenas conversas do Fin AI Agent.
Nota: Monitors está disponível como parte do add-on Pro.
Critérios de sinalização do Monitor vs. descrições de atributos do scorecard
Esses dois tipos de critérios funcionam de forma diferente, então precisam ser escritos de forma diferente.
| Critérios de sinalização do Monitor | Descrições dos critérios do scorecard |
Propósito | Decide quais conversas serão revisadas | Define como cada conversa é avaliada |
Lógica | Sim/não - cada monitor funciona de forma independente | Competitivo - a IA seleciona a melhor correspondência única |
Desafio principal | Reduzir falsos positivos e falsos negativos | Eliminar sobreposição entre valores dos critérios |
Melhores práticas para escrever critérios de sinalização do Monitor
Monitors funcionam como verificações independentes de sim/não. Múltiplos Monitors podem sinalizar a mesma conversa - e isso é aceitável. Por isso, a precisão importa mais do que a distinção.
1. Descreva comportamento observável, não intenção inferida
Foque no que aparece na conversa.
Evite: Cliente está frustrado
Prefira: Cliente usa frases como Isto é inaceitável, Estou extremamente decepcionado ou Isto é ridículo.
A IA tem melhor desempenho ao avaliar sinais explícitos em vez de interpretações emocionais.
2. Inclua exemplos concretos
Exemplos reduzem drasticamente a ambiguidade.
Use padrões de frase explícitos: por exemplo, cancelar minha assinatura, fechar minha conta, excluir meus dados
Exemplos ancoram o modelo na linguagem do mundo real.
3. Adicione exclusões explícitas
Reduzir falsos positivos é crítico para Monitors.
Exemplo: Cliente usa palavrões. EXCLUIR: linguagem leve como droga ou besteira. Se algo não deve acionar o monitor, diga isso claramente.
4. Use limites quantificáveis
Evite termos vagos.
Ruim: Fin dá uma resposta curta.
Melhor: A resposta do Fin tem menos de 50 palavras.
Limites específicos melhoram a consistência.
5. Divida a lógica de múltiplas etapas em critérios numerados
Se seu Monitor depende de sequência ou padrão, estruture-o claramente:
Cliente expressa frustração.
Fin responde sem reconhecer a emoção.
Cliente repete a reclamação.
Isso torna a lógica determinística e mais fácil de avaliar.
6. Mantenha simples
Se a regra for direta, não complique demais.
Exemplo: Fin sugere próximos passos (por exemplo, Por favor, tente limpar seu cache, Faça logout e login novamente, Clique neste link).
Clareza vence complexidade.
7. Use 'explicitamente' para exigir linguagem direta do cliente
Se seu Monitor deve ser acionado apenas quando um cliente declara algo diretamente — não apenas sugere — inclua a palavra "explicitamente" em seus critérios. Sem isso, a IA pode inferir intenção pelo contexto e corresponder a conversas onde o comportamento foi apenas sugerido, não declarado.
Sem "explicitamente": Cliente solicita retorno de chamada — pode corresponder a "Você pode me conectar com a equipe de segurança?" já que a IA pode inferir que isso implica um pedido de contato direto.
Com "explicitamente": Cliente solicita explicitamente retorno de chamada — corresponde apenas se o cliente pedir diretamente, por exemplo, "Posso receber uma ligação?" ou "Por favor, me ligue."
Dica: Use a ferramenta Test Monitor para validar seus critérios com conversas reais antes de ativá-lo. Atualize os critérios de sinalização e refaça o teste até que os resultados reflitam com precisão o que você quer que o Monitor capture.
Melhores práticas para escrever descrições de critérios do scorecard
Comece com o princípio básico: os critérios competem. A IA analisa a lista completa e seleciona a melhor correspondência única para cada critério. Seu trabalho é tornar essa escolha óbvia.
1. Use nomes claros e concisos
Mantenha os nomes curtos e específicos. Quem lê a lista deve entender imediatamente o propósito sem abrir a descrição.
Ruim: Problemas de Comunicação com o Cliente
Melhor: Tom - Rude ou Desdenhoso
2. Escreva descrições abrangentes
As descrições carregam a maior parte do sinal de classificação.
Descreva explicitamente todos os tipos de conversa que pertencem.
Inclua palavras-chave, frases comuns e exemplos.
Pense nos casos extremos e inclua-os.
Esclareça como são os bons e maus exemplos.
A descrição deve facilitar para a IA reconhecer a linguagem do mundo real, não apenas definições abstratas.
3. Torne os critérios claramente distintos
Critérios dentro do mesmo scorecard não devem competir conceitualmente.
Evite sobreposição semântica.
Garanta que cada atributo tenha um limite claro.
Se dois atributos puderem se aplicar razoavelmente pela mesma razão, refine um deles.
Tudo bem se uma única conversa se encaixar em vários critérios no scorecard. O que importa é que dentro de cada conjunto de critérios, os valores sejam claramente separáveis.
4. Avalie a qualidade sistematicamente
Ao revisar sua taxonomia, avalie cada critério em:
Clareza / concisão
Abrangência da descrição
Distinção dos critérios
Critérios sobrepostos (se houver)
Pontuação final + comentários
Esta revisão estruturada força você a aperfeiçoar definições e reduzir ambiguidades - o que melhora diretamente o desempenho da classificação.
Perguntas frequentes
Qual o tamanho ideal dos meus critérios de sinalização?
Qual o tamanho ideal dos meus critérios de sinalização?
Não há um tamanho fixo - o tamanho certo é o que for necessário para descrever o comportamento com precisão. Um Monitor simples pode precisar de apenas duas ou três frases. Um complexo (como detectar padrões de falha em múltiplas etapas) pode precisar de uma descrição estruturada e numerada. Prefira mais detalhes a menos.
Posso usar os mesmos critérios do scorecard em vários scorecards?
Posso usar os mesmos critérios do scorecard em vários scorecards?
Sim - títulos e descrições dos critérios são reutilizáveis. Depois de criar um critério, você pode adicioná-lo a vários scorecards. Note que as pontuações anteriores não podem ser reutilizadas e precisarão ser definidas do zero em cada scorecard.
Qual a diferença entre critérios de sinalização do monitor e descrições de critérios do scorecard?
Qual a diferença entre critérios de sinalização do monitor e descrições de critérios do scorecard?
Critérios de sinalização do monitor determinam se uma conversa será incluída no Monitor - é um filtro sim/não. Descrições de critérios do scorecard definem como cada conversa é pontuada uma vez que está no Monitor. Pense no Monitor como a rede e no scorecard como a régua.