Monitors para QA de colegas humanos permitem avaliar e melhorar a qualidade das conversas dos seus colegas em escala. Você define quais conversas serão revisadas, anexa um scorecard personalizado para avaliá-las e designa revisores - tudo automaticamente.

Um Monitor seleciona quais conversas serão revisadas. Um Scorecard define como cada uma é avaliada — os critérios específicos que você considera importantes, como precisão, tom ou conformidade com políticas. Juntos, eles oferecem uma forma consistente e escalável de medir e melhorar a qualidade das conversas da sua equipe.

Configurar QA para agentes humanos requer dois passos:

Crie um Scorecard que defina seus critérios de qualidade.
Configure um Monitor para selecionar quais conversas serão revisadas, quem as revisa e como as avaliações são encaminhadas para sua equipe.

Nota: Este artigo cobre Monitors para QA de agentes humanos. Para Monitors que avaliam conversas do Fin AI Agent, veja Monitors and Custom Scorecards. Monitors para QA de agentes humanos está disponível como parte do Pro add-on.

Como criar um Scorecard

Vá para Fin AI Agent > Analyze > Monitors e clique em Scorecards.

Crie o seu clicando em + New scorecard:

Comece selecionando quem será avaliado. Clique em Human teammates assigned e escolha colegas em equipes específicas ou colegas individuais.

Em seguida, adicione os critérios do seu scorecard. Primeiro, clique em + Criteria > Create new.

Ao criar um novo critério, siga os passos a seguir:

1. Nomeie o critério

Dê ao critério um nome curto e claro (por exemplo, Sentiment ou Answer accuracy). Esse nome aparece nos relatórios e será usado como referência.

2. Descreva o que está sendo avaliado

Adicione uma descrição clara explicando o que o critério verifica e como deve ser avaliado. A descrição é o prompt que a AI usa para avaliar esse critério, e quanto mais precisa for, mais precisamente a AI avaliará as conversas. Também ajuda os revisores humanos a aplicar o mesmo critério de forma consistente.

Dica: Para ajuda na redação de descrições eficazes, veja como escrever critérios eficazes para Monitor e Scorecard.

3. Escolha como o critério será avaliado

Decida se o critério deve ser avaliado automaticamente pela AI ou manualmente pelos revisores humanos. Você pode misturar critérios avaliados pela AI e por humanos no mesmo scorecard.

Nota: Títulos e descrições dos critérios do scorecard são reutilizáveis. Depois de criar um critério, você pode adicioná-lo a vários scorecards. As avaliações anteriores não podem ser reutilizadas e precisarão ser definidas do zero em cada scorecard.

4. Defina as opções de avaliação

Adicione os possíveis valores de avaliação que um revisor ou a AI podem selecionar (por exemplo: Good, Okay, Poor). Cada critério deve ter pelo menos duas opções de avaliação. Para cada opção, você irá:

Nomear a avaliação (curta e clara)
Descrever quando deve ser selecionada
Atribuir uma pontuação (por exemplo, 100%, 50%, 0%) ou marcar como Not scored

A pontuação que você atribui determina como essa avaliação contribui para a nota geral da revisão.

4b. Definir motivos de avaliação (opcional)

Para cada opção de avaliação, você pode definir uma lista de rating reasons que são etiquetas predefinidas que explicam por que uma determinada pontuação foi dada. Os motivos de avaliação ajudam revisores e AI a categorizar as pontuações de forma consistente, facilitando a identificação de padrões nas conversas.

Quando a AI avalia um critério, ela seleciona automaticamente o motivo predefinido mais relevante, quando aplicável. Se nenhum motivo predefinido se encaixar, a AI gera uma explicação clara para que cada pontuação tenha um contexto significativo.

6. Ativar Auto-review (opcional)

Você pode automatizar todo o processo de QA para um scorecard ativando o Auto-review scorecard.

Quando ativado:

Se a AI avaliar todos os critérios do scorecard, a etapa de revisão manual é totalmente ignorada.
Os colegas ainda podem substituir manualmente qualquer pontuação da AI se encontrarem alguma discrepância.

Dica: Auto-review funciona melhor em scorecards onde todos os critérios são avaliados pela AI. Se algum critério exigir um humano, essas conversas ainda aparecerão na fila Unreviewed.

Configure seu scorecard

Depois de adicionar os critérios do scorecard, configure como eles afetam o resultado geral da revisão.

Marcar um critério do scorecard como crítico

Você pode marcar critérios como Críticos. Se um critério crítico receber uma avaliação reprovada, toda a revisão será marcada como reprovada — independentemente de como os outros critérios foram avaliados:

A revisão aparece como Fail nas visualizações do scorecard, mesmo que a pontuação ponderada tenha atingido o limite para aprovação
Isso substitui o limite para aprovação e todos os pesos
Avaliações Not scored excluem o critério da pontuação geral e não causam reprovação

Critérios críticos são úteis para padrões inegociáveis, como requisitos de conformidade, segurança ou aderência a políticas, e tratamento de escalonamentos.

Peso dos critérios do scorecard

Cada critério pode receber um peso para definir sua importância relativa.

O peso deve ser um número inteiro entre 0 e 100
Pesos maiores aumentam o impacto desse critério na pontuação geral da revisão

Pesos se aplicam apenas aos critérios incluídos na pontuação da revisão. Use pesos para refletir o que é mais importante — por exemplo, um peso maior para Accuracy do que para Efficiency se a correção for mais importante que a velocidade.

Nota: Os pesos são relativos entre si, não fixos em uma escala de 100. O total pode somar qualquer número — o que importa é a proporção que cada critério contribui. Critérios com peso 25 de um total de 50 contribuem da mesma forma que um com peso 50 de 100.

Adicionando um limite de aprovação

Você pode definir um limite de aprovação — a pontuação mínima geral necessária para que uma avaliação seja considerada aprovada. Por exemplo, se o limite de aprovação for 80%, qualquer avaliação com pontuação abaixo de 80% será marcada como reprovada.

Isso é avaliado após a pontuação ponderada, desde que nenhum critério crítico já tenha reprovado a avaliação.

Como funciona a pontuação geral da avaliação

Cada critério é avaliado usando suas opções de classificação definidas.
As classificações contribuem com sua pontuação atribuída (ou são excluídas se marcadas como Não pontuadas).
Os critérios incluídos são combinados usando seus pesos atribuídos.
Se algum critério crítico receber uma classificação reprovada, a pontuação geral da avaliação se torna 0%.
A pontuação final é comparada com o limite de aprovação para determinar se a avaliação é aprovada ou reprovada.

Aqui está um exemplo de como três critérios se combinam em uma pontuação final:

Critério	Classificação selecionada	Pontuação da classificação	Peso
Precisão	Bom	100%	60
Tom	Ok	50%	30
Eficiência	Bom	100%	10

Pontuação geral = (100x60 + 50x30 + 100x10) / (60+30+10) = 85%

Como criar um Monitor

Monitors definem quais conversas serão avaliadas. Você define os critérios, escolhe o avaliador e anexa um scorecard para avaliar a qualidade. Uma vez ativo, Monitors funcionam automaticamente e exibem conversas correspondentes para sua equipe agir.

Você precisa de pelo menos um scorecard antes de aproveitar ao máximo um monitor que avalia conversas humanas.

Para acessar Monitors, vá para Fin AI Agent > Analyze > Monitors. Clique em + Monitor para começar. Você também pode escolher um modelo para Monitors Fin, Monitors Teammate ou Monitors Gerais.

Passo 1: Escolha como as conversas serão avaliadas

Dê um nome ao seu Monitor, depois escolha como as conversas serão avaliadas. É aqui que você pode vincular o scorecard que criou para avaliar agentes humanos:

Associe um scorecard ao Monitor para avaliar automaticamente cada conversa correspondente contra os critérios definidos. Uma vez selecionado, o scorecard é executado assim que uma conversa é adicionada ao Monitor, e os resultados aparecem no Monitor para relatórios e revisão.

Dica: Anexar um scorecard é o que torna um Monitor realmente útil — sem ele, as conversas são sinalizadas, mas não pontuadas.

É também aqui que você pode selecionar seus avaliadores. Todas as conversas que correspondem ao Monitor são automaticamente atribuídas aos avaliadores selecionados, para que as avaliações sejam encaminhadas consistentemente sem coordenação manual.

Nota: Se o scorecard anexado tiver Auto-review ativado, o status do avaliador mostrará como Auto-reviewed. Essas conversas ignorarão a fila manual de Não revisadas, a menos que a IA detecte uma falha ou não consiga pontuar os critérios com confiança.

Passo 2: Escolha as conversas

Seu Monitor pode direcionar:

Uma amostra aleatória — por exemplo, uma amostra semanal de conversas de atendimento ao cliente para QA básico
Um conjunto direcionado baseado em sinais ou riscos específicos — por exemplo, todas as conversas onde um cliente mostra sinais de vulnerabilidade financeira

Você pode filtrar as conversas usando:

Filtros precisos — Estado de Resolução, Tópico, Pontuação CX e mais
Critérios de sinalização — entrada em linguagem natural que descreve os tipos de conversas que você quer sinalizar. Para ajuda na redação de critérios eficazes, veja como escrever critérios eficazes para Monitor e Scorecard.

Nota: Uma única conversa pode aparecer em vários Monitors. Cada Monitor funciona independentemente, então se uma conversa corresponder aos critérios de mais de um Monitor, ela será sinalizada em cada um. Clicar na conversa mostra exatamente por que ela foi sinalizada por aquele Monitor.

Passo 3: Escolha um modo de Monitoramento

Selecione como o Monitor funciona:

Contínuo: funciona continuamente, correspondendo novas conversas conforme elas são encerradas e adicionando-as automaticamente
Único: apenas preenchimento retroativo, correspondendo conversas de dados históricos. Novas conversas encerradas após a configuração não são incluídas
Agendado: executa em uma cadência diária ou semanal recorrente, permitindo que os colegas revisem as conversas em uma programação regular

Passo 4: Selecione a data de início

Escolha quando o Monitor deve começar a avaliar as conversas. Isso permite que você execute QA em conversas históricas a partir de um ponto específico no tempo, enquanto continua a exibir novas conversas correspondentes a partir dessa data.

Nota: Ao criar um Monitor pela primeira vez, você pode preencher até 90 dias de conversas históricas. A partir desse ponto, o Monitor continua capturando automaticamente novas conversas correspondentes.

Passo 5: Escolha quando as conversas são adicionadas

Uma conversa deve estar fechada antes de poder ser avaliada por um monitor QA humano.

Enviando avaliações

As conversas podem ser revisadas e enviadas a partir de várias visualizações.

Em todas as visualizações:

A lista de conversas mostra a pontuação geral da avaliação (porcentagem ou Falha) ao lado das classificações individuais dos critérios como colunas. Isso facilita a análise do desempenho nas conversas e a identificação de falhas ou pontuações baixas.
Quando você abre uma conversa e vai para a aba Pontuação, pode ver o scorecard atribuído, o status da avaliação, a pontuação geral e a classificação selecionada para cada critério. Essa visualização mostra exatamente como a pontuação final foi determinada. Quando um critério é avaliado usando AI, você pode passar o mouse sobre a classificação na aba Pontuação para ver uma dica mostrando a classificação selecionada, a descrição do critério e o raciocínio da AI para essa pontuação — tudo em um só lugar.

Existem várias maneiras de acessar e enviar avaliações. Clique em um monitor para ver todas as avaliações associadas a ele ou na página Inbox clique em Assigned to me para visualizar diretamente todas as avaliações pelas quais você é responsável.

ou clique em Reviews received para visualizar diretamente todas as avaliações que foram enviadas para você como o colega avaliado.

Para completar uma avaliação:

Abra uma conversa na visualização Assigned to me.
Vá para a aba Pontuação e preencha cada critério do scorecard.
As pontuações geradas por AI podem ser substituídas clicando na classificação.
Uma vez que todos os critérios estejam avaliados, envie a avaliação ou deixe-a para ação futura, se necessário. Você também pode adicionar notas à avaliação para dar contexto sobre o motivo da pontuação.

Nota: Se você usou anteriormente status adicionais de avaliação, como Fix needed ou Won't fix, ainda pode filtrar por esses em monitores existentes. Novos monitores suportam apenas Unreviewed e Submitted.

Relatórios

Os relatórios do Monitor ajudam você a acompanhar e medir a qualidade das conversas. Você pode usar essas métricas para criar relatórios que destacam tendências de qualidade e identificam áreas para melhoria.

Todas as métricas do Monitor estão disponíveis no construtor de relatórios personalizados, para que você possa combiná-las com outros dados do Intercom e criar visualizações personalizadas da qualidade das conversas.

Para criar um relatório personalizado usando métricas do Monitor, vá para Relatórios > + Novo relatório > Crie o seu próprio e selecione as métricas que você precisa na categoria Monitors. Você pode filtrar por scorecard, período de tempo ou qualquer outro atributo para focar nos segmentos mais relevantes para sua equipe.

Avaliação do scorecard

Nome da Métrica	Descrição
Scorecards avaliados	Número de avaliações de scorecard.
Taxa de falha do scorecard	Porcentagem de avaliações de scorecard que falharam.
Falhas no scorecard	Número de avaliações de scorecard que falharam.
Taxa de aprovação do scorecard	Porcentagem de avaliações de scorecard que foram aprovadas.
Aprovações no scorecard	Número de avaliações de scorecard que foram aprovadas.
Pontuação do scorecard	A pontuação da avaliação atribuída às avaliações do scorecard.

Avaliação dos critérios do scorecard

A avaliação dos critérios do scorecard são pontos de dados qualitativos usados para categorizar ou filtrar suas métricas.

Nome da Métrica	Descrição
Critérios do scorecard avaliados	Número de avaliações dos critérios do scorecard.
Falhas nos critérios do scorecard	Número de avaliações dos critérios do scorecard que falharam.
Aprovações nos critérios do scorecard	Número de avaliações dos critérios do scorecard que foram aprovadas.
Pontuação dos critérios do scorecard	A pontuação da avaliação atribuída aos critérios do scorecard

Atributos de relatório

Nome do atributo	Descrição
Monitorar	O monitor de QA
Status da revisão	O status atual da revisão. Para monitores humanos de QA, os valores podem ser `Unreviewed` ou `Submitted`.
Revisado por	O revisor que completou ou é responsável pela revisão.
Revisado	O colega de equipe que está sendo avaliado na revisão.
Ficha de avaliação	O modelo de avaliação aplicado durante a revisão.
Resultado da ficha de avaliação	O resultado final da avaliação da ficha de avaliação. Exemplos de valores incluem: `Pass`, `Fail`, `N/A`, `Not complete` e `Not scored`.
Pontuação da ficha de avaliação	A pontuação quantitativa produzida pela avaliação da ficha de avaliação.

Permissões

Para editar fichas de avaliação e monitores e pontuar conversas, os colegas de equipe precisam de ambas as seguintes permissões:

Pode acessar as configurações do Fin AI Agent e Automação
Pode criar, editar e compartilhar relatórios internamente

Colegas de equipe que não têm ambas as permissões não podem ver monitores humanos de QA e só podem ver revisões do próprio trabalho via a visualização Reviews received. Eles não podem substituir critérios pontuados por AI em suas próprias revisões.

Nota: Os colegas de equipe precisam de ambas as permissões porque o QA humano combina duas áreas do produto — as fichas de avaliação ficam no Fin AI Agent, e os dados da revisão alimentam os relatórios. Conceder apenas uma permissão deixará o colega de equipe incapaz de acessar o recurso.

FAQs

Como são avaliadas as conversas com múltiplos colegas de equipe?

Apenas o colega de equipe designado para a conversa é avaliado. Se vários colegas participaram, apenas as respostas do colega designado são pontuadas — o restante da conversa é usado apenas como contexto. O fio completo da conversa é enviado ao LLM, com cada parte anotada pelo autor, e então é usada uma instrução de prompt direcionada para dizer que deve avaliar apenas as respostas daquele colega específico e tratar todo o resto apenas como contexto.

Qual plano eu preciso para usar Monitors para QA de agentes humanos?

Monitors para QA de agentes humanos estão disponíveis como parte do add-on Pro. Não está incluído nos planos padrão Essential, Advanced ou Expert — você precisará do add-on Pro anexado à sua assinatura para acessar fichas de avaliação e Monitors humanos de QA. O Pro é precificado pelo volume de conversas, não por assentos — começando em $99/mês para até 1.000 conversas Pro, com preços escalonados para volume adicional.

Existem limites para quantos Monitors ou critérios de ficha de avaliação posso criar?

Sim, cada espaço de trabalho tem os seguintes limites:

20 Monitors ativos que usam critérios de sinalização em linguagem natural (o campo onde você descreve em inglês simples quais conversas sinalizar). Monitors que usam apenas filtros precisos (Estado de Resolução, Tópico, CX Score) não contam para esse limite.
20 critérios pontuados por AI em todas as suas fichas de avaliação. Critérios pontuados por humanos não contam para esse limite.

A pontuação por AI custa extra por conversa revisada?

Não há cobrança adicional por conversa para pontuação por AI, está incluída no add-on Pro — cada conversa é contada uma vez para seu volume Pro independentemente de quantos critérios pontuados por AI a avaliem ou quantos Monitors a sinalizem.

Existem limites para quantas conversas posso ter por mês?

Não, Monitors não têm um limite mensal separado de revisões — toda conversa que corresponder a um Monitor ativo será avaliada. O que você é cobrado é pelo volume de conversas Pro, não pelo número de revisões de Monitor. Se quiser limitar o volume de conversas que vão para revisão humana, configure as configurações de amostragem do seu Monitor — você pode limitar as revisões a uma amostra aleatória (por exemplo, 10 conversas por dia) em vez de revisar todas as correspondências. Você também pode definir um limite rígido no seu volume geral de conversas Pro para manter a cobrança previsível. Uma vez atingido esse limite, as conversas Pro param de ser medidas pelo resto do ciclo de cobrança.

Preciso pagar por cada colega de equipe que eu revisar?

Não, o Pro é precificado pelo volume de conversas, não por assentos. Uma vez que seu espaço de trabalho tenha o add-on Pro, você pode revisar conversas de qualquer número de colegas de equipe — o que você é cobrado é pelo volume de conversas que seu espaço de trabalho gerencia, não pelo número de colegas sendo revisados ou fazendo a revisão.

Quais permissões eu preciso para configurar e usar QA de agentes humanos?

Para criar fichas de avaliação, editar Monitors e pontuar conversas, você precisa de ambos:

Pode acessar as configurações do Fin AI Agent e Automação, e
Pode criar, editar e compartilhar relatórios internamente

Se você tiver apenas uma dessas permissões, poderá ver revisões do seu próprio trabalho via a visualização Reviews received, mas não poderá criar ou editar nada.

Um critério crítico reprovado zera minha pontuação de revisão?

Não, a pontuação ponderada ainda é calculada normalmente — mas a revisão é marcada como Fail independentemente do que a pontuação ponderada teria sido. A substituição crítica se aplica ao resultado de aprovação/reprovação, não à pontuação numérica.

O que significa "Not scored" e como é diferente de uma avaliação 0%?

Uma avaliação "Not scored" nos diz para pular completamente o critério — ele não contribuirá para a pontuação geral da revisão e não acionará uma falha crítica, mesmo que marcado como crítico. Uma avaliação 0% ainda conta: contribui peso × 0 para a pontuação geral, e se o critério for crítico, a revisão será reprovada. Use Not scored quando um critério não se aplica à conversa específica (por exemplo, um critério de tom em uma conversa que terminou em uma resposta).

Por que os pesos dos meus critérios não precisam somar 100?

Os pesos são proporcionais, não absolutos. Dois critérios com pesos 25 e 75 produzem o mesmo resultado de pontuação que dois critérios com pesos 1 e 3 — o que importa é a proporção entre eles, não o total. Isso significa que você pode ajustar o peso de um critério sem precisar reequilibrar manualmente os outros.

Quando a revisão automática pula completamente a fila Unreviewed?

A revisão automática pula a fila Não Revisada somente quando todas as seguintes condições forem verdadeiras:

O scorecard tem Auto-review ativado
Todos os critérios no scorecard são avaliados por AI (nenhum critério avaliado por humanos)
A AI conseguiu avaliar com confiança todos os critérios

Se mesmo um critério for avaliado por humanos — ou se a AI não conseguiu avaliar um critério com confiança — a conversa vai para a fila Não Revisada para revisão manual.

Posso mudar o tipo de um Monitor depois de criá-lo?

Não, uma vez que um Monitor é criado como Contínuo, Único ou Agendado, o tipo não pode ser alterado. Se precisar de um tipo diferente, arquive o Monitor existente e crie um novo.

O que acontece com as avaliações existentes se eu editar um scorecard?

As avaliações existentes permanecem avaliadas contra a versão do scorecard que estava ativa quando foram criadas. Elas não são reavaliadas contra a nova versão.

Novas conversas correspondentes após a edição são avaliadas contra o scorecard atualizado. Por isso, você ocasionalmente verá avaliações antigas referenciando critérios que não existem mais no scorecard atual.

Por que meu avaliador mudou para outra pessoa depois que editei os critérios?

Quando qualquer colega atualiza um critério em uma avaliação (seja avaliado por AI ou manualmente), o avaliador dessa avaliação é automaticamente definido para quem fez a edição mais recente. Isso se aplica a todos os scorecards, incluindo os com Auto-review — editar uma conversa com Auto-review substituirá Auto-review pelo seu nome.

O status da avaliação não é alterado automaticamente.

A mesma conversa pode aparecer em vários Monitors?

Sim, uma conversa pode corresponder aos critérios de mais de um Monitor — cada Monitor funciona e avalia de forma independente, então a conversa pode ter múltiplos conjuntos de avaliações de scorecard de diferentes avaliadores. Ao abrir a conversa, você verá qual Monitor a sinalizou para cada conjunto de avaliações.

Posso reutilizar critérios em vários scorecards?

Sim — uma vez que você criou um critério (nome + descrição), pode anexá-lo a outros scorecards pelo menu + Criteria. No entanto, opções de avaliação e pontuações não são transferidas — você precisará definir as avaliações, pontuações e pesos do zero em cada scorecard onde adicionar o critério.

Em breve

Dicas de coaching para colegas: Dicas de coaching guiadas por AI para colegas que estão sendo avaliados, assim como para gerentes que avaliam esses colegas.
workflows de calibração: A calibração ajuda os avaliadores a alinhar os padrões de avaliação avaliando exemplos compartilhados e comparando resultados, melhorando a consistência e justiça no feedback e na medição de qualidade.
workflow de disputa: Os colegas poderão contestar suas avaliações.
Avaliação contra a knowledge base: Avalie conversas contra seu conteúdo de suporte e políticas, ajudando a garantir que os colegas sigam os processos internos.
Classificação e reorganização de colunas em monitores de QA humanos.

Começando com QA de colega humano em Monitors