Relatórios do Monitor ajudam você a acompanhar e medir a qualidade das conversas do Fin AI Agent. Você pode usar essas métricas para criar relatórios que destacam tendências de qualidade e identificam áreas para melhoria.
Nota do Scorecard e Taxa de aprovação do Scorecard oferecem uma visão rápida da qualidade geral do Fin. A nota mostra o desempenho médio, enquanto a taxa de aprovação indica com que frequência os scorecards avaliados atingem seu limite de qualidade. Usados com as falhas do Scorecard, ajudam a entender se uma queda no desempenho é um problema isolado ou mais amplo.
As métricas de avaliação do Scorecard ajudam a acompanhar o desempenho ao longo do tempo e identificar mudanças que podem estar afetando o Fin, como uma atualização do Knowledge Hub ou lançamento de produto. Isso facilita identificar tendências e ajustar as respostas do Fin antes que a qualidade caia ainda mais.
Para uma análise mais profunda, os critérios avaliados do scorecard e as notas dos critérios do scorecard mostram quais partes da conversa estão funcionando e quais não. Eles detalham o desempenho por critérios específicos, como precisão técnica ou tom, para que você veja exatamente onde o Fin precisa melhorar.
Como criar um relatório do Monitor
Para criar um relatório dos Monitores, vá para Relatórios > Todos os Relatórios > + Novo relatório > Monitores.
Avaliação do Scorecard
Nome da Métrica | Descrição |
Scorecards avaliados | Número de avaliações de scorecard. |
Taxa de falha do Scorecard | Percentual de avaliações de scorecard que falharam. |
Falhas no Scorecard | Número de avaliações de scorecard que falharam. |
Taxa de aprovação do Scorecard | Percentual de avaliações de scorecard que foram aprovadas. |
Aprovações no Scorecard | Número de avaliações de scorecard que foram aprovadas. |
Nota do Scorecard | A nota da revisão atribuída às avaliações do scorecard. |
Avaliação dos critérios do Scorecard
Avaliações dos critérios do scorecard são dados qualitativos usados para categorizar ou filtrar suas métricas.
Nome da Métrica | Descrição |
Critérios do scorecard avaliados | Número de avaliações dos critérios do scorecard. |
Falhas nos critérios do Scorecard | Número de avaliações dos critérios do scorecard que falharam. |
Aprovações nos critérios do Scorecard | Número de avaliações dos critérios do scorecard que foram aprovadas. |
Nota dos critérios do Scorecard | A nota da revisão atribuída às avaliações dos critérios do scorecard. |
Atributos do relatório
Nome do atributo | Descrição |
Monitor | O monitor de QA |
Avaliador | O colega responsável pela avaliação. |
Avaliado | O colega que está sendo avaliado na revisão. |
Scorecard | O modelo de avaliação aplicado durante a revisão. |
Resultado do Scorecard | O resultado final da avaliação do scorecard. Exemplos de valores incluem: |
Nota do Scorecard | A pontuação quantitativa produzida pela avaliação do scorecard. |
Enviado por | O colega que enviou a avaliação, ou Auto-reviewed se a avaliação automática do AI a pontuou. |
Última revisão por | O colega que revisou a avaliação pela última vez após o envio, se aplicável. |
Construindo relatórios personalizados com métricas do Monitor
Todas as métricas do Monitor estão disponíveis no construtor de relatórios personalizados, para que você possa combiná-las com outros dados do Intercom e criar visualizações personalizadas da qualidade da conversa.
Para criar um relatório personalizado usando métricas do Monitor, vá para Relatórios > + Novo relatório > Crie o seu próprio e selecione as métricas que você precisa na categoria Monitores. Você pode filtrar por scorecard, período ou qualquer outro atributo para focar nos segmentos mais relevantes para sua equipe.