Ir al contenido principal

Usar Monitors para encontrar y solucionar problemas de respuestas de Fin

Cómo ejecutar un workflow de QA efectivo con Monitors, combinando la detección de patrones de Fin y el juicio humano para convertir conversaciones señaladas en mejoras.

Escrito por Brian Branca

Este artículo está dirigido a compañeros de soporte y a cualquier persona responsable de configurar o mantener a Fin que quiera usar Monitors como parte de un flujo de trabajo de aseguramiento de calidad (QA) para problemas con las respuestas de Fin. Cubre qué hacer después de que un monitor comience a sacar a la superficie conversaciones: cómo interpretar resultados, aplicar juicio humano y convertir hallazgos en mejoras.

Si buscas instrucciones de configuración, consulta la guía de configuración de Monitors.

Note: Monitors está disponible como parte del Pro add-on.


El problema del QA manual

El aseguramiento de la calidad para Fin solía significar revisar una pequeña muestra de conversaciones, buscar cualquier cosa que pareciera fuera de lugar y esperar que detectaras los patrones que importaban. Ese enfoque funcionaba cuando el volumen de conversaciones era manejable. Hoy en día, no escala.

Fin ha cambiado lo posible. En lugar de revisar manualmente una fracción de las conversaciones, puedes evaluar miles. El reto ya no es encontrar problemas: es saber cuáles realmente importan.

Por eso los workflows de QA más efectivos no reemplazan a los compañeros humanos con IA. Combinan la capacidad de Fin para destacar patrones con el juicio humano para interpretar esos patrones y convertirlos en mejoras significativas.


Cómo funcionan Monitors

Un monitor evalúa continuamente las conversaciones según criterios que definas —ya sea una muestra aleatoria para QA continuo, o conversaciones dirigidas según señales como puntuaciones CX bajas (tu calificación de experiencia del cliente en Intercom), escaladas repetidas o calidad de respuesta. Esas conversaciones pueden luego revisarse usando una hoja de puntuación por Fin, un revisor humano o ambos.

Note: Una hoja de puntuación es un conjunto de criterios usados para evaluar una conversación —por ejemplo, si Fin dio una respuesta completa, siguió el tono correcto o escaló de forma adecuada.

Intercom incluye plantillas para workflows comunes de QA, incluyendo revisiones semanales de Fin, baja calidad de respuesta, manejo de escaladas, problemas recurrentes y más. También puedes crear Monitors desde cero para ajustarlos a las necesidades de tu equipo.

Piensa en Monitors como la capa de filtrado. Toman un número abrumador de conversaciones y las reducen a las que tienen más probabilidades de necesitar la atención de alguien.


Por qué la revisión humana sigue siendo esencial

Un monitor no solo marca que una conversación obtuvo una mala puntuación. Para criterios calificados por IA, te muestra exactamente por qué —hasta el criterio específico y el razonamiento de Fin detrás de la puntuación.

Lo que no hace es conectar los puntos entre conversaciones.

Puedes tener diez conversaciones con baja calidad de respuesta y diez explicaciones generadas por IA diferentes. Pero si miras un poco más, siete de esas conversaciones podrían rastrearse realmente hasta el mismo artículo desactualizado.

Fin puede decirte por qué cada conversación individual obtuvo una mala puntuación. No puede decirte que siete de esos “porqués” son en realidad el mismo problema subyacente que aparece de diferentes maneras.

Reconocer esa diferencia requiere conocimiento del producto y contexto. Es la diferencia entre estas dos conclusiones:

  • "Estas conversaciones se ven mal."

  • "Todas estas conversaciones provienen del mismo hueco en el conocimiento."

Sin ese paso, QA se convierte en una lista de conversaciones señaladas. Con él, QA se convierte en una lista de mejoras accionables. Esa es la diferencia entre ruido e insight.


Cómo ejecutar un flujo de trabajo de QA con Monitors

El flujo de trabajo tiene cuatro pasos:

  1. Usa Monitors para sacar a la superficie patrones

  2. Aplica el juicio humano para entender lo que realmente está pasando

  3. Convierte esos hallazgos en recomendaciones accionables

  4. Haz llegar esas recomendaciones a las personas que pueden resolverlas

1. Usa Monitors para identificar patrones

Aquí es donde Monitors hace el trabajo pesado. En lugar de muestrear manualmente conversaciones y esperar encontrar algo útil, Monitors evalúa continuamente cada conversación que coincide con tus criterios y destaca las que tienen más probabilidades de necesitar atención.

2. Aplica contexto y conocimiento del producto

Este es el paso que Fin no puede reemplazar. Monitors puede informarte que diez conversaciones obtuvieron mala puntuación, pero no te dirá si todas son síntomas del mismo problema, si el problema es contenido desactualizado, o si Fin está siguiendo una guía que ya no refleja tu producto.

Tus expertos humanos en producto son quienes conectan esos puntos.

3. Convierte los hallazgos en recomendaciones

Una conversación señalada no es un elemento de acción. Compara estas dos conclusiones:

  • "Este procedimiento no está resolviendo conversaciones."

  • "Fin Thoughts (el razonamiento que Fin registra en la línea de tiempo de una conversación) muestran que el procedimiento falla consistentemente al interpretar el nivel de plan del cliente en el paso de verificación de elegibilidad, lo que hace que derive por la ruta equivocada y nunca alcance una resolución."

La segunda le da al equipo algo concreto para arreglar. Siempre que sea posible, identifica el artículo, procedimiento o regla de guía de Fin específica que está causando el problema, en lugar de simplemente describir el síntoma.

Tip: Enmarca tu recomendación para que quien la tome pueda actuar sin necesidad de redescubrir el problema. En lugar de "baja calidad de respuesta en conversaciones de facturación", escribe "El artículo de reembolsos de facturación carece de información sobre reembolsos parciales; esto está haciendo que Fin dé respuestas incompletas en al menos 7 conversaciones recientes."

4. Dirige la idea al propietario correcto

Las ideas solo crean valor si alguien actúa. Una brecha de conocimiento podría pertenecer al equipo responsable del help center. Un problema de procedimiento podría pertenecer a las personas que mantienen la guía de Fin o el diseño de conversaciones.

No todas las organizaciones tienen equipos dedicados de Gestión del Conocimiento o Diseño de Conversaciones. Los equipos pequeños pueden tener a una persona con múltiples roles. La distinción importante no es quién posee el trabajo. Es identificar si estás viendo un problema de contenido o de procedimiento, para que se haga la mejora correcta.

Cuanto más específica sea tu recomendación, menos tiempo pasa otra persona redescubriendo el problema y más tiempo pasa resolviéndolo activamente.

Puedes hacer esto directamente dentro del Monitor usando Issues.

Desde la barra lateral de Review de cualquier conversación, puedes crear un ticket de Issue con un título, tipo (Content, Guidance, Procedure, Escalation, y más) y asignado —sin salir de la conversación. La misma Issue puede vincularse a múltiples conversaciones donde apareció el mismo problema, para que tu equipo obtenga un ticket por causa raíz en lugar de uno por conversación. Todas las Issues se recopilan en una vista central en Fin AI Agent > Analyze > Monitors, donde puedes seguir el estado desde la presentación hasta la resolución.

Para detalles completos de configuración, consulta Rastrear y accionar issues encontrados en revisiones de QA de Monitors.

Tip: En Intercom, puedes dirigir los hallazgos usando notas de conversación para @mencionar al compañero relevante, o etiquetar conversaciones para revisión de seguimiento. Para problemas de contenido, elévalos directamente en el proceso de gestión del conocimiento de tu equipo. Para problemas de procedimiento o guía, comparte el enlace de la conversación específica y tu recomendación con la persona que mantiene la configuración de Fin.


Cómo Monitors mejoran a Fin con el tiempo

Cuando un monitor sigue sacando a la superficie el mismo problema, normalmente es señal de que algo más grande necesita atención: un artículo del help center, un procedimiento de Fin o una guía que necesita ajustarse.

Monitors son excelentes identificando patrones entre miles de conversaciones, pero no pueden decirte qué patrones realmente valen la pena actuar. Ahí entran los expertos humanos en producto. Usan su conocimiento del producto y contexto para identificar la causa raíz, convertir esos hallazgos en recomendaciones accionables y asegurarse de que lleguen al equipo responsable de arreglarlos.

A medida que Fin mejora en encontrar patrones, el rol del experto en producto evoluciona. En lugar de pasar tiempo buscando problemas, pueden centrarse en entender lo que los datos les dicen, decidir qué es lo más importante y promover mejoras significativas.

¿Ha quedado contestada tu pregunta?