Ir al contenido principal

Prueba por lotes del agente Fin AI

Realiza pruebas por lotes con preguntas reales de clientes para optimizar las respuestas de Fin antes de implementarlas.

Escrito por Beth-Ann Sher

La prueba por lotes te permite simular cómo Fin responderá a preguntas reales de clientes, antes de que esas respuestas lleguen a los clientes reales. Te ayuda a verificar la cobertura del contenido, depurar resultados inesperados y perfeccionar el comportamiento de Fin en distintas marcas, users, idiomas y Workflows.

Beneficios clave / casos de uso:

  • Valida las respuestas de Fin en múltiples marcas y perfiles de users antes de activarlas.

  • Diagnostica y corrige brechas de contenido inspeccionando la fuente, personalidad y guía detrás de cada respuesta.

  • Organiza las ejecuciones de prueba en grupos reutilizables para seguir los cambios a lo largo del tiempo.

  • Observa cuándo se activan los Workflows, incluyendo tareas de Fin, acciones y respuestas personalizadas.

  • Controla la configuración de idioma y asegúrate de que las traducciones en tiempo real funcionen como se espera.

Batch Test está diseñado para todos los clientes que usan Intercom para apoyar conversaciones, ya seas un cliente actual de Fin o simplemente quieras explorar su potencial.

Para acceder a Batch Test para Fin, los teammates deben tener un full seat y su permiso de acceso a conversaciones configurado en "Todas las conversaciones".


Cómo usar Batch test

1. Genera tus preguntas

Ve a Fin AI Agent > Test desde la navegación principal y elige cómo quieres agregar preguntas.

Las opciones para agregar preguntas para una prueba por lotes son:

  • Generar a partir de conversaciones pasadas

    • Todas las conversaciones

    • De un tema específico de AI

  • Agregar preguntas manualmente

  • Subir un archivo CSV de preguntas

Estas opciones te permiten asegurar que Fin sea probado con consultas reales y relevantes de clientes antes de activarse, ayudándote a detectar brechas de contenido y optimizar respuestas para diferentes audiencias y escenarios.

Nota:

  • Puedes subir hasta 50 preguntas por grupo de prueba.

  • Debes tener al menos 1 conversación en los últimos 90 días para que aparezca la opción Generar desde inbox.

  • También se requieren los permisos "Puede acceder a personas, empresas y listas de cuentas" y "Puede acceder a páginas de perfil de lead y user".

Cómo crear tu lista de preguntas de clientes

Cada método para generar grupos de preguntas tiene sus propias ventajas y casos de uso ideales.

Generar preguntas a partir de conversaciones pasadas

Puedes generar automáticamente hasta 50 preguntas basadas en tus conversaciones más recientes con clientes (30-90 días), para que el conjunto de preguntas represente con precisión lo que los clientes están preguntando en este momento.

Esta es una forma rápida de obtener una lista de preguntas que refleja con precisión las necesidades actuales de los clientes.

Nota: La opción solo aparece si hay al menos algo de volumen reciente de conversaciones (por ejemplo, últimos 90 días).

Generar preguntas por tema

Este método usa temas de AI para generar conjuntos de preguntas específicas por tema basadas en consultas reales de clientes. Es especialmente útil cuando quieres enfocarte en áreas específicas y entender qué tan bien se manejan.

Los casos de uso comunes incluyen:

  • Prepararse para picos estacionales en preguntas de clientes (por ejemplo, consultas fiscales de fin de año).

  • Evaluar el rendimiento de Fin después de habilitar nuevo contenido en temas específicos.

  • Priorizar temas de alto volumen o con baja CSAT identificados a través del Topics Explorer.

Nota: Este método requiere que los temas de AI estén disponibles en tu espacio de trabajo. Topics Explorer se basa en datos recientes de conversaciones para generar insights.

Agregar preguntas manualmente

Si no quieres generar tus preguntas a partir de datos existentes, puedes copiar y pegar una lista de preguntas o agregarlas una por una. Este método te da control total sobre el contenido y la redacción exacta sin depender de conversaciones históricas.

Los casos de uso comunes incluyen:

  • Tienes una lista de preguntas pre-preparada con escenarios críticos de cumplimiento y/o casos límite que no aparecen en datos históricos de conversaciones.

  • Estás probando respuestas sobre nuevas funciones o políticas sin volumen previo de conversaciones.

Subir un archivo CSV de preguntas

Este método te permite subir un conjunto de preguntas generadas en otro lugar, como desde otra plataforma de soporte. Solo necesitas un archivo .csv con una sola columna que contenga hasta 50 preguntas de prueba.

Los casos de uso comunes incluyen:

  • Necesitas cargar en masa una lista seleccionada (por ejemplo, por tema, por audiencia, por región)

  • Necesitas realizar evaluaciones repetibles entre equipos

  • Te estás preparando para un lanzamiento o pico estacional y quieres una sola carga para cubrir de 30 a 50 preguntas canónicas.

Al seleccionar el método adecuado para generar preguntas según tus necesidades, puedes evaluar y perfeccionar el rendimiento de Fin frente a escenarios relevantes de clientes, ayudándote a identificar brechas y mejorar las respuestas con el tiempo.

2. Configura tu prueba

Tus preguntas de prueba comenzarán automáticamente a ejecutarse usando un usuario de vista previa genérico para acceder a todo el contenido y activar todas las automatizaciones sin segmentación. Para configurar estos ajustes de prueba, haz clic en el menú desplegable Manage en la parte superior de la página y luego selecciona Settings.

Probar como

Elige cómo probar Fin simulando users o audiencias. Puedes elegir probar Fin como:

  • User or Lead - Prueba Fin como un user o lead, con contenido disponible, orientación y automatizaciones (tareas, conectores de datos y respuestas personalizadas). Selecciona un user para ver cómo Fin adapta las respuestas basándose en user attributes, como idioma, ubicación, plan y más. Perfecto para validar configuraciones antes del lanzamiento o para solucionar problemas después del despliegue. Puedes seleccionar de una lista desplegable de contactos en tu workspace y elegir simular como ese user específico. Esto es especialmente útil si ya tienes users de prueba configurados en tu workspace. Sin embargo, también puedes buscar y seleccionar users/leads reales dentro de tu workspace.

  • Audience - Prueba Fin como audiencia(s), con contenido y orientación específicos para la audiencia. Las automatizaciones no se ejecutarán.

  • Preview User - Prueba Fin con todo el contenido en vivo, orientación y automatizaciones incluidas.

Marca

Si has configurado múltiples marcas en tu workspace, puedes seleccionar la marca que deseas probar. Por ejemplo, el contenido podría ser diferente para esta marca, por lo que la respuesta de Fin puede probarse para asegurar que se capturan estas diferencias.

Haz clic en Confirm para volver a ejecutar la prueba con estos ajustes.

3. Ejecuta la prueba e inspecciona las respuestas

Una vez que ejecutes una prueba, puedes ver la respuesta generada por Fin para cada pregunta.

Usa el panel "Evaluar respuesta" para ver:

  • Configuraciones de Personalidad (por ejemplo, tono de voz)

  • Orientación (si está configurada)

  • Fuentes de contenido de donde Fin extrajo

  • Automatizaciones (por ejemplo, Tareas de Fin, conectores de datos o Respuestas personalizadas activadas)

Aunque no puedes editar directamente las automatizaciones activadas en una prueba Batch, el panel enlaza a la pantalla de configuración relevante para que puedas revisar o hacer ajustes rápidamente.

4. Añadir una nueva pregunta

Para añadir una nueva pregunta, ve a Fin AI Agent > Test desde la navegación principal. Luego, haz clic en el botón + add question. Aparecerá un menú desplegable que te ofrecerá varias opciones para añadir tus preguntas.

  • Generar más de todas las conversaciones - Puedes crear hasta 50 preguntas a partir de tus conversaciones pasadas.

  • Generar más por Tema - Si AI Topics están disponibles en tu workspace, las preguntas pueden generarse automáticamente basándose en los temas de tus conversaciones.

  • Subir más desde un CSV - Importa hasta 50 preguntas a la vez subiendo un archivo CSV.

  • Añadir más manualmente - Puedes copiar y pegar una lista de preguntas o añadirlas una por una.

5. Ajustar configuraciones de idioma y traducciones

Para ayudarte a obtener respuestas precisas en el idioma correcto, la prueba Batch facilita verificar y actualizar tus configuraciones de Soporte de idioma y Traducción en tiempo real durante la prueba.

Si ves una respuesta en un idioma diferente al esperado, por ejemplo, si una pregunta en ruso recibe una respuesta en inglés, se muestran mensajes claros en amarillo que explican por qué podría estar sucediendo esto y cómo solucionar el problema.

Una vez que actives las configuraciones apropiadas y actualices la respuesta, las respuestas de Fin aparecerán en el idioma correcto.

Puede que necesites activar solo una o ambas configuraciones, dependiendo de tu configuración actual. No te preocupes, puedes activarlas simultáneamente y volver a esta pantalla.

6. Calificar las respuestas de Fin

Revisa las respuestas de Fin y evalúa si cumplen con las expectativas, verificando la precisión factual, el tono adecuado y si se accedió a los datos correctos o se activaron los procedimientos correctos.

Si seleccionas Aceptable, puedes añadir una nota interna para referencia futura al mejorar las respuestas de Fin. Estas notas se incluirán en el informe CSV descargable de la prueba.

Si seleccionas Pobre, elige una razón para tu calificación de la lista. Aquí es donde debes realizar un análisis de causa raíz para determinar correctamente por qué la respuesta de Fin no cumplió con las expectativas y así poder hacer mejoras inmediatas.

Las opciones posibles son las siguientes:

  • No usó el contenido correcto

  • No aclaró la pregunta del cliente

  • Usó el contenido incorrectamente

  • El tono no fue el adecuado

  • La longitud de la respuesta es demasiado larga o corta

  • No habló en el idioma correcto

  • Otro

Nota: Estas calificaciones no entrenan a Fin directamente. Debes aplicar una corrección mediante Mejorar esta respuesta o actualizando contenido/orientación, luego vuelve a ejecutar la prueba.

Lee a continuación los indicadores para ayudarte a realizar un análisis de causa raíz para una respuesta calificada como Pobre.

No usó el contenido correcto

Usa cuando la respuesta es incorrecta en hechos porque Fin se basó en una fuente irrelevante, desactualizada o incompleta.

Indicadores:

  • Las citas apuntan a la página incorrecta

  • La respuesta hace referencia a una política antigua o a un producto/plan diferente

  • Faltan o son incorrectos datos clave

No aclaró la pregunta del cliente

Usar cuando la pregunta es ambigua o carece de detalles clave y Fin respondió prematuramente en lugar de pedir contexto.

Indicadores:

  • Consultas multi-intención (“refund + upgrade”)

  • Términos vagos (“issue with login”)

  • Dependencia de detalles específicos del cliente (plan, región, plataforma) que no se recopilaron.

Usó el contenido incorrectamente

Usar cuando el contenido subyacente es correcto, pero Fin lo interpretó, combinó o ordenó de manera incorrecta.

Indicadores:

  • Pasos fuera de secuencia

  • Aplicar reglas a la audiencia/plan incorrecto

  • Mezclar dos procedimientos

  • Omitir un requisito previo que está presente en la fuente

El tono no era el adecuado

Usar cuando la respuesta no coincide con la voz de tu marca o la sensibilidad de la situación.

Indicadores:

  • Demasiado informal/alegre para temas sensibles (billing, security)

  • Demasiado formal para preguntas frecuentes simples

  • Falta de empatía o tranquilidad

  • De otro modo, no coincide con la voz de tu marca

La longitud de la respuesta es demasiado larga o corta

Usar cuando la verbosidad no se ajusta a la intención o canal.

Indicadores:

  • Respuestas tipo muro de texto para preguntas frecuentes rápidas

  • Respuestas demasiado breves de varios pasos para problemas importantes de cumplimiento

  • Detalles clave enterrados u omitidos

No habló en el idioma correcto

Usar cuando el idioma de la respuesta no coincide con el cliente o región.

Indicadores:

  • La respuesta aparece en inglés cuando la configuración de audiencia de prueba es no inglesa (o viceversa)

  • Respuestas en idiomas mezclados en el mismo hilo

Otro

Usar cuando el problema no encaja en las categorías anteriores (dejar una nota clara).

Ejemplos:

  • Automatización activada (o no) como se esperaba

  • Desajuste de marca/audiencia

  • Conector de datos faltante

  • Elemento de UI (captura de pantalla) necesario del contenido para fines ilustrativos

7. Refinar las respuestas de Fin

Una vez que hayas seleccionado la razón que mejor coincide con tu calificación, haz clic en Improve this answer para ver recomendaciones dinámicas adaptadas a la causa raíz que seleccionaste para esa respuesta específica.

Recomendaciones comunes incluyen:

Agregar o revisar la guía para:

  • Dar forma al tono de voz y la longitud de la respuesta

  • Asegurar que Fin haga preguntas aclaratorias para consultas ambiguas

  • Establecer reglas claras de escalamiento para áreas de alto riesgo

  • Definir contenido fuente preferido para intenciones o marcas específicas

  • Asegurar que los requisitos de cumplimiento y políticas se apliquen correctamente

Agregar un fragmento para:

  • Actualizaciones de conocimiento rápidas, precisas y privadas

  • Soluciones inmediatas para contenido desactualizado o incorrecto

  • Detalles solo internos que no deben compartirse públicamente

  • Información estacional o limitada en el tiempo (por ejemplo, promociones)

  • Casos límite específicos que requieren redacción o parámetros concretos

Creación o actualización de artículos existentes para:

  • Preguntas frecuentes principales ampliamente necesarias por los clientes

  • Procedimientos complejos que se benefician de encabezados, pasos numerados, tablas o imágenes

  • Contenido que debe ser referenciado para transparencia y valor de autoservicio para el cliente

  • Temas con correcciones repetidas en fragmentos que deberían consolidarse en un artículo

  • Habilitar el acceso de Fin a artículos específicos

Actualización de idiomas soportados a:

  • Proporcionar soporte en más idiomas

  • Detectar el idioma entrante de manera efectiva

  • Permitir la traducción en tiempo real del contenido de ayuda en tu idioma predeterminado

Nota: Si seleccionas Otro como motivo para una respuesta calificada como Pobre, es posible que no recibas una solución recomendada. En algunos casos, la solución adecuada puede implicar actualizar conectores de datos o crear un procedimiento que permita a Fin actuar en nombre del cliente.

Ejemplo

Este ejemplo demuestra un análisis hipotético de causa raíz y solución para una pregunta calificada como Pobre.

Pregunta: “¿Cómo agrego un nuevo user sin pagar?”

Qué pasó: Fin respondió con pasos genéricos para invitar a un user, pero omitió la particularidad de facturación basada en el plan.

Análisis de causa raíz: Los detalles de la respuesta muestran que Fin se basó en el artículo “Invite user” que no cubre los detalles del plan/facturación para asientos gratuitos vs pagados (brecha de conocimiento).

Seleccionar motivo: "No usó el contenido correcto."

Sugerencias: Actualizar el artículo “Invite user” para incluir información relevante; Añadir orientación para asegurar que Fin haga preguntas aclaratorias para identificar el tipo de plan relevante antes de responder.

8. Filtrar una prueba y hacer actualizaciones masivas

Filtrar una prueba por Estado de respuesta:

  • Cualquiera - todas las preguntas añadidas al grupo de prueba.

  • Preguntas respondidas - solo preguntas donde Fin proporcionó una respuesta directa, desambiguación o automatización (por ejemplo, transferencia de workflow, Fin Task, etc.)

  • Preguntas sin responder - solo preguntas donde Fin no pudo proporcionar una respuesta o activar alguna acción de seguimiento.

Filtrar una prueba por Calificación de respuesta:

  • Cualquiera

  • Buena

  • Aceptable

  • Pobre

Hacer actualizaciones masivas usando las casillas a la izquierda de la pregunta. Esto te permite actualizar en masa pares de preguntas y respuestas para descargar ciertas preguntas, eliminar esas preguntas, crear un grupo de prueba o actualizar la respuesta asociada a esa pregunta.

9. Guardar y organizar grupos de prueba

Puedes usar test groups para organizar y guardar hasta 50 preguntas y respuestas en el área de pruebas. Este es el número máximo que puedes subir a la vez, lo que lo hace una forma práctica de agrupar preguntas relacionadas para facilitar la revisión y reutilización. Cada test group conserva la configuración que usaste durante la prueba, como simular un user específico, para que puedas repetir pruebas con la misma configuración en cualquier momento.

Haz clic en Manage en la parte superior de la página para seleccionar la opción + Crear nuevo grupo.

Desde ahí, tienes varias opciones flexibles para llenar tu nuevo test group con preguntas:

  • Generar desde inbox: Extraer preguntas directamente de tus conversaciones existentes, ya sea de todas las conversaciones o por temas específicos.

  • Añadir manualmente: Ingresar preguntas una por una.

  • Subir un archivo CSV: Importar múltiples preguntas rápidamente usando un archivo CSV.

Haz clic en Manage para renombrar un grupo o eliminar un test group.

Haz clic en el nombre de tu test group para crear grupos adicionales, o selecciona un grupo diferente que hayas guardado previamente.

Los test groups son especialmente útiles para organizar preguntas por tema. Por ejemplo, si has probado y revisado un lote de preguntas sobre reclamaciones de seguros, puedes guardarlas como un grupo etiquetado “Preguntas sobre reclamaciones de seguros.” Esto facilita revisitar, repetir o evaluar ese contenido más tarde.

También son excelentes para gestionar la colaboración en equipo. Dado que Batch test es una función a nivel de espacio de trabajo, usar test groups permite que los compañeros mantengan sus ejecuciones de prueba separadas. En lugar de eliminar pruebas anteriores para hacer espacio, puedes guardarlas en grupos para preservar el trabajo de todos.

10. Descargar un informe CSV

Se puede generar un archivo CSV que compile todas las preguntas, respuestas, calificaciones aplicadas por users y las fuentes utilizadas para cada respuesta. Simplemente haz clic en Manage en la parte superior de la página y luego selecciona Obtener informe CSV.

Esto es ideal para compartir resultados con tu equipo más amplio para colaboración o visibilidad para líderes senior que revisen.


Preguntas frecuentes

¿Qué no se puede probar en Batch test?

Fin Vision (reconocimiento de imágenes) aún no está soportado en la sección Batch test.

¿Se me cobrará por las resoluciones al usar Batch test?

No, la página Fin AI Agent > Test es gratuita y no se te cobrará por las respuestas de AI generadas a través de Batch test. 👌

¿Puedo generar preguntas de prueba automáticamente?

Sí, puedes generar preguntas de prueba automáticamente. Sin embargo, para que aparezca la opción "Generate from inbox", debes tener un mínimo de 1 conversación en los últimos 90 días en tu espacio de trabajo.

¿Las calificaciones de respuestas entrenan a Fin?

No. Batch test es estrictamente para aseguramiento de calidad: las calificaciones te ayudan a identificar áreas para mejorar, no para reentrenar a Fin.

¿Puedo probar diferentes idiomas?

Sí. Batch test verifica y señala cualquier configuración de idioma o traducción faltante para que puedas resolverlo fácilmente.

¿Puedo simular diferentes users?

Sí. Batch test te permite seleccionar un user/lead en tu espacio de trabajo y ver cómo Fin respondería según sus atributos específicos de usuario.

¿Cuál es la diferencia entre reiniciar una prueba y volver a ejecutar una prueba?

Reiniciar la prueba te permitirá elegir otro batch, ya sea del historial de conversaciones o una carga. Volver a ejecutar la prueba regenerará respuestas basadas en cualquier cambio de contenido o calificaciones que hayas proporcionado en el batch para que puedas seguir refinando el rendimiento.

¿Por qué está deshabilitada la opción "Generate from inbox"?

La opción "Generate from inbox" está deshabilitada cuando no hay suficientes conversaciones o conversaciones con temas relevantes en tu inbox.

¿Afecta Batch testing los datos de los clientes?

No. Batch testing es solo una simulación y no cambia los datos de los clientes.

Cuando se ejecuta Batch testing:

  • Los conectores de datos usan sus cargas de prueba o muestras configuradas. Los resultados están claramente etiquetados como “answer uses sample response data”, por lo que no se llaman APIs en vivo.

  • Fin Tasks, Procedures, and Workflows no se ejecutan. Batch testing solo muestra lo que habría sido activado en una conversación real, por lo que no ocurren etiquetas, actualizaciones, escalaciones ni escrituras.

Esto te permite validar respuestas y comportamientos de forma segura sin afectar los datos de Intercom ni sistemas externos.

¿Ha quedado contestada tu pregunta?