Use este artículo para ejecutar las Simulaciones en un Eval, leer los resultados en una página de Eval y revisar cómo Fin se desempeñó en una sola Simulación.
Cómo ejecutar las Simulaciones en un Eval
Para ejecutar todas las Simulaciones en un Eval a la vez, abra el Eval y haga clic en Ejecutar todo. Para ejecutar una Simulación, haga clic en el botón de ejecución en su fila. Mientras una Simulación se ejecuta, su columna Última ejecución muestra Justo ahora y su columna Resultado muestra Ejecutando. Cuando termina, Resultado cambia a Aprobado, Reprobado o Error.
¿Qué sucede cuando ejecutas un Eval?
Cuando ejecutas un Eval, los resultados no son instantáneos, porque cada Simulación es una conversación completa de varios turnos. Fin responde, el cliente simulado responde, y la conversación continúa hasta que termina. Después de eso, se califican las verificaciones y cualquier Scorecard. Una Simulación puede tardar unos minutos, y un Eval completo puede tardar más.
Las Simulaciones se ponen en cola y se ejecutan unas pocas a la vez, no todas a la vez. Mientras esperan, se muestran como En cola. Una vez que comienzan, se muestran como Ejecutando.
El resultado del Eval se actualiza a medida que cada Simulación termina, por ejemplo 3/10 Ejecutando. Las puntuaciones del Scorecard aparecen poco después de que la conversación termina.
Las ejecuciones ocurren en segundo plano. Puedes salir de la página y volver más tarde para ver los resultados. No recibirás una notificación cuando una ejecución termine.
Si ejecutas varios Evals al mismo tiempo, se ponen en cola uno detrás de otro, por lo que cada uno tarda más en terminar.
Para detener una ejecución, haz clic en el botón de detener en el Eval o en la Simulación. Las Simulaciones detenidas aún cuentan para tu cuota mensual de Simulaciones.
Para ejecutar solo algunas Simulaciones, selecciónalas y haz clic en Ejecutar, o busca o filtra la lista y haz clic en Ejecutar filtrado.
Consejo: Mientras iteras en una corrección, ejecuta solo las Simulaciones que te interesan en lugar de todo el Eval. Guarda Ejecutar todo para las comprobaciones de regresión antes de publicar un cambio.
¿Cuántas Simulaciones puedes ejecutar cada mes?
Tu espacio de trabajo puede ejecutar un número establecido de Simulaciones en Evals cada mes. El límite se aplica a todo el espacio de trabajo y se restablece el primer día de cada mes calendario.
Tu cuota mensual de Simulaciones se basa en el volumen de conversaciones de tu espacio de trabajo en Intercom, y los espacios de trabajo más grandes reciben cuotas más altas.
Tu espacio de trabajo se asigna a un segmento usando el número de conversaciones en los últimos 30 días.
Tu segmento se reevalúa mensualmente, por lo que tu cuota refleja tu volumen de conversaciones más reciente.
Si tu volumen de conversaciones aumenta o disminuye, tu cuota puede cambiar en el próximo ciclo mensual.
La tabla a continuación muestra la cuota mensual de Simulaciones para cada segmento de volumen de conversaciones.
Segmento de volumen de conversaciones | Límite de Simulaciones por mes |
Menos de 1K | 250 |
1K–15K | 1,000 |
15K–100K | 1,750 |
100K–1M | 5,000 |
1M+ | 12,500 |
¿Qué sucede cuando alcanzas tu límite mensual de Simulaciones?
Cuando tu espacio de trabajo alcanza el 80% de su límite mensual de Simulaciones, aparece un banner amarillo que muestra tu uso actual (por ejemplo, 850/1000) y cuándo se restablece el límite.
Al 100%, aparece un mensaje rojo y no puedes ejecutar más Simulaciones hasta el próximo mes.
¿Qué ves en una página de Eval?
Una página de Eval muestra los resultados de un Eval y lista las Simulaciones dentro de él. Para abrirla, haz clic en el nombre de un Eval en la página de Evals. El nombre del Eval aparece en el título de la página, después de la ruta de navegación Evals.
Botones en la parte superior: Operador, un menú ⋯, Agregar scorecard y Nueva simulación.
Filtros: un cuadro de Buscar simulaciones, un filtro de Resultado, las etiquetas adjuntas al Eval y un botón + Etiqueta.
Resultados de simulación: el número de Simulaciones que aprobaron, por ejemplo 4/6 aprobadas, con una barra de progreso.
Conversaciones simuladas: una tabla con la Conversación simulada (el mensaje inicial del cliente), Notas, Última ejecución y Resultado (Aprobado o Reprobado) para cada Simulación, además de un botón de ejecución en cada fila.
Ejecutar todo: ejecuta todas las Simulaciones en el Eval.
El conteo de resultados de simulación cubre el número de Simulaciones en el Eval que aprobaron todas las verificaciones de Simulación y los criterios de Transferencia cuando se ejecutaron por última vez. Para ver esta definición, pasa el cursor sobre el signo de interrogación junto a resultados de simulación.
¿Qué puedes hacer desde el menú de Eval?
Haz clic en el menú ⋯ en la parte superior de una página de Eval para elegir una de estas opciones: Editar eval, Importar CSV o Eliminar eval.
¿Qué ves en una página de Simulación?
Una página de Simulación muestra una conversación simulada, las verificaciones en las que se calificó y cómo le fue a Fin. Para abrirla, haz clic en la fila de una Simulación en la página de Eval. El título de la página muestra la ruta Evals, luego el nombre del Eval, luego Simulación.
Botones en la parte superior: Operador, Editar, un menú ⋯, Ejecutar y un botón de cerrar.
Resumen del resultado: el mensaje inicial del cliente, una etiqueta de Aprobado o Reprobado y cuándo se ejecutó la Simulación por última vez.
ID de ejecución de simulación: un ID para la ejecución, con un botón para copiar.
Conversación: lo que dijo el Cliente de prueba y cómo respondió Fin AI Agent, incluyendo eventos que Fin registró en el camino, como configurar el idioma.
Transferencia: una etiqueta de Aprobado o Reprobado y la transferencia que esperabas, por ejemplo Esperado: Sin transferencia.
Verificaciones de simulación: una etiqueta de Aprobado o Reprobado para cada verificación. Una verificación de respuesta de Fin muestra los criterios que estableciste y la razón por la que pasó o falló.
Notas: un lugar para agregar una nota sobre la Simulación haciendo clic en Agregar una nota.
Scorecard (si el Eval tiene uno): la puntuación de revisión y la calificación para cada criterio.
Para cambiar lo que verifica una Simulación, consulta Configurar Simulaciones para Evals.
Cómo leer el resultado de una Simulación
Cuando una Simulación termina, muestra Aprobado, Reprobado o Error. Una Simulación aprueba solo si cada verificación de Simulación y de Transferencia aprueba, por lo que una sola verificación fallida significa que la Simulación falla. Para cada Simulación obtienes el resultado general, la transcripción completa de la conversación y el registro de eventos que muestra el pensamiento de Fin y las herramientas e información que usó en cada turno.
Reprobado: la conversación terminó, pero Fin no cumplió con una de tus verificaciones. Abre la transcripción y el registro de eventos para ver dónde el comportamiento de Fin se desvió de las verificaciones que estableciste.
Error: la conversación no pudo completarse. Ejecútala de nuevo, luego verifica la configuración de la Simulación (mensaje del cliente, datos o verificaciones) por una mala configuración.
Si una sola conversación necesita que Fin trabaje en varios Procedimientos, verás a Fin cambiar entre Procedimientos a medida que se desarrolla la conversación simulada, tal como lo haría con un cliente real. Cada Simulación conserva sus últimas 15 ejecuciones, y puedes usar el menú desplegable de historial de ejecuciones en una Simulación para revisar resultados anteriores.
¿Qué significan los resultados de Eval en la lista de Evals?
Cada Eval en la lista de Evals muestra un resultado general. Estas son también las opciones en el filtro Resultado:
No ejecutado: ninguna de las Simulaciones del Eval se ha ejecutado aún.
En cola: la ejecución está esperando para comenzar.
Ejecutando: las Simulaciones se están ejecutando ahora, con un conteo de cuántas (por ejemplo, 3/10 Ejecutando).
Aprobado: todas las Simulaciones aprobaron.
Parcialmente aprobado: algunas Simulaciones aprobaron, y algunas fallaron o tuvieron error.
Reprobado: ninguna Simulación aprobó.
Cancelado: la ejecución fue cancelada antes de que alguna Simulación obtuviera un resultado.
Inprocesable: ninguna Simulación obtuvo un resultado, porque fueron eliminadas antes de poder ejecutarse.
Los Evals Aprobados, Parcialmente aprobados y Reprobados muestran un conteo, como 8/10 Aprobado. La insignia es verde cuando todas las Simulaciones aprobaron, y roja cuando menos de la mitad lo hicieron.
¿Por qué falló mi Simulación cuando la respuesta de Fin parecía correcta?
Una Simulación puede fallar en la verificación predeterminada Sin transferencia incluso cuando la respuesta de Fin parecía correcta. Si agregas una Simulación sin una verificación explícita de Transferencia y sin verificaciones de Simulación, la Simulación aprueba solo si Fin resolvió la conversación sin transferir a un equipo o flujo de trabajo. Este valor predeterminado no se muestra en la configuración de la Simulación, así que verifica si se estableció una verificación de Transferencia cuando una Simulación falla y no puedes ver por qué.
Consejo: Agrega una verificación explícita de Transferencia a cada Simulación, para que el resultado de aprobado/reprobado refleje tu intención, no el valor predeterminado.
Cómo probar Fin en idiomas distintos al inglés
Para probar Fin en otro idioma, escribe el primer mensaje del cliente en ese idioma. Las Simulaciones admiten los mismos idiomas que Fin, y no necesitas configurar un idioma. Cuando una Simulación comienza, Fin detecta el idioma del primer mensaje usando la misma detección de idioma que en las conversaciones en vivo, y lo usa para toda la Simulación. Fin responde en ese idioma, el cliente simulado escribe sus mensajes de seguimiento en él también, y los Scorecards se califican en ese idioma.
Si el cliente simulado tiene un anulación de idioma configurada, Fin usa esa en su lugar, tal como lo haría con un cliente real.
Fin respeta la configuración multilingüe de tu espacio de trabajo. Si el idioma detectado no es uno que hayas habilitado para Fin, o Fin no puede detectarlo con suficiente confianza (por ejemplo, a partir de un mensaje muy corto como "Hola"), vuelve al idioma del Messenger del cliente, luego al idioma predeterminado de tu espacio de trabajo.
Puedes ver qué idioma se usó en la transcripción de la Simulación, por ejemplo Fin estableció el idioma a español.
Para probar el mismo escenario en varios idiomas, crea una Simulación por idioma y usa etiquetas en los Evals para agruparlas. Escribe mensajes iniciales de al menos una oración completa para que la detección de idioma sea confiable. El idioma se establece una vez al inicio y no cambia si el cliente cambia de idioma a mitad de la conversación.
Para la lista completa de idiomas compatibles, consulta Idiomas compatibles con Fin.
Cómo volver a ejecutar Evals después de un cambio y según un horario
Después de cambiar el contenido, la guía, los Procedimientos o las Habilidades de Fin, vuelve a ejecutar tus Evals existentes para verificar regresiones. Cada Simulación se almacena y es reutilizable, por lo que volver a ejecutar toma un clic en lugar de recrear tus escenarios de prueba. Para ejecutar Evals en un horario regular, como cada lunes por la mañana, configura una Rutina en Operador (consulta Crear y ejecutar Evals con Operador) que ejecute los Evals que elijas en los horarios que selecciones. La programación no está disponible en la página de Evals.