Usa Evals para construir conversaciones de prueba realistas, ejecútalas contra tu configuración de Fin y obtén resultados automáticos de aprobado/reprobado antes de que cualquier cambio llegue a un cliente real. Ejecuta las mismas pruebas cada vez que hagas un cambio para verificar que Fin siga comportándose como esperas.
Evals se basan en dos conceptos:
Evals son grupos temáticos de pruebas, como “Solicitudes de reembolso,” “Escenarios de escalación” o “Tono y amabilidad.”
Simulations son las pruebas individuales dentro de un Eval. Cada una es una conversación realista de múltiples turnos entre un cliente simulado y Fin, junto con las verificaciones contra las que se evalúa el comportamiento de Fin.
Cuando ejecutas un Eval, cada Simulation dentro de él se ejecuta automáticamente y obtiene un resultado de aprobado/reprobado. Un juez LLM (modelo de lenguaje grande) puntúa cada Simulation según las verificaciones que establezcas.
Nota: Para crear, editar o ejecutar Evals, necesitas Can view configuration and propose changes in a draft release o Can view configuration and publish changes directly to main (individually or in a release) bajo Fin AI Agent & Automation. Los compañeros con Can view configuration pueden ver Evals y sus resultados.
Comienza con Evals:
Cómo gestionar tus Evals: encuentra, filtra, etiqueta y crea Evals, e importa Simulations desde un archivo CSV.
Configura Simulations para Evals: elige el cliente simulado, los datos que Fin ve y las verificaciones en las que se puntúa a Fin, o crea una Simulation a partir de una conversación real.
Cómo ejecutar Evals y leer los resultados: ejecuta Simulations, entiende cada resultado y prueba en otros idiomas.
Cómo añadir una Scorecard a un Eval: puntúa la calidad de las respuestas de Fin, además de aprobado o reprobado.
Crea y ejecuta Evals con Operator: permite que Operator cree, ejecute, analice y programe Evals por ti.
¿Cuándo deberías usar Evals?
Usa un Eval siempre que quieras tener confianza en cómo se comporta Fin:
Antes de enviar un cambio: en contenido, guías, Procedures o cualquier otra cosa en la configuración de Fin.
Mientras trabajas en un Release: para probar los cambios en tu Release juntos, antes de que se publiquen.
Después de una corrección: para confirmar que resolviste el problema que querías solucionar.
De forma continua: para volver a ejecutar tus Evals más importantes como suite de regresión y detectar cambios inesperados antes que los clientes.
Antes de lanzar Fin: para verificar que tu configuración funciona como esperas antes de que los clientes hablen con Fin por primera vez.
Probando un Release con Evals
Cuando trabajas en cambios para Fin en un Release, ejecuta tus Evals contra esos cambios antes de que se publiquen. Fin responde usando la versión del Release de tu contenido, guías, Procedures y Skills, para que puedas ver cómo funcionan tus cambios sin afectar a ningún cliente.
Abre tu Release y ve a la pestaña Evals.
Para crear un Eval solo para este Release, haz clic en Add an Eval, luego en New eval. Aparece bajo Added in this release.
Para buscar regresiones, haz clic en Run eval en cualquiera de tus Evals existentes. La pestaña muestra cuántos de tus Evals se han ejecutado contra el Release (por ejemplo, 3/5 run).
Nota:
Los nuevos Evals y Simulations que crees dentro de un Release no aparecen en tus Evals en vivo hasta que el Release se fusiona.
Los resultados se mantienen por separado para cada Release. Las ejecuciones dentro de un Release no cambian los resultados que ves en Main Fin.
Si cambias el Release después de ejecutar un Eval, los resultados se marcan como desactualizados. Ejecuta el Eval de nuevo.
Dentro de un Release, no puedes renombrar o eliminar Evals existentes, ni editar una Scorecard.
Las etiquetas no se guardan en un Release. Los cambios de etiquetas que hagas dentro de un Release se aplican a tus Evals en vivo de inmediato.
No es obligatorio ejecutar Evals para fusionar un Release, pero lo recomendamos mucho.
Para más información sobre Releases, consulta Releases para Fin.
¿Qué herramienta de prueba debería usar?
| Evals | Procedure Simulations | Batch Test |
Pruebas | Toda la configuración de Fin, de principio a fin | Un Procedure por sí solo | Preguntas individuales |
Tipo de conversación | Múltiples turnos | Múltiples turnos, dentro de un Procedure | Un solo turno |
Puntuación | Automática, por el juez LLM, más Scorecards opcionales | Automática, contra criterios de éxito y resultado | Manual (Bueno, Aceptable o Deficiente) |
Mejor para | Pruebas de regresión y recorridos completos del cliente | Construcción y verificación de un Procedure | Verificaciones rápidas de información |
Usa Procedure Simulations mientras construyes un Procedure, para verificar que se comporte correctamente por sí solo. Consulta Ejecutar Simulations para Procedures de Fin.
Usa Evals una vez que ese Procedure esté activo, para probar la conversación completa, incluyendo cómo funciona con tu contenido, guías, conectores de datos y traspasos.
Si usas Batch Test hoy, comienza a construir escenarios equivalentes como Evals. Puedes exportar tus preguntas de Batch Test a un archivo CSV e importarlas como Simulations.
Nota: A partir del 5 de noviembre de 2026, los nuevos espacios de trabajo no verán Batch Test en la navegación izquierda. Si ya usas Batch Test, seguirá disponible.
Límites de uso de Simulations
Hay un límite mensual en la cantidad de Simulations que puedes ejecutar en Evals. El límite aplica a todo tu espacio de trabajo y se reinicia el primer día de cada mes calendario. Tu asignación se basa en las conversaciones de tu espacio de trabajo en los últimos 30 días y se revisa cada mes.
Volumen de conversaciones | Simulations por mes |
Menos de 1K | 250 |
1K–15K | 1,000 |
15K–100K | 1,750 |
100K–1M | 5,000 |
1M+ | 12,500 |
Cada ejecución de Simulation cuenta desde que comienza, incluyendo ejecuciones que detienes a mitad de camino. Si alcanzas tu límite, verás “Has alcanzado tu límite mensual de simulaciones,” y no podrás ejecutar más Simulations hasta el próximo mes. Si haces clic en Run all cerca de tu límite, se ejecutan las Simulations que caben en tu asignación y el resto no comienza.
Limitaciones actuales
Hasta 50 Simulations por Eval, y hasta 50 filas por importación CSV.
Las etiquetas aplican solo a Evals. No puedes etiquetar Simulations individuales ni ejecutar todos los Evals con una etiqueta de una vez.
No hay notificaciones. No recibirás avisos cuando termine una ejecución.
Aún no hay anotaciones de revisores. No hay forma de registrar si un revisor está de acuerdo o en desacuerdo con un resultado.
Aún no hay plantillas preconstruidas. Categorías comunes de prueba, como inyección de prompt, no tienen un punto de partida listo.
Workflows no se simulan. Una verificación de Handoff puede confirmar que Fin pasa una conversación a un workflow, pero Evals no simulan lo que el workflow hace después.
Preguntas frecuentes
¿Necesito Operator para usar Evals?
¿Necesito Operator para usar Evals?
No, todos los clientes de Fin pueden crear y ejecutar Evals desde Fin AI Agent > Test > Evals. Operator es parte del complemento Pro y puede crear, ejecutar, analizar y programar Evals por ti.
¿Cuánto tarda en ejecutarse un Eval?
¿Cuánto tarda en ejecutarse un Eval?
Espera minutos en lugar de segundos, porque cada Simulation es una conversación completa de múltiples turnos seguida de una puntuación. Las ejecuciones continúan en segundo plano, así que puedes salir de la página y volver para ver los resultados.
¿Por qué falló mi Simulation si la respuesta de Fin parecía correcta?
¿Por qué falló mi Simulation si la respuesta de Fin parecía correcta?
Si no configuraste una verificación de Handoff, la Simulation se puntúa contra una verificación predeterminada No handoff, por lo que falla si Fin realiza un traspaso. Consulta Cómo ejecutar Evals y leer los resultados.
¿Puedo programar la ejecución automática de Evals?
¿Puedo programar la ejecución automática de Evals?
Sí, con una Rutina de Operator. Consulta Crear y ejecutar Evals con Operator.