Usa este artículo para pedir a Operator que cree, ejecute y analice Evals, revise los cambios que propone y programe ejecuciones recurrentes. Operator también puede recomendar mejoras para tus Evals y Simulations o para la configuración de Fin. Para lo básico, incluyendo qué son Evals y Simulations, consulta Evals for Fin.
Nota: Para usar Evals con Operator, tu espacio de trabajo necesita el complemento Pro y debes tener acceso a Operator.
Cómo crear un Eval con Operator
Para crear un Eval con Operator, ve a Fin AI Agent > Operator y pídele que cree un Eval para tu caso de uso.
Por ejemplo, podrías pedirle que pruebe:
El lanzamiento en el que estás trabajando: los cambios en la configuración de Fin en tu lanzamiento actual, antes de que se publiquen.
Conversaciones específicas: comparte uno o más IDs de conversación, y Operator crea Simulations que las recrean.
Casos límite que aún no has cubierto: pide a Operator que busque vacíos en tus Simulations existentes y sugiera nuevas.
Un procedimiento nuevo o actualizado: verifica que Fin siga cada paso, incluyendo los puntos donde debe hacer una transferencia.
Un tema: nombra un tema, como reembolsos, y Operator crea Simulations que cubren la variedad de escenarios sobre los que los clientes probablemente te contacten.
Más variaciones de un Eval existente: pide a Operator que añada Simulations con diferentes clientes, tonos o idiomas.
Puedes decirle a Operator qué deben ser las Simulations, las comprobaciones de Simulation y las comprobaciones de transferencia, o dejar que las defina. Si algo no está claro, como si añadir Simulations a un Eval existente o a qué equipo debe ir una transferencia, Operator te pregunta primero. Elige una opción, escribe tu propia respuesta en Algo más o haz clic en Omitir para que Operator decida.
Consejo: Cuanto más específica sea tu solicitud, menos preguntas tendrá que hacer Operator.
Ejemplo de prompt: Crea un nuevo Eval llamado "Solicitudes de reembolso" con 5 Simulations: una solicitud de reembolso sencilla, un cliente que pregunta por un reembolso fuera del período de reembolso, un cliente frustrado que ha sido cobrado dos veces, un cliente que pregunta en español y uno donde Fin debe transferir al equipo de Facturación. Para adaptarlo, reemplaza el nombre del Eval y los escenarios con tu propio tema y casos.
Cómo revisar y guardar lo que crea Operator
Operator no guarda nada hasta que lo revises. Los nuevos Evals y Simulations aparecen en el panel "cambios pendientes" sobre el cuadro de mensaje, cada uno marcado como "Nuevo". Haz clic en cualquier elemento para revisarlo antes de guardar.
Cuando estés listo, elige dónde guardar los cambios:
Publicar en main: guarda todos los cambios pendientes en tus Evals activos de inmediato.
Guardar en borrador de lanzamiento: guarda los cambios en un borrador de lanzamiento existente, para que puedas probarlos junto con otros cambios antes de que se publiquen. Selecciona un borrador de la lista o haz clic en Nuevo borrador de lanzamiento para crear uno.
Para descartar los cambios, haz clic en el icono de eliminar.
Cómo ejecutar un Eval con Operator
Para ejecutar un Eval con Operator, pídele que ejecute el Eval, por ejemplo: Ejecuta el Eval Solicitudes de reembolso. Operator te muestra los resultados a medida que se ejecuta cada Simulation.
No necesitas Operator para ejecutar un Eval. Ve a Fin AI Agent > Test > Evals y ejecútalo tú mismo. Las ejecuciones iniciadas desde Operator también aparecen allí, para que puedas revisar todos los resultados en un solo lugar.
Cómo leer los resultados que te da Operator
Una vez que cada Simulation se ha ejecutado, Operator presenta los resultados y los explica:
Una tabla de resultados: el resultado general de cada Simulation (Aprobado, Fallido o Error) y las comprobaciones individuales detrás de él, para que puedas ver por qué obtuvo ese resultado. Por ejemplo, una Simulation llamada "Exportación masiva de espacio de trabajo" puede fallar porque la comprobación de transferencia falló (Fin escaló cuando no debía), aunque la comprobación de respuesta de Fin pasó.
Un resumen: los conteos principales (3 aprobados, 1 fallido, 2 con error), seguido de un desglose en lenguaje sencillo de lo que salió mal y por qué. Por ejemplo, Operator puede rastrear una exportación fallida hasta una regla de guía que transfiere a un compañero cada vez que aparece la palabra "fallo".
Cómo solucionar problemas con Operator
Después de analizar los resultados, Operator puede recomendar mejoras, ya sea para tus Evals y Simulations o para la configuración de Fin, y hacer esos cambios por ti. Por ejemplo, cuando una Simulation falla debido a una regla de guía, Operator rastrea el fallo hasta esa regla para que puedas ver qué corregir. Operator no aplica correcciones por sí solo. Cada cambio que propone aparece en el panel "cambios pendientes" para que lo revises antes de guardarlo, como se describe en Cómo revisar y guardar lo que crea Operator.
Cómo programar Evals con Operator y Rutinas
Para ejecutar Evals en un horario regular, como cada lunes por la mañana, configura una Rutina en Operator. No puedes programar Evals desde la página de Evals.
Para programar un Eval:
Ve a Fin AI Agent > Operator y haz clic en Rutinas.
En Configurar una rutina, describe qué quieres ejecutar y cuándo. Por ejemplo: “Ejecuta el Eval Solicitudes de reembolso cada lunes a las 9 a. m. y resume los resultados.”
Operator redacta la Rutina y la muestra en un panel a la derecha, con su disparador, horario e instrucciones. Si falta algo, como la hora o la zona horaria, Operator sugiere un valor predeterminado y te pide que lo confirmes o cambies.
Revisa los detalles de la Rutina y luego haz clic en Aceptar para activarla, o en Descartar para cancelarla.
Cada vez que la Rutina se ejecuta, informa cuántas Simulations pasaron y fallaron, cuáles fallaron y por qué, y cualquier corrección recomendada para el contenido, la guía o los Procedimientos de Fin.