Usa este artículo para encontrar, filtrar y etiquetar tus Evals, crear un nuevo Eval, organizar tus Evals, importar Simulations desde un archivo CSV (comma-separated values), añadir una Scorecard y ver cómo Fin está funcionando en tus Evals.
¿Qué es la página de Evals?
La página de Evals lista cada Eval en tu espacio de trabajo, para que puedas ver cómo se desempeñó cada grupo de pruebas y ejecutarlas de nuevo. Un Eval es un grupo temático de pruebas, y cada prueba dentro de él se llama Simulation. Para abrir la página, ve a Fin AI Agent > Test > Evals.
La tabla de Evals tiene estas columnas:
Nombre del Eval: el nombre del Eval, con un botón de ejecución al lado. Pasa el cursor sobre el botón para ver su etiqueta Ejecutar eval.
Resultado: cómo se desempeñó el Eval en su última ejecución, por ejemplo 4/6 Aprobado.
Etiquetas: cualquier etiqueta adjunta al Eval.
Fecha de última ejecución: la fecha en que el Eval se ejecutó por última vez.
Última ejecución por: quién ejecutó el Eval por última vez.
Última actualización: cuándo se modificó el Eval por última vez.
Creado: cuándo se creó el Eval.
Cómo organizar tus Evals
Para organizar tus Evals, agrupa Simulations en Evals según el tema que tenga sentido para tu negocio. Muchos equipos comienzan con lo que aún no funciona, y luego amplían desde ahí. Los puntos de partida comunes incluyen:
Problemas conocidos: conversaciones donde Fin dio una respuesta incorrecta, incompleta o poco útil. Recrea cada una como una Simulation, corrige la causa y ejecútala de nuevo para confirmar la solución. Para recrear una conversación rápidamente, consulta Cómo crear una Simulation a partir de una conversación real en Configurar Simulations para Evals.
Escenarios de escalada: situaciones donde Fin debería (o no debería) pasar la conversación a un compañero.
Escenarios temáticos: un tema, como solicitudes de reembolso, probado en una variedad de variaciones. Tus 10 o 20 temas principales por volumen de conversación son un buen punto de partida.
Escenarios conductuales: verificaciones para que Fin mantenga el tono y la marca en diferentes situaciones, independientemente del tema.
Con el tiempo, crea uno o varios Evals como un "conjunto dorado" que cubra las conversaciones que más te importan. Vuelve a ejecutar el conjunto dorado regularmente, por ejemplo semanalmente o cada vez que cambies la configuración de Fin, para asegurarte de que tus escenarios más importantes sigan funcionando.
Cómo encontrar un Eval por nombre, resultado o etiqueta
Para encontrar un Eval por nombre, escribe en el cuadro Buscar evals en la parte superior de la página de Evals. Para reducir la lista, haz clic en Añadir filtro y elige Resultado o Etiqueta.
Cómo filtrar Evals por resultado
Ve a Fin AI Agent > Test > Evals.
Haz clic en Añadir filtro, luego haz clic en Resultado.
Selecciona uno o más resultados: No ejecutado, Ejecutando, En cola, Aprobado, Parcialmente aprobado, Fallido, Cancelado o Inprocesable.
Cómo filtrar Evals por etiqueta
Ve a Fin AI Agent > Test > Evals.
Haz clic en Añadir filtro, luego haz clic en Etiqueta.
Selecciona una o más etiquetas. Cada etiqueta muestra cuántos Evals la usan.
Cómo crear un nuevo Eval
Para crear un Eval, elige si construirlo manualmente o importar una lista de escenarios de clientes desde un archivo CSV (comma-separated values).
Ve a Fin AI Agent > Test > Evals.
Haz clic en Nuevo eval.
Elige Crear manualmente para construir tus Simulations tú mismo, o Subir un CSV para importar una lista de escenarios de clientes.
Ponle al Eval un nombre claro y descriptivo de hasta 250 caracteres, para que tú y tus compañeros puedan saber qué cubre cuando lo ejecutes de nuevo más tarde.
Cada Eval puede contener hasta 50 Simulations. Para importar desde un archivo CSV, consulta Cómo importar Simulations desde un archivo CSV. Para configurar las Simulations dentro de un Eval, consulta Configurar Simulations para Evals.
Cómo importar Simulations desde un archivo CSV
Para importar Simulations desde un archivo CSV, súbelo desde la página de Evals o desde dentro de un Eval. Cada fila se convierte en una Simulation, y revisas cada coincidencia de columna antes de guardar. Para importar, necesitas Puede ver configuración y proponer cambios en un lanzamiento en borrador o Puede ver configuración y publicar cambios directamente en main (individualmente o en un lanzamiento) bajo Fin AI Agent & Automation.
Para importar en un nuevo Eval, ve a Fin AI Agent > Test > Evals, haz clic en Nuevo eval y selecciona Subir un CSV. Para añadir Simulations a un Eval que ya tienes, ábrelo, selecciona Importar CSV en el menú de opciones (...) y luego elige ese Eval bajo Importar a.
¿Qué puede incluir un archivo CSV para Simulations?
Una importación CSV puede llenar 5 campos de Simulation. Solo el mensaje de apertura es obligatorio.
Mensaje de apertura (obligatorio): lo primero que el cliente simulado dice a Fin.
Instrucciones de seguimiento: lo que el cliente sabe, lo que comparte con Fin si se le pregunta y cómo se comunica.
Canal: el canal en el que el cliente simulado escribe, ya sea Messenger o Email.
Transferencia: si Fin debe transferir la conversación: ninguna, a un equipo o a un flujo de trabajo.
Respuesta esperada: lo que Fin debe decir o hacer para aprobar. Cada respuesta esperada se convierte en una verificación de respuesta de Fin. Para agregar varias respuestas esperadas para una simulación, pon cada una en su propia línea en la misma celda.
Para comenzar con un archivo listo, haz clic en Descargar plantilla en el diálogo Subir un archivo CSV. La plantilla tiene una columna para cada uno de los 5 campos.
Los encabezados de columna no necesitan coincidir exactamente con la plantilla. Nombres comunes como question, prompt, persona, outcome o ground truth se reconocen automáticamente. Archivos separados por comas, punto y coma o tabulaciones funcionan todos.
¿Cuáles son los límites de importación de CSV?
Límite | Valor |
Filas por archivo y por Evaluación | 50 |
Tamaño del archivo | 10 MB |
Caracteres por respuesta esperada | 1,000 |
Campos de simulación para coincidir | 5 |
Cómo subir un archivo CSV y asignar columnas a campos de simulación
En el diálogo Subir un archivo CSV, arrastra tu archivo CSV o haz clic en Elegir archivo. El archivo se lee en tu navegador y se muestra como una tabla, con el conteo de filas y columnas, antes de guardar nada. Para usar un archivo diferente, haz clic en Reemplazar archivo.
Revisa la tabla, luego haz clic en Continuar.
En el paso Asignar columnas, verifica el campo de simulación asignado a cada columna y cambia los que estén incorrectos, o haz clic en Restablecer asignaciones para comenzar de nuevo.
Junto a Importar a, elige Nueva evaluación y escribe un nombre, o elige una Evaluación existente para agregar las simulaciones.
Cada campo de simulación se asigna a una columna, y las columnas que no uses se listan bajo No usadas y se ignoran. Si una respuesta esperada supera los 1,000 caracteres, se te pregunta qué hacer: Omitirlas (por defecto) importa la fila sin esa respuesta, Cortar a 1,000 caracteres mantiene el inicio de la respuesta, y Omitir estas filas excluye toda la fila.
Cómo corregir valores de Channel y Handoff sin editar tu archivo CSV
Si un valor de Channel o Handoff no es reconocido por Fin, como WhatsApp o Yes, aparece una advertencia en ese campo.
Selecciona la advertencia en el campo Channel o Handoff.
Elige qué significa cada valor no reconocido.
Haz clic en Aplicar.
También puedes elegir Omitir filas para excluir esas filas de la importación. Cualquier valor que dejes sin cambiar se asigna por defecto a Messenger para Channel y No handoff para Handoff.
Cómo previsualizar e importar simulaciones desde un archivo CSV
Haz clic en Previsualizar simulaciones para ver cada fila como se ejecutará, incluyendo el primer mensaje, instrucciones de seguimiento, verificaciones de respuesta de Fin y transferencia.
Revisa el conteo de filas en la parte inferior del diálogo. Muestra cuántas filas se importarán (por ejemplo, 9 de 10 filas) y qué se excluye.
Haz clic en Importar.
Después de la importación, una confirmación muestra cuántas simulaciones se crearon. Cada fila aparece en la Evaluación como una simulación nombrada según su mensaje inicial, lista para que hagas clic en Ejecutar todo. Las simulaciones importadas usan el Cliente de prueba y todas las marcas, así que abre una simulación para elegir un cliente específico. Las etiquetas se agregan a la Evaluación, no en el archivo CSV. Cuando importas dentro de una Release, las simulaciones se agregan a esa Release.
¿Cuándo no puedes importar simulaciones desde un archivo CSV?
Ninguna columna está asignada a Opening message, o ninguna fila tiene uno.
La nueva Evaluación no tiene nombre, o el nombre ya está en uso.
Tu archivo tiene más de 50 filas.
Si tus filas harían que una Evaluación existente supere las 50 simulaciones, verás cuántas aún caben y podrás seleccionar Importar las primeras [número] para importar solo esas. Si alguna fila es rechazada al importar, no se guarda nada. Cada fila problemática se lista con la razón, y puedes seleccionar Importar sin estas filas para importar el resto.
Cómo etiquetar Evaluaciones y gestionar etiquetas
Las etiquetas agrupan Evaluaciones relacionadas para que las encuentres rápido a medida que tu suite crece. Por ejemplo, etiqueta por tema (Refunds), equipo o propietario (Billing team), tipo de prueba (Regression, Escalation) o idioma (French). Una Evaluación puede tener tantas etiquetas como necesites.
Cómo crear una etiqueta para Evaluaciones
Para ver y crear etiquetas, haz clic en Etiquetas en la parte superior derecha de la página de Evaluaciones. El panel de Etiquetas lista cada etiqueta y cuántas Evaluaciones la usan, y puedes buscar una etiqueta con el cuadro Buscar etiquetas.
Ve a Fin AI Agent > Test > Evals.
Haz clic en Etiquetas, luego en Nueva etiqueta.
En Nombre, escribe un nombre para la etiqueta, por ejemplo "Refunds".
Opcionalmente, haz clic en Agregar evaluaciones y elige las Evaluaciones que deberían recibir la etiqueta al crearla.
Haz clic en Crear etiqueta.
Cómo agregar etiquetas a Evaluaciones
Desde la lista de Evals: selecciona las casillas junto a uno o más Evals, haz clic en Etiquetar arriba de la lista y elige las etiquetas para agregar. Puedes etiquetar hasta 100 Evals a la vez.
Desde dentro de un Eval: haz clic en + Etiqueta debajo del nombre del Eval.
Cómo renombrar o eliminar etiquetas para Evals
Para renombrar o eliminar una etiqueta, haz clic en Etiquetas en la parte superior de la página de Evals, o selecciona Administrar etiquetas en el selector de etiquetas. El panel muestra cuántos Evals usan cada etiqueta. Eliminar una etiqueta la quita de todos los Evals, incluidos los Evals en Releases.
Nota: Las etiquetas se aplican a Evals, no a Simulaciones individuales. Para agrupar Simulaciones de forma diferente, sepáralas en Evals distintos. Las etiquetas de Eval son independientes de las etiquetas que usas en conversaciones y contactos.
Cómo agregar una Scorecard a un Eval
Una Scorecard añade puntuación de calidad a un Eval, como Clarificación o Eficiencia, además de sus verificaciones de aprobado/reprobado. Para agregar una, abre el Eval y haz clic en Agregar scorecard en la parte superior derecha, junto a Nueva simulación. Después de agregarla, aparece una sección de Evaluación de calidad junto a Resultados de simulación.
Para crear una Scorecard, agregar criterios y establecer el peso de puntuación y la configuración Crítica de cada criterio, consulta Cómo agregar una Scorecard a un Eval.
Cómo ver cómo Fin está funcionando en tus Evals
Para ver cómo Fin funcionó en todos tus Evals, mira el resumen en la parte superior de Fin AI Agent > Test > Evals. Refleja la última vez que se ejecutó cada Simulación y tiene dos partes:
Resultados de simulación: cuántas Simulaciones pasaron todas sus verificaciones de Simulación y de Transferencia, por ejemplo 42/50 pasaron (84%). Las Simulaciones que tuvieron error cuentan como fallidas, y las Simulaciones que aún no se han ejecutado cuentan para el total.
Evaluación de calidad: para cada Scorecard, la puntuación promedio de revisión y el promedio para cada criterio, en todos los Evals que la usan. Usa las flechas para moverte entre Scorecards.
El resumen se actualiza con tu búsqueda y filtros, así que filtrar por una etiqueta muestra resultados solo para esos Evals.
Para comparar ejecuciones anteriores, abre una Simulación y haz clic en el menú desplegable del historial de ejecuciones junto a su resultado. Lista cada ejecución por fecha con su resultado.
Preguntas frecuentes sobre la gestión de Evals
¿Cuántas Simulaciones puede contener un Eval?
¿Cuántas Simulaciones puede contener un Eval?
Un Eval puede contener hasta 50 Simulaciones. Para agregar más, elimina Simulaciones existentes o crea un nuevo Eval.
¿Puedo crear Simulaciones desde un archivo CSV?
¿Puedo crear Simulaciones desde un archivo CSV?
Sí, puedes crear Simulaciones desde un archivo CSV. Haz clic en Nuevo eval, luego elige Subir un CSV para importar una lista de escenarios de clientes. Para agregar Simulaciones importadas a un Eval que ya tienes, ábrelo y selecciona Importar CSV en el menú de opciones (...). Las preguntas de Batch Test también funcionan: expórtalas a un archivo CSV, y cada pregunta se convierte en el mensaje de apertura de una Simulación.
¿Puedo etiquetar Simulaciones individuales?
¿Puedo etiquetar Simulaciones individuales?
No puedes etiquetar Simulaciones individuales, porque las etiquetas solo se aplican a Evals. Para agrupar Simulaciones de forma diferente, sepáralas en Evals distintos.
¿Quién puede crear, editar y ejecutar Evals?
¿Quién puede crear, editar y ejecutar Evals?
Los compañeros con Puede ver configuración y proponer cambios en un lanzamiento en borrador o Puede ver configuración y publicar cambios directamente en main (individualmente o en un lanzamiento) bajo Fin AI Agent & Automation pueden crear, editar, etiquetar y ejecutar Evals. Los compañeros con Puede ver configuración pueden ver Evals y sus resultados, y pueden filtrarlos por etiqueta.