Ir al contenido principal

Evaluaciones vs. Simulaciones vs. Pruebas por lotes vs. Vistas previas

Aprende cuándo usar las tres herramientas de prueba de Fin: Simulaciones, Pruebas por lotes y Vistas previas.

Escrito por Dawn Perrott

Usa este artículo para elegir la forma correcta de probar Fin: Evaluaciones para conversaciones de extremo a extremo y suites de regresión, Simulaciones de Procedimientos para un solo Procedimiento, Pruebas por lotes para conjuntos de preguntas de un solo turno, y Vistas previas para verificaciones manuales rápidas mientras construyes.


Referencia rápida: qué hace cada herramienta

La tabla a continuación compara las cuatro formas de probar Fin. Las Evaluaciones prueban Fin de extremo a extremo, mientras que las Simulaciones de Procedimientos prueban un Procedimiento a la vez. Consulta Evaluaciones para Fin.

Evaluaciones

Simulaciones de Procedimientos

Pruebas por lotes

Vistas previas

Qué es

Pruebas automatizadas de extremo a extremo de toda la configuración de Fin. Cada Simulación en una Evaluación es una conversación de múltiples turnos entre un cliente simulado y Fin, evaluada según las comprobaciones que configures.

Pruebas automatizadas impulsadas por IA de extremo a extremo de un solo Procedimiento. La IA actúa como cliente simulado y juzga el resultado según los criterios de éxito que definas.

Una herramienta de prueba de preguntas y respuestas para validar las respuestas de Fin en hasta 50 preguntas a la vez. Prueba cómo Fin responde en contenido, guía, users, idiomas y automatizaciones.

Un panel de prueba manual e interactivo disponible en todas las áreas de entrenamiento de Fin. Escribes mensajes y ves la respuesta de Fin y el registro de eventos en tiempo real.

Mejor para

Pruebas de regresión después de cualquier cambio en Fin. Pruebas de viajes completos del cliente, incluyendo lo que sucede antes de que se active un Procedimiento y después de que se entregue. Pruebas de los cambios en una Release antes de que se publiquen.

Validar la lógica compleja de Procedimientos de extremo a extremo antes de publicar. Detectar regresiones después de actualizaciones de Procedimientos. Probar casos límite y caminos ramificados.

Verificar la cobertura de contenido en muchas preguntas a la vez. Diagnosticar brechas en conocimiento, guía o automatizaciones. Control de calidad pre-lanzamiento en audiencias, marcas e idiomas.

Verificaciones manuales rápidas mientras construyes. Verificar cómo un cambio específico — en contenido, guía, atributos, escalada o un Procedimiento — afecta la respuesta de Fin en el momento.

Funciona con

Todo lo que Fin usa para responder: contenido, guía, guía de escalada, Skills y Procedimientos.

Un solo Procedimiento. Para Simulaciones en toda la configuración de Fin, usa Simulaciones de Evaluaciones. Fin for Sales tiene sus propias Simulaciones.

Todos los customers que usan Fin — ya sea usando Procedimientos, Tasks o solo contenido de conocimiento.

Todas las áreas de entrenamiento de Fin: Contenido, Guía, Atributos, Escalada, Procedimientos y Deploy.

Modo de prueba

Automatizado — la IA genera el lado del cliente de la conversación y un juez LLM puntúa el resultado. Las Scorecards opcionales también califican la calidad de la respuesta.

Automatizado — la IA genera el lado del cliente de la conversación y evalúa el resultado con un juicio de aprobado/reprobado.

Automatizado — Fin genera una respuesta para cada pregunta. Tú revisas y calificas las respuestas manualmente (Bueno / Aceptable / Deficiente).

Manual — escribes los mensajes tú mismo y observas la respuesta de Fin y el registro de eventos.

¿Crea una conversación real?

No — las Simulaciones se ejecutan dentro de las Evaluaciones y nunca llegan a un cliente.

No — se ejecuta completamente en segundo plano. No se crea ninguna conversación en inbox.

No — solo simulación. No crea conversaciones en inbox ni afecta datos de clientes.

Sí — las conversaciones de Vista previa aparecen en tu inbox, pero se excluyen de los informes.

¿Accede a APIs en vivo?

No — los conectores de datos siempre devuelven su respuesta de prueba guardada, nunca datos en vivo.

No — no llama a APIs externas en vivo (por ejemplo, Shopify, Stripe). Solo prueba la lógica.

No — los conectores de datos usan cargas útiles de prueba/muestra configuradas. No hay llamadas a APIs en vivo.

Sí — puede acceder a datos reales de users e integraciones en vivo cuando se prueba como un usuario o lead específico.

Guarda y vuelve a ejecutar

Sí — las Evaluaciones se guardan y pueden volver a ejecutarse como suite de regresión, o programarse con una Operator Routine. Hasta 50 Simulaciones por Evaluación.

Sí — las simulaciones se guardan y pueden volver a ejecutarse cada vez que se actualiza el Procedimiento. Soporta Ejecutar todo.

Sí — los grupos de prueba (hasta 50 preguntas cada uno) pueden guardarse, volver a ejecutarse y compartirse entre compañeros.

No — conversaciones manuales únicas. No se guardan ni pueden volver a ejecutarse.

Juicio de aprobado/reprobado

Sí — el juez LLM da a cada Simulación un aprobado o reprobado automático.

Sí — la IA evalúa la conversación según criterios de éxito y asigna aprobado o reprobado con razonamiento completo.

No — calificas manualmente cada respuesta como Bueno, Aceptable o Deficiente y eliges una causa raíz.

No — no hay juicio automatizado. Tú mismo evalúas el resultado.

Límites de uso

Sí: límite mensual de Simulación basado en el volumen de conversaciones del workspace (250–12,500/mes), se reinicia el primero de cada mes.

Sí: límite mensual de ejecuciones basado en el volumen de conversaciones del workspace (250–12,500/mes). Incluido con Procedures sin costo adicional.

Sin cargo. Hasta 50 preguntas por grupo de prueba.

Sin límites.

Disponibilidad

Disponible para todos los clientes de Fin. No se necesita beta ni solicitud de acceso.

Generalmente disponible para todos los clientes que usan Procedures.

Disponible para clientes existentes de Fin con un asiento completo y permiso de Todas las conversaciones. Desde el 5 de noviembre de 2026, los nuevos workspaces no verán pruebas Batch y usarán Evals en su lugar.

Generalmente disponible para todos los clientes de Fin.


Cuándo usar cada herramienta

Usa Evals cuando

  • Quieres probar una conversación completa y de múltiples turnos con el cliente que cubra todo lo que Fin usa para responder: contenido, orientación, guía de escalación, habilidades y Procedures.

  • Quieres resultados automáticos de aprobado/reprobado basados en verificaciones que defines (respuesta de Fin, Procedure activado, conector de datos llamado, transferencia), más puntuación opcional con una Scorecard.

  • Quieres una suite de regresión que puedas ejecutar nuevamente después de cualquier cambio en Fin, o programar con una Operator Routine.

  • Quieres probar los cambios en un Release antes de que se publiquen.

  • Quieres recrear una conversación real donde la respuesta de Fin no fue suficiente y seguir probándola hasta que se corrija.

Aprende cómo configurar Evals en Evals for Fin.

Usa Simulaciones de Procedure cuando

  • Necesitas validar un Procedure de principio a fin antes de ponerlo en vivo.

  • Quieres pruebas automatizadas y repetibles que detecten regresiones después de cada actualización.

  • Tu Procedure tiene lógica ramificada, Conditions o sub-procedimientos, y necesitas un caso de prueba separado por cada ruta.

  • Quieres que la IA juzgue el resultado según criterios de éxito definidos (respuesta de Fin, valores de atributos, llamadas a conectores de datos, resultado de instrucciones).

  • Necesitas probar lógica sensible al tiempo (por ejemplo, ventanas de reembolso) controlando la hora de la simulación y los valores de datos.

Nota: La hora de la simulación solo controla la fecha que el razonamiento propio de Fin usa para la lógica de fechas en lenguaje natural. No cambia lo que ve una condición de código Python: el código que llama a datetime.datetime.now() siempre lee la fecha real del sistema, independientemente de la hora de simulación que configures. Para probar una rama de fecha basada en código, ejecuta la simulación en la fecha real del calendario o reescribe la condición en lenguaje natural en lugar de código.

Usa pruebas Batch cuando

  • Quieres validar las respuestas de Fin en un amplio conjunto de preguntas, no solo un escenario.

  • Estás haciendo QA previo al lanzamiento en contenido, orientación, audiencias, idiomas o marcas.

  • Quieres diagnosticar brechas de contenido viendo de qué fuentes Fin extrae para cada respuesta.

  • Quieres probar preguntas generadas a partir de conversaciones reales pasadas o temas de IA.

  • Necesitas un informe CSV descargable para compartir resultados con tu equipo o líderes senior.

Usa Previews cuando

  • Estás construyendo activamente y quieres revisar un cambio inmediatamente: contenido, orientación, un atributo, una regla de escalación o un Procedure.

  • Quieres recorrer manualmente una conversación como un usuario, audiencia o en un idioma específico.

  • Necesitas ver el registro de eventos de Fin para entender exactamente qué aplicó (personalidad, orientación, tareas, fuentes de contenido).

  • Quieres probar Fin Vision enviando una imagen o captura de pantalla.

  • Estás validando un flujo de Procedure y quieres ver la experiencia completa del inbox del cliente y del compañero (incluyendo automatizaciones posteriores).


Preguntas frecuentes

¿Cuál es la diferencia entre Simulations y Previews?

  • Previews son manuales e interactivas: escribes los mensajes tú mismo y ves a Fin responder en tiempo real. Son ideales para revisiones rápidas mientras construyes.

  • Simulations son automatizadas: la IA actúa como cliente, ejecuta la conversación completa y juzga el resultado según los criterios de éxito que defines.

  • Las Simulations no crean conversaciones en el inbox; Preview sí. Usa Simulations cuando necesites validar la lógica de Procedure a gran escala. Usa Preview para pruebas manuales en contexto.

¿Cuál es la diferencia entre Simulations y pruebas Batch?

  • Las pruebas Batch verifican cómo Fin responde a un amplio conjunto de preguntas, evaluando cobertura de contenido, orientación y automatizaciones en muchos escenarios a la vez. Calificas las respuestas manualmente.

  • Las Simulations prueban un solo Procedure de principio a fin con juicio automatizado de IA.

  • Las pruebas Batch funcionan con todas las configuraciones de Fin. Las Simulaciones de Procedure son exclusivas de Procedures.

¿Cuál es la diferencia entre pruebas Batch y Previews?

  • Las pruebas Batch son ejecuciones estructuradas y repetibles de QA con hasta 50 preguntas, útiles para revisiones previas al lanzamiento y diagnóstico de brechas de contenido.

  • Las Previews son no estructuradas y manuales, una conversación a la vez, útiles para retroalimentación instantánea mientras construyes.

  • Los resultados de pruebas Batch se guardan y pueden exportarse a CSV. Las conversaciones de Preview aparecen en tu inbox pero no se guardan como ejecuciones de prueba.

¿Las Simulations llaman APIs en vivo o afectan datos reales?

No. Las Simulations no llaman a APIs externas en vivo (como Shopify o Stripe) y no afectan datos reales. Solo prueban la lógica. Si necesitas probar con llamadas reales a API, usa Preview y selecciona un usuario específico con datos reales en su sistema externo.

¿Se me cobrará por las Simulations o los Batch tests?

Las Simulations están incluidas con los Procedures sin costo adicional. Los Batch tests también son gratuitos (no se te cobrará por las respuestas generadas a través de Batch test).

Nota: Las Simulations tienen un límite mensual de ejecuciones (250–12,500 por mes según el volumen de conversaciones), que se reinicia el primer día de cada mes.

¿Puedo usar Batch tests para probar un Procedure?

Los Batch tests muestran si un Procedure se habría activado para una pregunta dada, pero no ejecutan el Procedure ni evalúan su lógica de extremo a extremo. Para una validación completa del Procedure (incluyendo ramificaciones, llamadas a conectores de datos y resultados de instrucciones) usa Simulations.

¿Qué herramienta de prueba debo usar antes de lanzar en vivo?

Usa las herramientas en combinación antes de lanzar en vivo: Preview para comprobaciones manuales rápidas mientras construyes, Procedure Simulations para validar la lógica de cada Procedure con resultados automáticos de aprobado/reprobado, y Evals para confirmar que la configuración completa de Fin maneja tus conversaciones más importantes con clientes de principio a fin. Los Batch tests siguen disponibles para comprobaciones de preguntas de un solo turno.

Se recomienda encarecidamente ejecutar Simulations antes de cada lanzamiento de Procedure.

¿Cuál es la diferencia entre Evals y Simulations?

  • Las Simulations prueban un Procedure. Cada Procedure Simulation se ejecuta dentro de los límites de ese Procedure, por lo que es la herramienta adecuada mientras construyes un Procedure y para verificar que sigue funcionando después de cambios.

  • Los Evals prueban Fin de extremo a extremo. Una Eval Simulation ejecuta una conversación completa usando todo lo que Fin utiliza para responder, incluyendo lo que sucede antes de que se active un Procedure y después de que este finaliza. Los Evals también reproducen conversaciones reales y funcionan como suite de regresión tras cualquier cambio en Fin.

  • Usa ambos: Procedure Simulations mientras construyes un Procedure, luego un Eval para cubrir todo el recorrido del cliente una vez en vivo. Consulta Evals for Fin.

¿Debo usar Evals o Batch tests?

Los Evals hacen todo lo que los Batch tests hacen y más. Los Batch tests verifican preguntas de un solo turno que calificas manualmente. Los Evals ejecutan conversaciones completas de varios turnos, las califican automáticamente según las comprobaciones que defines y pueden ejecutarse nuevamente como suite de regresión. Si usas Batch tests hoy, importa tus preguntas a un Eval con importación CSV, o pide a Operator que cree el Eval por ti.


Datos clave para recordar

  • Las Procedure Simulations son exclusivas para Procedures. No pueden usarse con Tasks, Workflows o pruebas generales de contenido. Para simular conversaciones completas en toda la configuración de Fin, usa Eval Simulations. Fin for Sales tiene sus propias Simulations.

  • Los Batch tests están disponibles para clientes existentes de Fin, ya sea que usen Procedures, Tasks o solo contenido de conocimiento.

  • Las conversaciones de Preview aparecen en el inbox pero se excluyen de los informes.

  • Solo Preview puede acceder a APIs en vivo. Las Simulations y los Batch tests son entornos seguros y aislados.

  • Los límites de ejecución de Simulations son por espacio de trabajo, no por compañero, y se reinician mensualmente.

  • Las calificaciones de respuestas en Batch test no entrenan a Fin; son solo para revisión humana y análisis de causa raíz.

  • En Simulations, si una prueba pasa pero los criterios de éxito son demasiado rígidos (por ejemplo, requerir una pregunta específica que Fin encontró), la prueba aún puede fallar. Enfoca los criterios de éxito en los resultados, no en pasos intermedios.

  • Los Evals prueban toda la configuración de Fin en una conversación de varios turnos, incluyendo Procedures, contenido, guías, guías de escalamiento y habilidades. Úsalos como tu suite de regresión tras cualquier cambio en Fin.

¿Ha quedado contestada tu pregunta?