Intercom facilita mucho que puedas hacer pruebas A/B de tus mensajes para afinarlos y que sean lo más efectivos posible. Todas las pruebas A/B deben comenzar con una pregunta; es decir, '¿será mejor A o B para lograr X?'.
Aquí tienes algunos ejemplos:
¿Qué diseño de contenido generará más respuestas?
¿Qué contenido hará que más users actualicen?
¿Qué diseño de contenido me ayudará a capturar más correos electrónicos de visitantes?
¿Qué asunto hará que más users abran mi correo?
¿Generará un botón más clics que un enlace de texto?
Hay muchas más razones para hacer pruebas A/B. Escribimos un artículo en el blog sobre esto aquí.
Prueba, prueba y vuelve a probar
Siempre debes estar probando y aprendiendo. Por ejemplo, si pruebas un botón contra un enlace y gana el botón, lo siguiente que debes probar es el color del botón. Luego, cuando tengas un ganador, prueba el texto del botón. Lo importante es que cuanto más pruebes, más efectivos serán tus mensajes. Siempre prueba.
Cómo configurar tu prueba A/B
Primero, ve a Outbound desde el menú principal y haz clic en + Nuevo mensaje en la esquina superior derecha.
Antes de publicarlo, asegúrate de tener al menos:
Dado un nombre a tu mensaje
Seleccionado tu audiencia.
Seleccionado tu canal.
Agregado el contenido de tu mensaje. Este será el mensaje "A" en tu prueba.
Nota: Puedes iniciar una prueba A/B con un mensaje que ya esté activo. No tiene que ser cuando creas tu mensaje por primera vez.
Ahora, comienza tu prueba A/B
Una vez que tengas configurado tu mensaje A, haz clic en 'Ejecutar una nueva prueba' y elige la opción de prueba A/B.
Esto creará un borrador de tu mensaje B. Inicialmente, es solo un duplicado de tu mensaje existente. Ahora puedes editar el duplicado con lo que vayas a probar (por ejemplo, diferentes asuntos, texto distinto, colores de botón diferentes o imágenes distintas, lo que quieras). ¡Incluso puedes hacer que los dos mensajes parezcan venir de diferentes compañeros!
¿Qué se puede probar con A/B?
Puedes hacer pruebas A/B con cualquier elemento dentro del paso de creación de contenido del mensaje:
Mejores prácticas
Recomendamos comparar solo una diferencia a la vez. Así, si hay un ganador claro, sabrás la razón y no tendrás que adivinar qué variante causó la diferencia.
Finalmente, publícalo
Cuando estés satisfecho con los dos mensajes, publícalos.
Monitorea el progreso
Puedes revisar el rendimiento en la página de lista de mensajes automáticos o en la página del mensaje. En la página del mensaje, solo cambia entre la versión A y la versión B para ver las estadísticas de cada una. Con el tiempo, podrás ver qué variante funciona mejor en las métricas que más te importan. Por ejemplo, si pruebas asuntos, probablemente te interesen las tasas de apertura.
Elige un ganador una vez que tengas un resultado
Cuando estés seguro de que un mensaje supera al otro (por ejemplo, cuando el % de objetivo de un mensaje sea mayor que el otro), selecciona el botón 'Pausar' en el mensaje que quieras detener. El 100% de los destinatarios ahora recibirá el mensaje ganador. Esto pausará automáticamente el otro mensaje y la gente ya no lo recibirá (a menos que decidas publicarlo de nuevo).
En la configuración actual de mensajes A/B salientes de Intercom, el campo URL se comparte entre ambas variantes de prueba. Editar la URL en cualquiera de las variantes la actualizará para ambas, por lo que no es posible usar URLs diferentes para las pruebas A y B.
Preguntas frecuentes
¿Cómo funciona esto con mensajes A/B dentro de una Serie?
¿Cómo funciona esto con mensajes A/B dentro de una Serie?
Cuando un user entra en una Serie y coincide con un mensaje que tiene prueba A/B, será aleatorio qué variante recibe. Si varios mensajes dentro de una Serie se prueban A/B, esto significa que un user puede recibir una mezcla de As o Bs.
Si deseas probar una secuencia de mensajes dentro de su Serie, puedes usar la función de prueba dividida si está incluida en tu suscripción. Si no tienes acceso a esta función, una solución es configurar dos Series diferentes y dividir la audiencia de la Serie en dos.
¿Qué pasa si hago pequeños cambios en la versión A o B después de publicarla? ¿Se reiniciarán las estadísticas de esa versión?
¿Qué pasa si hago pequeños cambios en la versión A o B después de publicarla? ¿Se reiniciarán las estadísticas de esa versión?
¿Qué pasa si hago pequeños cambios en la versión A o B después de publicarla? ¿Se reiniciarán las estadísticas de esa versión?
Hacer cambios en una versión después de que el mensaje esté activo puede sesgar tus resultados.
Cualquier cambio en una variante del mensaje no reiniciará las estadísticas de esa versión. Si deseas que las estadísticas se reinicien, deberás eliminar esa versión y crear una nueva (y ten en cuenta que no tendrás un registro de las estadísticas anteriores, por lo que quizás quieras exportar tus resultados primero).
Si publico un mensaje y luego creo una versión B, ¿qué pasará con las estadísticas del mensaje?
Si publico un mensaje y luego creo una versión B, ¿qué pasará con las estadísticas del mensaje?
Las estadísticas del mensaje para la versión A serán todos los mensajes enviados hasta esa fecha, y la versión B comenzará desde cero.
Publicar una versión B tarde, después de que el mensaje esté activo, significa que no obtendrás una división verdadera 50/50 y puede que no puedas elegir un ganador claro.
¿Es posible publicar la prueba A/B, pero enviar el mensaje a un pequeño grupo de users primero antes de elegir un ganador?
¿Es posible publicar la prueba A/B, pero enviar el mensaje a un pequeño grupo de users primero antes de elegir un ganador?
Ambas versiones del mensaje se envían simultáneamente. No enviamos a una parte de la audiencia, esperamos a que un mensaje sea 'ganador' y luego enviamos el resto a esa versión.
Una solución sería etiquetar a una parte de users y usar esa etiqueta en las reglas de audiencia al publicar el mensaje. Después de enviarlo a la audiencia pequeña, puedes quitar la etiqueta de las reglas y hacer que solo la A o la B se envíe al resto de la audiencia.
¿Por qué no veo una división igual 50/50 en la estadística de enviados?
¿Por qué no veo una división igual 50/50 en la estadística de enviados?
Hay algunas cosas que revisar aquí:
1: Verifica si una de las versiones se publicó mucho antes que la segunda (por lo tanto, la mayoría de los envíos serán de la primera versión).
2: Verifica si el mensaje usa datos de la empresa en su contenido; dado que se espera que todos los users de una empresa reciban la misma versión en este caso, la división puede estar sesgada según la cantidad de users en la empresa.
3: Si la audiencia del mensaje es pequeña, la división puede no parecer 50/50. El tamaño de la división depende de la probabilidad. Cuanto mayor sea la audiencia, más probable es que la audiencia de ambas variantes se equilibre.
¿Es posible hacer una prueba A/B donde la mitad de la audiencia reciba el mensaje y la otra mitad no?
¿Es posible hacer una prueba A/B donde la mitad de la audiencia reciba el mensaje y la otra mitad no?
Sí, puedes hacer esto con un grupo de control.