Intercom vous facilite énormément la tâche pour faire des tests A/B de vos messages afin que vous puissiez les affiner pour qu'ils soient aussi efficaces que possible. Tous les tests A/B doivent commencer par une question ; par exemple, 'est-ce que A ou B sera meilleur pour atteindre X ?'.
Voici quelques exemples :
Quelle mise en page de contenu générera plus de réponses ?
Quel contenu incitera plus d'utilisateurs à passer à une offre supérieure ?
Quelle mise en page de contenu m'aidera à capturer plus d'emails de visiteurs ?
Quelle ligne d'objet incitera plus d'utilisateurs à ouvrir mon email ?
Un bouton générera-t-il plus de clics qu'un lien texte ?
Il y a beaucoup d'autres raisons pour lesquelles vous devriez faire des tests A/B. Nous avons écrit un article de blog à ce sujet ici.
Testez, testez, et testez encore
Vous devriez toujours tester et apprendre. Par exemple, si vous testez un bouton contre un lien, et que le bouton gagne, vous devriez ensuite tester la couleur du bouton. Puis, quand vous avez un gagnant, testez le texte du bouton. L'essentiel est que plus vous testez, plus vos messages deviendront efficaces. Testez toujours.
Comment configurer votre test A/B
D'abord, allez dans Outbound depuis le menu principal et cliquez sur + Nouveau message en haut à droite.
Avant de le mettre en ligne, assurez-vous d'avoir au moins :
Donné un nom à votre message
Sélectionné votre audience.
Sélectionné votre canal.
Ajouté le contenu de votre message. Ce message sera le message « A » dans votre test.
Note : Vous pouvez commencer un test A/B avec un message déjà en ligne. Ce n'est pas obligé d'être lors de la création initiale de votre message.
Maintenant, lancez votre test A/B
Une fois que votre message A est configuré, cliquez sur 'Lancer un nouveau test' et choisissez l'option test A/B.
Cela créera un brouillon de votre message B. Initialement, c'est juste un duplicata de votre message existant. Vous pouvez maintenant modifier ce duplicata avec ce que vous souhaitez tester (par exemple, différentes lignes d'objet, différents textes, différentes couleurs de bouton, ou différentes images, ce que vous voulez). Vous pouvez même faire apparaître les deux messages de différents membres de l'équipe !
Que peut-on tester en A/B ?
Vous pouvez tester en A/B tout ce qui se trouve dans l'étape de création de contenu du message :
Meilleure pratique
Nous recommandons de ne comparer qu'une seule différence à la fois. Ainsi, s'il y a un gagnant clair, vous saurez pourquoi, et vous ne resterez pas à deviner quelle variante a causé la différence.
Enfin, mettez-le en ligne
Une fois que vous êtes satisfait des deux messages, mettez-les en ligne.
Surveillez les progrès
Vous pouvez vérifier la performance sur la page de la liste des messages automatiques, ou sur la page du message. Sur la page du message, basculez simplement entre la version A et la version B pour voir les statistiques de chacune. Au fil du temps, vous pourrez voir quelle variante performe mieux selon les métriques qui vous importent le plus. Par exemple, si vous testez des lignes d'objet, vous vous intéresserez probablement aux taux d'ouverture.
Choisissez un gagnant une fois que vous avez un résultat
Une fois que vous êtes sûr qu'un message surpasse l'autre (par exemple quand le % d'objectif d'un message est plus élevé que l'autre), sélectionnez le bouton 'Pause' sur le message que vous souhaitez arrêter. 100 % des destinataires recevront désormais le message gagnant. Cela mettra automatiquement en pause l'autre message et les gens ne le recevront plus (à moins que vous ne décidiez de le remettre en ligne).
Dans la configuration actuelle des messages A/B sortants d'Intercom, le champ URL est partagé entre les deux variantes du test. Modifier l'URL dans l'une ou l'autre variante la mettra à jour pour les deux, il n'est donc pas possible d'utiliser des URL différentes pour les tests A et B.
FAQ
Comment cela fonctionne-t-il avec les messages A/B dans une Série ?
Comment cela fonctionne-t-il avec les messages A/B dans une Série ?
Lorsqu'un utilisateur entre dans une Série et correspond à un message qui a un test A/B, la variante reçue sera aléatoire. Si plusieurs messages dans une Série sont testés en A/B, cela signifie qu'un utilisateur peut recevoir un mélange de A ou de B.
Si vous souhaitez tester en A/B une séquence de messages dans leur Série, vous pouvez utiliser la fonction de test fractionné si elle fait partie de votre abonnement. Si vous n'avez pas accès à cette fonction, une solution consiste à créer deux Séries différentes et à diviser l'audience de la Série en deux.
Que se passe-t-il si je fais de petits changements à la version A ou B après la mise en ligne ? Est-ce que les statistiques de cette version seront réinitialisées ?
Que se passe-t-il si je fais de petits changements à la version A ou B après la mise en ligne ? Est-ce que les statistiques de cette version seront réinitialisées ?
Que se passe-t-il si je fais de petits changements à la version A ou B après la mise en ligne ? Est-ce que les statistiques de cette version seront réinitialisées ?
Faire des changements à une version après que le message soit en ligne peut fausser vos résultats.
Toute modification d'une variante de message ne réinitialisera pas les statistiques de cette version. Si vous souhaitez réinitialiser les statistiques, vous devrez supprimer cette version et en créer une nouvelle (et soyez conscient que vous n'aurez pas de trace des statistiques de la version précédente, donc vous voudrez peut-être exporter vos résultats d'abord).
Si je mets un message en ligne puis crée une version B après, que se passera-t-il avec les statistiques du message ?
Si je mets un message en ligne puis crée une version B après, que se passera-t-il avec les statistiques du message ?
Les statistiques du message pour la version A correspondront à tous les messages envoyés à ce jour, et la version B commencera à zéro.
Mettre en place une version B tardivement après que le message ait été mis en ligne signifie que vous n'aurez pas une vraie répartition 50/50, et que vous ne pourrez peut-être pas choisir un gagnant clair.
Est-il possible de mettre le test A/B en ligne, mais de faire d'abord tester le message à un petit groupe d'utilisateurs avant de choisir un gagnant ?
Est-il possible de mettre le test A/B en ligne, mais de faire d'abord tester le message à un petit groupe d'utilisateurs avant de choisir un gagnant ?
Les deux versions du message sont envoyées simultanément. Nous n'envoyons pas à une partie de l'audience, n'attendons pas qu'un message soit un 'gagnant', puis envoyons toutes les correspondances restantes à cette version.
Une solution consiste à taguer une partie des users et à inclure ce tag dans les règles d'audience lors de la mise en ligne du message. Après l'envoi à ce plus petit groupe, vous pouvez retirer le tag des règles et n'envoyer que la version A ou B au reste de l'audience.
Pourquoi ne vois-je pas une répartition égale 50/50 dans les statistiques d'envoi ?
Pourquoi ne vois-je pas une répartition égale 50/50 dans les statistiques d'envoi ?
Voici quelques points à vérifier :
1 : Vérifiez si l'une des versions a été mise en ligne bien avant l'autre (donc la majorité des envois proviendra de la première version).
2 : Vérifiez si le message utilise des données d'entreprise dans son contenu - puisque tous les users d'une entreprise doivent recevoir la même version dans ce cas, la répartition peut être biaisée selon le nombre de users dans l'entreprise.
3 : Si l'audience du message est assez petite, la répartition peut ne pas apparaître comme 50/50. La taille de la répartition dépend de la probabilité. Plus l'audience du message est grande, plus il est probable que l'audience des deux variantes s'équilibre.
Est-il possible de faire un test A/B où la moitié de l'audience reçoit le message, et l'autre moitié ne reçoit pas de message ?
Est-il possible de faire un test A/B où la moitié de l'audience reçoit le message, et l'autre moitié ne reçoit pas de message ?
Oui, vous pouvez faire cela avec un groupe de contrôle.