O Intercom torna super fácil para você fazer testes A/B nas suas mensagens para que possa ajustá-las para serem o mais eficazes possível. Todos os testes A/B devem começar com uma pergunta; ou seja, 'A ou B será melhor para alcançar X?'.
Aqui estão alguns exemplos:
Qual layout de conteúdo resultará em mais respostas?
Qual conteúdo resultará em mais users fazendo upgrade?
Qual layout de conteúdo me ajudará a capturar mais e-mails de visitantes?
Qual linha de assunto fará mais users abrirem meu e-mail?
Um botão gerará mais cliques do que um link de texto?
Há muito mais motivos para você fazer testes A/B. Escrevemos um post no blog sobre isso aqui.
Teste, teste e teste novamente
Você deve estar sempre testando e aprendendo. Por exemplo, se você testar um botão contra um link, e o botão vencer, o próximo teste deve ser a cor do botão. Depois, quando tiver um vencedor, teste o texto do botão. O ponto chave é que quanto mais você testar, mais eficazes suas mensagens se tornarão. Sempre esteja testando.
Como configurar seu teste A/B
Primeiro, vá para Outbound no menu principal e clique em + Nova mensagem no canto superior direito.
Antes de colocar no ar, certifique-se de que você tenha pelo menos:
Dado um nome para sua mensagem
Selecionado seu público.
Selecionado seu canal.
Adicionado o conteúdo da sua mensagem. Esta será a mensagem "A" no seu teste.
Nota: Você pode iniciar um teste A/B com uma mensagem que já está no ar. Não precisa ser quando você cria sua mensagem pela primeira vez.
Agora, inicie seu teste A/B
Depois de configurar sua mensagem A, clique em 'Executar um novo teste' e escolha a opção para teste A/B.
Isso criará um rascunho da sua mensagem B. Inicialmente, é apenas uma duplicata da sua mensagem existente. Agora você pode editar a duplicata com o que quiser testar (por exemplo, linhas de assunto diferentes, texto diferente, cores diferentes do botão ou imagens diferentes, o que quiser). Você pode até fazer com que as duas mensagens apareçam de diferentes membros da equipe!
O que pode ser testado em A/B?
Você pode testar em A/B qualquer coisa que esteja dentro da etapa de criação de conteúdo da mensagem:
Melhores práticas
Recomendamos que você compare apenas uma diferença por vez. Assim, se houver um vencedor claro, você saberá o motivo e não ficará adivinhando qual variante causou a diferença.
Finalmente, coloque no ar
Quando estiver satisfeito com as duas mensagens, coloque-as no ar.
Monitore o progresso
Você pode verificar o desempenho na página da lista de mensagens automáticas ou na página da mensagem. Na página da mensagem, basta alternar entre a versão A e a versão B para ver as estatísticas de cada uma. Com o tempo, você poderá ver qual variante está performando melhor nas métricas que mais importam para você. Por exemplo, se você estiver testando linhas de assunto, provavelmente estará preocupado com as taxas de abertura.
Escolha um vencedor quando tiver um resultado
Quando estiver satisfeito que uma mensagem está superando a outra (por exemplo, quando a % de meta de uma mensagem for maior que a outra), selecione o botão 'Pausar' na mensagem que deseja parar. 100% dos destinatários agora receberão a mensagem vencedora. Isso pausará automaticamente a outra mensagem e as pessoas não a receberão mais (a menos que você decida colocá-la no ar novamente).
Na configuração atual de mensagens A/B outbound do Intercom, o campo URL é compartilhado entre ambas as variantes do teste. Editar a URL em qualquer variante atualizará para ambas, então não é possível usar URLs diferentes para os testes A e B.
Perguntas frequentes
Como isso funciona com mensagens A/B dentro de uma Série?
Como isso funciona com mensagens A/B dentro de uma Série?
Quando um user entra em uma Série e corresponde a uma mensagem que tem um teste A/B, será aleatório qual variante ele receberá. Se múltiplas mensagens dentro de uma Série estiverem sendo testadas em A/B, isso significa que um user pode receber uma mistura de As ou Bs.
Se você quiser testar uma sequência de mensagens dentro da Série, pode usar o recurso de teste dividido se fizer parte da sua assinatura. Se não tiver acesso a esse recurso, uma solução é configurar duas Séries diferentes e dividir o público da Série ao meio.
O que acontece se eu fizer pequenas alterações na versão A ou B depois de colocar no ar? Vamos resetar as estatísticas dessa versão?
O que acontece se eu fizer pequenas alterações na versão A ou B depois de colocar no ar? Vamos resetar as estatísticas dessa versão?
O que acontece se eu fizer pequenas alterações na versão A ou B depois de colocar no ar? Vamos resetar as estatísticas dessa versão?
Fazer alterações em uma versão depois que a mensagem foi colocada no ar pode distorcer seus resultados.
Qualquer alteração em uma variante da mensagem não resetará as estatísticas dessa versão. Se quiser que as estatísticas sejam resetadas, você precisará deletar essa versão e criar uma nova (e esteja ciente de que não terá um registro das estatísticas da versão anterior, então talvez queira exportar seus resultados primeiro).
Se eu colocar uma mensagem no ar e depois criar uma versão B, o que acontecerá com as estatísticas da mensagem?
Se eu colocar uma mensagem no ar e depois criar uma versão B, o que acontecerá com as estatísticas da mensagem?
As estatísticas da mensagem para a versão A serão todas as mensagens enviadas até aquela data, e a versão B começará do zero.
Colocar uma versão B tarde, depois que a mensagem foi colocada no ar, significa que você não terá uma divisão verdadeira de 50/50 e pode não conseguir escolher um vencedor claro.
É possível colocar o teste A/B no ar, mas fazer com que o público seja um pequeno conjunto de users primeiro antes de escolher um vencedor?
É possível colocar o teste A/B no ar, mas fazer com que o público seja um pequeno conjunto de users primeiro antes de escolher um vencedor?
Ambas as versões da mensagem são enviadas simultaneamente. Não enviamos para uma parte do público, esperamos que uma mensagem seja a 'vencedora' e enviamos todas as correspondências restantes para essa versão.
Uma solução seria marcar uma parte dos users e incluir a tag nas regras do público ao colocar a mensagem no ar. Depois que for enviada para o público menor, você pode remover a tag das regras e fazer com que apenas a A ou B vá para o restante do público.
Por que não vejo uma divisão igual de 50/50 nas estatísticas de envio?
Por que não vejo uma divisão igual de 50/50 nas estatísticas de envio?
Há algumas coisas para verificar aqui:
1: Verifique se uma das versões foi colocada no ar muito antes da segunda versão (portanto, a maioria dos envios será da primeira versão).
2: Verifique se a mensagem usa dados da empresa no seu conteúdo - já que todos os users de uma empresa devem receber a mesma versão nesse cenário, a divisão pode ser distorcida dependendo da quantidade de users na empresa.
3: Se o público da mensagem for pequeno, a divisão pode não parecer 50/50. O tamanho da divisão depende da probabilidade. Quanto maior o público da mensagem, mais provável que o público de ambas as variações se equilibre.
É possível fazer um teste A/B onde metade do público recebe a mensagem e a outra metade não recebe?
É possível fazer um teste A/B onde metade do público recebe a mensagem e a outra metade não recebe?
Sim, você pode fazer isso com um grupo de controle.