Sarbacane Campaigns : comment réaliser un test A/B sur une campagne emailing ?

Un test A/B permet d'évaluer la performance d'une campagne emailing en envoyant deux versions d'un email envoyées à deux échantillons représentatifs d'une base de destinataires. Après comparaison des statistiques, la version la plus performante des deux est envoyée au reste des contacts. Le test A/B offre la possibilité de comparer différents éléments : l'objet, le champ d'expéditeur ou le contenu total du message.

Comment créer une campagne test A/B ? 

Pour créer une campagne emailing de test A/B, il vous suffit de créer une campagne email dans Sarbacane Campaigns, puis à l’étape d’édition du “Message”, cliquez sur la section “Split AB” en haut à droite de l’éditeur. 

Vous pourrez alors choisir les éléments que vous souhaitez tester : 

• L’expéditeur : vous permet de comparer deux nom et deux adresses d'expéditeur
• L’objet : testez deux objets différents et découvrez lequel est le plus convainquant auprès de votre liste de contacts
• Le contenu : comparer les performances de deux emailings différents en tous points.

Vous avez la possibilité de tester à la fois des champ d'expéditeur, des objets et l'ensemble du contenu de votre message.

Vous pourrez comparer simultanément les deux versions de chaque élément de votre campagne email via un système d’onglet. 

Paramétrer le test A/B

Une fois que vous avez importé votre base de destinataires, vous pouvez passer à l'étape de paramétrage de votre test A/B.

Définition des groupes A et B

Vous pouvez ici choisir la proportion de votre base de destinataires qui sera utilisée comme échantillon représentatif de vos contacts, et donc la taille des deux groupes de contacts qui recevront indépendamment les deux  versions de votre message. Les destinataires qui recevront les tests seront choisis au hasard.

Par souci de représentativité, il est conseillé d'avoir au moins 100 personnes par groupe de test afin d'éviter de biaiser le test.

Pour modifier la proportion de contacts présents dans les échantillons, déplacez le curseur vers la gauche ou vers la droite pour augmenter ou diminuer ce pourcentage.

Critères d’évaluation de la version gagnante

Cochez ici la condition qui déterminera quelle version de votre campagne sera définie comme gagnante à l'issue du test :

• Meilleur taux d'ouverture : le message qui présentera le taux d'ouverture le plus élevé sera considéré comme gagnant du test
• Meilleur taux de clic : le message qui aura obtenu le plus de clics sera considéré comme gagnant

Durée de la période d’évaluation

Si vous avez choisi "Meilleur taux d'ouverture" ou "Meilleur taux de clic", vous devez choisir la durée du test grâce au sélecteur. Il est possible de définir un nombre d'heures ou de jours au compte duquel le test sera automatiquement annulé et les statistiques analysées par Sarbacane afin d'envoyer dans la foulée le message gagnant à toute votre base.

Mode d’envoi de la version gagnante

Vous pouvez choisir entre deux modes d'envoi pour vos campagnes de test A/B :

• Automatiquement : Sarbacane Campaigns se chargera d'envoyer vos deux versions, d'en analyser les résultats et d'envoyer la version gagnante au reste de votre liste.
  
• Manuellement : vous choisissez vous-même le gagnant du test en vous basant sur les statistiques comportementales qui vous seront présentées au fil du temps et choisissez le moment où le test A/B doit s'arrêter

Test et envoi d'un test A/B

Lors d'un Test A/B, vous obtenez deux récapitulatifs de campagne différents. Vous pouvez passer de l'un à l'autre en cliquant sur "Message A" et "Message B" afin d'obtenir des détails sur l'une ou l'autre de ces versions.

De même, vous pouvez également effectuer des envois de tests séparés, afin de vérifier la bonne mise en page de l'un comme de l'autre de vos messages.

En cliquant sur "Finaliser la campagne", vous lancez donc votre Test A/B sur les échantillons de contacts que vous avez défini précédemment.

Si vous avez choisi une décision automatique (meilleur taux d'ouverture ou meilleur taux de clics), vous n'avez plus rien à faire, Sarbacane Campaigns se chargera d'envoyer vos deux versions, d'en analyser les résultats et d'envoyer la campagne finale.

Si vous avez choisi un déclenchement manuel, vous pourrez consulter les performances de vos deux versions à tout moment depuis l'écran d'accueil de Sarbacane Campaigns ou depuis le menu "Campagnes", en cliquant sur l'icône statistiques à côté du nom de votre campagne Test A/B. Vous pourrez alors déclencher l'envoi manuellement quand bon vous semblera.