Sarbacane Sunrise (ancienne version) : Comment réaliser un test A/B ?

Définition du test A/B

 Un test A/B permet d'évaluer la performance d'une campagne emailing en envoyant deux versions d'un email envoyées à deux échantillons représentatifs d'une base de destinataires. Après comparaison des statistiques, la version la plus performante des deux est envoyée au reste des contacts. Le test A/B offre la possibilité de comparer différents éléments : l'objet, le champ d'expéditeur ou le contenu total du message.

Comment créer une campagne test A/B

Pour créer une campagne emailing de test A/B, rendez-vous sur l'écran d'accueil de Sarbacane Sunrise, cliquez sur le bouton "+" et choisissez "Email".

Il vous est alors demandé de choisir le type de campagne emailing que vous souhaitez créer, choisisez donc "Test A/B".

Vous devez ensuite définir les propriétés de votre campagne : définir son nom, ses paramètres de partage et lui attribuer des tags (facultatif).

Importez ensuite votre liste de destinataires et effectuez les ajustements et analyses de votre choix sur votre base de données.

Paramétrer le test A/B

Une fois que vous avez importé votre base de destinataires, vous pouvez passer à l'étape de paramétrage de votre Test A/B. 

C'est ici que vous indiquerez à Sarbacane Sunrise le comportement à avoir vis-à-vis de votre test, et de lui indiquer quels éléments vous souhaitez tester.

Cette étape est ainsi découpée en trois parties :

Que souhaitez-vous tester ?

C'est ici que vous indiquez à Sarbacane Sunrise le ou les élément(s) de votre email sur lesquels vous souhaitez effectuer un Test A/B afin d'en comparer la pertinence.

Cochez simplement l'élément qui vous intéresse. En fonction des éléments que vous choisissez de tester, l'étape de création du message se fera de manière légèrement différente :

• Le champ expéditeur : vous permet de comparer deux nom et deux adresses d'expéditeur
• L'objet : testez deux objets différents et découvrez lequel est le plus convainquant auprès de votre liste de contacts
• L'email (expéditeur + objet + contenu) : comparer les performances de deux emailings différents en tous points. Vous avez la possibilité de tester à la fois des champ d'expéditeur, des objets et l'ensemble du contenu de votre message.
  En choisissant cette option, l'étape de création du message sera divisée en 2 et vous obtiendrez alors une étape 3.1 pour la création de votre premier emailing (message A) et une étape 3.2 pour le second email (message B).

Définition des groupes A et B

Vous pouvez ici choisir la proportion de votre base de destinataires qui sera utilisée comme échantillon représentatif de vos contacts, et donc la taille des deux groupes de contacts qui recevront indépendamment les deux  versions de votre message. Les destinataires qui recevront les tests seront choisis aux hasard.

Par souci de représentativité, il est conseillé d'avoir au moins 100 personnes par groupe de test afin d'éviter de biaiser le test.

Pour modifier la proportion de contacts présents dans les échantillons, déplacez le curseur vers la gauche ou vers la droite pour augmenter ou diminuer ce pourcentage.

Déclenchement de l'envoi du reste de votre liste

C'est ici que pouvez définir les conditions de détermination du message gagnant et les conditions d'envoi de ce dernier au reste de votre base.

Cochez d'abord la condition qui déterminera quelle version de votre campagne sera définie comme gagnante à l'issue du test :

• Meilleur taux d'ouverture : le message qui présentera le taux d'ouverture le plus élevé sera considéré comme gagnant du test
• Meilleur taux de clic : le message qui aura obtenu le plus de clics sera considéré comme gagnant
• Manuellement : vous choisissez vous-même le gagnant du test en vous basant sur les statistiques comportementales qui vous seront présentées au fil du temps et choisissez le moment où le test A/B doit s'arrêter

Si vous avez choisi "Meilleur taux d'ouverture" ou "Meilleur taux de clic", vous devez choisir la durée du test grâce au sélecteur. Il est possible de définir un nombre d'heures ou de jours au compte duquel le test sera automatiquement annulé et les statistiques analysées par Sarbacane afin d'envoyer dans la foulée le message gagnant à toute votre base.

Création du message

Lors d'une campagne Test A/B, les modes de création du ou des message(s) sont les mêmes que pour une campagne standard.

De même, les étapes propres à la création de votre emailing sont également les mêmes, mis à part les éléments propres au test comme présentés ci-dessous dans la partie "Que souhaitez-vous tester ?". Vous retrouverez ces étapes détaillées dans la partie Création d'un emailing.

Test et envoi d'un test A/B

Cette dernière étape diffère légèrement de l'étape "Tester et envoyer sa campagne emailing standard".

Lors d'un Test A/B, vous obtenez deux récapitulatifs de campagne différents. Vous pouvez passer de l'un à l'autre en cliquant sur "Message A" et "Message B" afin d'obtenir des détails sur l'une ou l'autre de ces versions.

De même, vous pouvez également effectuer des envois de tests séparés, afin de vérifier la bonne mise en page de l'un comme de l'autre de vos messages.

En cliquant sur "Finaliser la campagne", vous lancez donc votre Test A/B sur les échantillons de contacts que vous avez défini précedemment.

Si vous avez choisi une décision automatique (meilleur taux d'ouverture ou meilleur taux de clics), vous n'avez plus rien à faire, Sarbacane Sunrise se chargera d'envoyer vos deux versions, d'en analyser les résultats et d'envoyer la campagne finale.

Si vous avez choisi un déclenchement manuel, vous pourrez consulter les performances de vos deux versions à tout moment depuis l'écran d'accueil de Sarbacane Sunrise ou depuis le menu "Campagnes", en cliquant sur l'icône statisitques à côté du nom de votre campagne Test A/B. Vous pourrez alors déclencher l'envoi manuellement quand bon vous semblera.