Réalisez un A/B Test Email ou Split Testing

Pour améliorer la performance de votre Emailing, l'A/B Test Email est la fonctionnalité qu'il vous faut. 

A/B Test ou Split Test pour l'emailing : principes de base

L'A/B Test Email, aussi nommé Split Testing permet d'envoyer d'abord plusieurs versions d'un emailing sur des échantillons de destinataires en décidant d'un délai d'évaluation pour identifier la version la plus performante qui sera alors envoyée sur l'ensemble des destinataires n'ayant pas reçu les précédentes versions.

Sur Message Business, vous pouvez envoyer d'abord jusqu'à 10 versions et envoyer ensuite automatiquement une version finale en fonction de la version qui, au moment de l'évaluation des résultats des versions, aura été la plus performante en terme de :

  • d'ouverture (mesurant les destinataires ayant ouvert et accepté d’ouvrir les images ou cliqué dans les versions), 
  • de clics (mesurant les destinataires ayant cliqué dans les versions), 
  • de transformation (mesurant les destinataires ayant accédé à une page de votre site à + 2 clics des versions sur laquelle a été installée le code de transformation)

Mener un emailing en Split Test va vous permettre de tester le fond et la forme de vos messages pour en faire progresser les résultats et de mieux comprendre l’intérêt des offres présentées aux destinataires, de la pertinence des créations des messages voire de l’efficacité du dispositif de destination pointé depuis l'emailing.

Pour faire un emailing en Split Test, il faut :

  • Une base de contacts comportant au moins 4000 contacts; en dessous, le Split Test reste réalisable mais ses enseignements risquent de ne pas êtres très marqués, 
  • Au moins 2 et jusqu'à 10 versions de contenus d'emailing en fonction de ce que vous souhaitez tester et du nombre total de destinataires de l'emailing.  

Voici comment procéder :

Ajouter des versions de tests à une opération d'emailing 

Créez une nouvelle opération d'emailing depuis Opération > Emailing > Nouveau

A l'étape 1 de l'opération d'emailing, cliquer sur l'onglet « Ajouter une version » puis cliquez sur l'un des choix affichés pour ajouter une version à l'opération en fabrication – vous pouvez partir d'une page vierge ou bien d'une précédente version. Vous pouvez ajouter jusqu'à 10 versions par emailing :

split-versions-add

Editer les contenus de chaque version accessible via les onglets des versions ajoutées :

  • Le Nom d'expéditeur : Ce champ permet au destinataire de vous identifier en tant qu'émetteur. Il est convient donc d'y indiquer le nom de la société ou d'une personne de la société,
  • L'Adresse d'envoi : vous avez plusieurs possibilités pour gérer l'adresse d'envoi à utiliser dans votre emailing, 
  • L'Email de réponse : Il s'agit de l'adresse email sur laquelle les réponses de vos destinataires seront envoyées lorsqu'ils utiliseront la fonction Répondre de leur messagerie,
  • L'Objet : C'est le titre de votre emailing qui sera affiché dans le listing de la boîte de réception du destinataire. Celui-ci est limité à 255 caractères,
  • Le contenu du corps du message en utilisant L'Editeur Message Business

Définir les destinataires des versions et le taux de performance pour sélectionner la version finale

A l'étape « Destinataires » de l'opération, sélectionner d'abord les destinataires qui devront recevoir l'opération d'Emailing après que celle-ci ait été validée et parmi lesquels seront échantillonnés les destinataires des tests.
Vous pouvez sélectionner vos destinataires en combinant un ou plusieurs des 4 modes de sélection suivants :

  1. Par segment(s) : Vous sélectionnez vos destinataires en fonction des segments que vous aurez mis en place. N'hésitez pas à consulter notre article sur la gestion de la Base Contacts pour créer vos segments personnalisés.
  2. Par import(s) : Grâce à cet onglet, vous pouvez sélectionner vos destinataires en fonction des fichiers CSV que vous avez importés. De cette manière, seuls les contacts référencés dans le fichier sont destinataires de l'opération.
  3. Par contact(s) : Cet onglet vous permet de sélectionner des contacts de manière individuelle. Un champ de recherche est disponible afin de vous permettre de retrouver plus facilement chaque contact.
  4. Par condition(s) : A partir de cet onglet, vous indiquez des critères de sélection sans devoir passer par la mise en place d'un segment.

Dans la deuxième partie « Répartition des destinataires sélectionnés sur chaque version« :

  • Sélectionner le taux de performance sur lequel la sélection de la version finale sera effectuée au moment de l'évaluation des performances de chaque version :

Split-criterias

  • Renseignez le pourcentage de destinataires destinés à recevoir la version finale, le pourcentage restant se répartis automatiquement entre les différentes versions à tester : 

Puis, cliquer sur le bouton « Lancer un comptage » pour afficher les volumes répartis entre les différentes versions. Lancer un nouveau comptage à chaque modification de la sélection des destinataires :

A noter que dans l'hypothèse d'une égalité de performance entre des versions, c'est la première version des versions en égalité qui sera sélectionnée comme version finale. 

 

Planifier l'envoi des versions, du délai d'évaluation de la performance et de l'envoi de la version finale

A l'étape « Planification » de l'opération :

  • Sélectionner une date d'envoi pour les versions :

split-versions-planning

  • Sélectionner une période ou une date d'envoi de l'opération finale – la sélection de la version la plus performante sera effectuée au moment du délai indiqué :

split-final-planning

En cas de sélection d'une période après la fin de l'envoi des versions, la version la plus performante sera sélectionnée après que toutes les versions soient effectivement envoyées – ce qui peut varier en fonction du nombre de version et du volume de destinataires de chaque version à envoyer

En cas de sélection à un jour et une heure spécifique; la date sélectionnée ne pourra être postérieure à la date de validation de l'opération – veillez prévoir de laisser suffisamment de délai entre la date sélectionnée pour l'envoi finale et la date à laquelle vous validerez l'opération.  

 

Tester l'affichage du contenu des versions de l'opération

A l'étape « Test » de l'opération, vous pouvez recevoir autant de tests que souhaité. A chaque envoi de test, l'objet de chacune des versions est préfixé par le numéro de la version sur le total des versions disponibles au moment de l'envoi du test (par ex: si il y a 3 versions, vous recevrez le contenu de la version 1 avec l'objet préfixé (1/3), le contenu de la version 2 avec l'objet préfixé (2/3), le contenu de la version 3 avec l'objet préfixé (3/3).

 

Valider l'envoi de l'opération

Sur la page sommaire d'une opération en split test, vous retrouverez le détail de chaque version éditée dans les onglets correspondants :

Après avoir cliquer sur le bouton « Valider l'opération », celle-ci sera alors passée dans le dossier Vos opérations > En cours dans l'attente de son traitement pour envoi et ne pourra plus être modifiée. Si nécessaire, vous pourrez toutefois « Suspendre l'opération » avant la date de son envoi (si celui-ci a été programmé avec une date) :

split-validate 

 

Consulter les résultats des versions et de la version finale dans le rapport de l'opération

Accéder au rapport de l'opération d'emailing via Rapports > Emailings puis cliquez sur la ligne de l'opération à consulter. Pour rappel, les rapports d'opération d'emailings sont générés à intervals réguliers à partir de l'envoi de l'opération :

split-report-global

Une fois l’évaluation de la performance des versions effectuée, la version sélectionnée automatiquement ainsi que le critère de performance et date de la sélection paramétrés pour le Split Test sont affichés dans les informations d'entête du rapport de l'opération :

split-report   

Vous retrouverez le détail des résultats de chaque version dans l'onglet « Par version« .
La version finale sélectionnée est affichée en gras dans la liste;  chaque ligne correspondant reprend le N° de version et son objet; la miniature de l'opération est affichée lors du survol de ces informations par la souris de votre terminal :

split-report-tab-details

Vous retrouverez également le détail des résultats de chaque version dans l'onglet « Carte de clics » dans lequel sélectionner le type et l'affichage par terminaux des résultats :

split-heatmap 

Nos conseils avant de vous lancer votre opération en split testing 

  • Finaliser, relire, corriger, valider d'abord l'édition de la version N°1 avant d'ajouter des déclinaisons de versions à l'opération, 
  • Organiser vos opérations en split testing  pour les suivre sur la durée en comparant les résultats sur plusieurs opérations,
  • Dans Plus > Paramètres > Emailing, sélectionnez l'option Exclure des statistiques tous les clics sur les liens de désabonnement pour n'afficher que les performances de clics et autres liens dans les opérations :

split-exclude-unsub

  • TESTER, TESTER, TESTER… C'est version la plus performante au moment de l'évaluation des versions qui sera automatiquement envoyée.

Si vous souhaitez avoir des idées de tests à réaliser, vous pouvez également consulter cet article.