La méthode ABCDE : comment transformer un A/B test gagnant en +8% de CA

À quelques jours du Black Friday, tout le monde cherche des quick wins. L'A/B test, lui, demande du trafic et de la patience. C'est un peu l'inverse du quick win.

Simon Lefebvre, cofondateur de l'agence Moon Moon (agence Shopify Platinum Partner basée à Nantes), en a pourtant fait une méthode qui a transformé un gain de +3% en +8% de chiffre d'affaires sur une seule page.

Il l'a déroulée dans notre dernier épisode de CRO Thursdays. Voici sa méthode, ses cas concrets et les seuils qu'il ne franchit jamais.

Vous pouvez aussi écouter l'épisode en podcast sur Ausha.

Tester cinq variantes au lieu de deux

Un A/B test classique oppose une version A à une version B. La méthode ABCDE en lance cinq d'un coup sur la même page.

L'intérêt n'est pas seulement de trouver la meilleure. C'est de comprendre pourquoi une version gagne. Et pour ça, une seule règle compte.

« Il ne faut pas faire cinq versions très différentes. Il faut faire des versions avec une différence unique à chaque fois, pour pouvoir les comparer entre elles. »

Simon Lefebvre, Cofondateur de Moon Moon

Si vous changez trois choses entre deux versions, vous verrez laquelle performe, mais jamais ce qui a fait la différence. En ne bougeant qu'un élément à la fois, chaque écart de résultat devient une information exploitable.

Avant de créer les variantes, Moon Moon regarde les heatmaps et les analytics pour repérer les parcours qui rapportent le plus. Les cinq versions testent ensuite des hypothèses issues de cette observation, pas des idées au hasard.

Reconfirmer la gagnante avant de la déployer

C'est ici que la méthode prend tout son sens. Le premier test ABCDE ne donne pas la réponse finale, il donne une piste.

Sur le menu d'une marque de cosmétiques, cinq versions ont été testées. La meilleure sortait à environ +3%. Beaucoup d'équipes s'arrêteraient là.

Moon Moon relance un second test. L'idée : mixer les deux variantes les plus prometteuses (celle avec le questionnaire en sticky et celle avec plus de besoins mis en avant) et les confronter de nouveau à la version d'origine.

« Si on s'était arrêté au premier ABCDE test, on aurait eu un gain théorique à l'année 4 fois inférieur à ce que l'on a réussit à obtenir.  »

Simon Lefebvre, Moon Moon

Le test de confirmation fait passer le gain de +3% à +8%.

À noter : Simon insiste sur la prudence. Les gains se croisent, ils ne s'additionnent pas, et ils dépendent de la saisonnalité. Le +8% est une projection, pas une garantie.

Cibler les pages que tout le monde voit

Un ABCDE test a besoin de volume. Simon le réserve aux pages très vues. En tête de liste, le menu.

« Le menu, c'est le truc le plus vu. Même plus que la page d'accueil. »

Simon Lefebvre, Moon Moon

Que vos visiteurs viennent de l'email, du SEO ou des ads, ils passent tous par là. L'optimiser rapporte donc plus que n'importe quelle autre page.

Au-delà du menu, Simon a déroulé une série de tests rapides. Les résultats montrent que les petits changements pèsent souvent plus lourd que les refontes :

• Les cartes produits. Un bouton « Ajouter » blanc remplacé par un « Découvrir », avec le bouton d'ajout qui bascule au survol. 
• La couleur d'un bouton. Un bouton d'achat passé de gris foncé à noir. 
• Le code promo dans le panier. Un champ promo trop visible pousse les visiteurs sans code à se sentir lésés. Masqué dans un menu déroulant sur mobile, il fait gagner +8% de conversion.
• Les produits sur la page d'accueil. Remontés plus haut, au lieu d'un visuel inspirationnel. 
• Le « Shop the Look ». Un rappel du look complet avec les tailles affichées. +17% de conversion sur le panier.

« En voyant le code promo en gros, il y a sans doute des gens qui se disent : moi, je n'ai pas de code promo. »

Simon Lefebvre, Moon Moon

Un test a tourné dans l'autre sens. Un client voulait des visuels plus grands sur ses pages collection, pour un rendu plus inspirationnel. La conversion a baissé. Plus de hauteur de scroll, moins de produits visibles, une exploration moins pratique.

❌ Plus beau ne veut pas dire plus efficace.

✅ On teste, on ne devine pas.

Lire les bons chiffres avant de trancher

Un chiffre spectaculaire peut cacher un biais. Le +17% du Shop the Look en est l'exemple parfait.

« J'ai 17% de conversion par rapport au trafic que j'ai sur cette page, qui est déjà très engagé. »

Simon Lefebvre, Moon Moon

Ce gain porte sur des visiteurs à deux doigts d'acheter, pas sur l'ensemble du site. Un pourcentage ne veut rien dire sans le trafic sur lequel il s'applique. Simon regarde aussi toujours la part organique, moins influencée par un email ou une pub, donc plus représentative de l'effet UX.

Il applique les mêmes seuils minimaux à chaque test, sans exception :

• 10 000 visiteurs par version ;
• 500 transactions par version ;
• 2 semaines de test.

Les trois, pas un seul. Et même si vous les atteignez plus vite, vous attendez quand même.

« Même si on a atteint ces stats, il faut attendre au minimum deux semaines. »

Simon Lefebvre, Moon Moon

La raison : atteindre les seuils en trois jours signifie un trafic énorme, donc des résultats qui peuvent se retourner vite. Une grosse commande ou un biais sur une campagne email suffit à fausser le delta. Le dernier signal à surveiller, ce sont les croisements de courbes entre versions. Plus elles se croisent, plus il faut laisser tourner.

Ce problème de périmètre se retrouve partout. Chez iAdvize, l'A/B testing de l'Assistant Shopping IA ne porte que sur les visiteurs qui engagent la conversation, jamais sur 100% du trafic. Mesurer sur tout le monde rendrait l'analyse interminable.

Choisir le bon outil selon son trafic

En dessous d'un certain volume, Simon ne fait pas de CRO en agence.

« Ceux qui font moins de 30 000 visites par mois, on reccomande Rollout, l'outil gratuit de Shopify »

Simon Lefebvre, Cofondateur de Moon Moon

Pour ces sites, il recommande Rollout, l'outil d'A/B test gratuit et natif de Shopify, sorti en juin. Il atteint vite ses limites (pas d'ABCDE test, pas de modification de thème en parallèle sans biaiser les stats), mais il permet de se lancer et d'apprendre.

Pour aller plus loin, Moon Moon utilise un outil payant qui injecte du JavaScript à l'endroit voulu, ce qui évite de biaiser le reste du site quand les équipes marketing modifient une page pendant le test.

Par où commencer cette semaine

• Choisissez une page à fort trafic. Le menu d'abord, puis les cartes produits et le panier.
• Construisez vos variantes avec un seul changement entre chacune, pour pouvoir comparer.
• Ne vous arrêtez pas au premier gagnant. Mixez les meilleures hypothèses et relancez un test de confirmation.
• Fixez vos seuils statistiques avant de lancer le test.
• Regardez sur quel trafic porte chaque pourcentage avant de crier victoire.
• Moins de 30 000 visites par mois ? Lancez-vous seul avec Rollout plutôt que d'attendre.

Le replay complet est disponible en vidéo et en podcast. Pour échanger sur la méthode de Moon Moon, vous pouvez contacter Simon Lefebvre directement.