Comment ça marche
Le trafic est réparti au hasard en deux groupes. Le groupe A voit la version actuelle : c'est le groupe témoin. Le groupe B voit la nouvelle version. Comme la répartition est aléatoire, la seule différence entre les deux groupes est le changement testé.
Pour qu'un test soit fiable :
- La métrique est choisie avant le lancement : taux de conversion, revenu par visiteur, panier moyen.
- Le test dure assez longtemps pour couvrir des semaines complètes, parce qu'on n'achète pas de la même façon un mardi et un dimanche.
- L'écart observé est statistiquement significatif, et pas le fruit du hasard.
- On ne change qu'une chose à la fois.
Pour un Assistant Shopping IA, le groupe B a accès à l'assistant, le groupe A non. L'écart de revenus entre les deux groupes correspond aux revenus incrémentaux. L'assistant ne tourne que sur les sessions qui ont accepté les cookies, soit environ 65 % en moyenne sous RGPD : le test et le gain mesuré portent sur cette part du trafic.
Pourquoi c'est important en e-commerce
Les comparaisons « avant / après » sont trompeuses en e-commerce : soldes, campagnes, météo et saisonnalité font bouger les ventes d'une semaine à l'autre. Le test A/B neutralise ces effets, puisque les deux groupes vivent la même période. C'est ce qui permet de dire qu'un gain vient bien du changement testé, et de chiffrer un retour sur investissement solide.
Pour aller plus loin : 5 A/B tests concrets qui ont fait gagner de +5% à +17% de conversion
Exemple concret : Samsonite
Samsonite a mesuré son Assistant Shopping IA par un test A/B. Résultat : un ROI incrémental de x2,2. Les revenus supplémentaires apportés par l'assistant représentent 2,2 fois son coût total.
Confusion fréquente
Comparer les visiteurs qui ont utilisé l'assistant à ceux qui ne l'ont pas utilisé ne constitue pas un test A/B. Les deux groupes ne sont pas tirés au hasard : ceux qui posent une question sont souvent plus avancés dans leur achat. Cette comparaison donne le taux de conversion des visiteurs assistés, utile pour piloter, mais elle ne mesure pas l'incrémental.