Beaucoup promettent de confier le CRO à l'IA. Peu montrent ce qui tourne vraiment chez eux. Welyft a mis une flotte d'agents autour de son cycle d'optimisation, et en a tiré une règle simple. L'agent exécute, l'humain décide.
Amaury Ortolland est co-founder de Welyft, une agence CRO et agentique qui pilote les programmes d'optimisation de plus de 100 clients, dont Sephora, Salomon et Aroma-Zone.
Dans cette masterclass de 30 minutes il partage les agents que son équipe déploie au quotidien.
Welyft a donné un nom et une spécialité à chacun. Voici Mei, Amir, Iris et Victor, un agent par grande étape du cycle, et la frontière que Welyft refuse de leur faire passer.
Vous pouvez aussi écouter l'épisode en podcast sur Ausha.
Le premier réflexe, quand on teste l'IA sur un process, c'est de demander à un seul agent de tout faire. Welyft a essayé, puis a changé d'approche.
Un agent unique reçoit trop d'instructions, perd en qualité et coûte plus cher à faire tourner. Welyft a préféré une flotte de petits agents, chacun avec son nom et sa spécialité, pour trois raisons.
« C'est beaucoup plus simple de le diviser en sous-agents hyper spécialistes, à la fois en termes d'efficacité, de debug et de coûts, parce que ça coûte aussi de l'argent d'utiliser un agent. »
Amaury Ortolland, co-founder de Welyft
Autour de ces agents, Welyft a construit ce qu'Amaury appelle un harnais, les skills et les frameworks qui encadrent chaque tâche, pour obtenir une réponse standardisée plutôt qu'un résultat différent à chaque appel.
Le premier agent du cycle est aussi le plus délicat, parce qu'on attend rarement d'une IA qu'elle ait de bonnes idées neuves. Welyft ne demande pas ça à Mei.
Mei n'invente pas des opportunités ad hoc. Entraîné sur les best practices UX, il sert surtout à détecter les freins dans une expérience existante et à analyser la roadmap.
C'est d'ailleurs l'usage qu'en fait iAdvize sur l'idéation et l'optimisation de l'incrément généré par son Assistant Shopping IA, un agent nourri de l'usage réel pour repérer les points de friction.
Le deuxième agent intervient sur l'idée. Beaucoup d'équipes lancent trop de tests, et pas toujours les bons.
Amir transforme une opportunité en hypothèse testable. Il vérifie que le test n'a pas déjà été lancé, que les données sont suffisantes, et avec quoi les croiser si elles ne le sont pas.
« L'agent de cadrage fait en sorte que seules les thèses vraiment pertinentes, celles qui ont des hypothèses fortes, soient lancées en production. »
Amaury Ortolland, Welyft
Welyft en attend moins de tests au total, mais mieux posés. C'est peut-être ce qui créera un palier dans la vélocité, une fois l'effet de nouveauté passé.
Le troisième agent répond à une vieille contrainte du CRO. Lancer des user tests prend du temps, entre le recrutement du panel, l'attente des retours et l'analyse.
Iris s'appuie sur des synthetic users, des agents qui reproduisent le comportement des clients d'une marque. Welyft part de quatre profils psychologiques, puis les adapte aux personas du client.
Pour les rendre réalistes, Welyft les nourrit de verbatims issus des NPS et des avis clients. Un designer qui a une question sur sa maquette la soumet à ce jury, et récupère des retours immédiats.
Welyft a comparé ses synthetic users à de vrais user tests.
« On a fait une étude comparative entre des vrais user tests et les synthetic users, et on s'est rendu compte qu'il y avait plus de 50 % de similitudes dans les insights remontés. »
Amaury Ortolland, Welyft
Le chiffre compte moins que son revers. Aucun des retours synthétiques ne contredisait les vrais utilisateurs.
« Il n'y a pas eu d'inexactitude, c'est-à-dire un synthetic user qui dit l'inverse d'un vrai utilisateur. Ça, ça aurait été problématique. »
Amaury Ortolland, Welyft
À noter, Welyft réserve les synthetic users aux étapes peu risquées. Sur une décision lourde, les vrais user tests restent la règle.
Le quatrième agent intervient en fin de test. Analyser un A/B test veut dire récupérer la donnée, vérifier la confiance statistique, faire les segmentations, puis monter des slides et un ticket Jira. Un consultant y passe un temps fou.
Victor récupère la donnée du test, fait les croisements et produit le rapport sous forme de slides. Amaury parle d'un gain de temps réel chez les clients où Welyft l'a déployé.
Mais c'est l'agent le plus encadré des quatre, pour deux raisons. La première, il manque souvent de contexte, et il faut le connecter au maximum à l'environnement du client (tests précédents, Jira, campagnes en cours). La seconde tient à un biais qu'Amaury appelle le bon stagiaire.
« L'agent va vouloir trouver des insights pour trouver des insights. Il va recouper des informations qui n'ont pas de lien, un peu tirées par les cheveux, pour vous raconter une histoire. Alors qu'il n'y a peut-être pas d'histoire à raconter, le test est juste flat. »
Amaury Ortolland, Welyft
La parade de Welyft, c'est de laisser la case analyse vide dans un premier temps. Le consultant lit les résultats et se fait son propre avis, puis demande à Victor de compléter. Le mix des deux donne la meilleure qualité de conclusion.
Mei, Amir, Iris et Victor partagent une limite assumée. Ils exécutent, ils ne décident pas. C'est la frontière que Welyft tient depuis le début.
« La décision et la vision ne viendront jamais de l'agent lui-même. Il va donner des indications, une direction, mais c'est vraiment à l'humain de vérifier. »
Amaury Ortolland, Welyft
Cette frontière a une raison très concrète, la responsabilité.
« L'IA ne répondra jamais face à votre manager ou face à l'équipe e-commerce qui voit que vous avez cassé le site. C'est à vous d'assumer ces conséquences. »
Amaury Ortolland, Welyft
Deux garde-fous s'ajoutent. D'abord des règles du jeu, pour éviter le site Frankenstein. Quand chaque équipe peut lancer son A/B test, les tests se chevauchent et l'expérience perd sa cohérence. Welyft pose qui peut tester quoi, sur quel périmètre, avec une roadmap centralisée.
Ensuite, la vélocité ne remplace pas le jugement. L'IA a surtout débloqué la vitesse de développement.
« En six mois, on a fait ce qu'on avait fait en un an l'année précédente. On a vraiment des multiples de fois deux en termes de vélocité. »
Amaury Ortolland, Welyft
Pour la suite, Amaury voit l'expert CRO rester aux commandes, mais plus haut dans la chaîne.
« Il y aura toujours des experts CRO, en tant qu'architectes de la stratégie, pour donner la vision et la direction. L'IA a tendance à tout moyenniser, et ce qui différencie une expérience, c'est justement ce que l'humain garde. »
Amaury Ortolland, co-founder de Welyft
Pour tester cette approche sans tout internaliser d'un coup.
Pour prolonger, le replay complet de la masterclass est en haut de cet article, en vidéo et en podcast. Pour échanger sur votre programme CRO, les équipes iAdvize sont à votre disposition.