Un A/B test sur Shopify ne vaut que par son protocole : une seule différence entre les versions, le même trafic au même moment, une taille d'échantillon fixée avant de commencer, et une décision prise sur les commandes. Shopify propose désormais un outil natif, Rollouts, pour tester des thèmes, le checkout et des remises. Avec peu de trafic, testez de grosses différences, une à la fois, plutôt que la couleur d'un bouton.
Avant Damdamlab, j’ai été Team Lead Growth & CRO : tunnels de conversion, tests, tableaux de bord. Aujourd’hui, je construis des landing pages Shopify et l’outil qui les suit, et cet outil traite chaque landing page comme une expérience, avec une hypothèse, un protocole, une mesure et un résultat. Ce qui suit, c’est la méthode que j’applique pour qu’un test dise quelque chose de vrai. Je n’ai pas de chiffre client à vous montrer (ils appartiennent à mes clients), mais vous aurez de quoi monter un test propre vous-même.
Un A/B test, c’est quoi, et quand ça vaut le coup
Un A/B test compare deux versions d’une page (A, l’actuelle, et B, la modifiée) en montrant chacune à une partie des visiteurs, au même moment, tirés au hasard. Si B vend plus que A sur assez de visiteurs, on peut attribuer l’écart au changement plutôt qu’au hasard ou à la semaine.
C’est tout l’intérêt par rapport au « avant / après ». Changer une page lundi et comparer avec la semaine précédente, c’est comparer deux semaines : une newsletter, un jour férié, une pub qui s’essouffle, et l’écart ne veut plus rien dire.
Un A/B test vaut le coup quand trois conditions sont réunies :
- assez de trafic sur la page testée (on verra plus bas comment l’estimer) ;
- une question précise : « la promesse “prêt en 5 minutes” vend-elle mieux que “sans sucre ajouté” ? », pas « est-ce que la nouvelle page est mieux ? » ;
- un enjeu qui justifie l’attente : une page qui reçoit l’essentiel de votre budget pub, une page produit phare, le panier.
Si l’une manque, il existe d’autres façons d’apprendre, détaillées en fin d’article. Et avant de tester quoi que ce soit, corrigez ce qui est cassé : un bouton invisible sur mobile ou une page lente ne se testent pas, ils se réparent. C’est le rôle d’un audit de conversion Shopify en 10 points.
Les méthodes pour A/B tester sur Shopify
Rollouts, l’outil natif de Shopify
Shopify propose un outil intégré : Rollouts, dans Markets > Rollouts de l’administration1. Il gère trois types de déploiements2 :
- Launch : un changement appliqué définitivement, d’un coup ou progressivement ;
- Event : un changement appliqué pour une période donnée, puis annulé automatiquement (une opération saisonnière, par exemple) ;
- Experiment : l’A/B test proprement dit, qui compare une version de contrôle et une version modifiée.
Une expérience peut porter sur votre thème (le modifier ou le remplacer par un autre), sur la configuration du checkout et des comptes clients, sur des catalogues (donc des prix et une disponibilité) ou sur des remises2. Par défaut, le trafic est partagé à 50 / 50 et l’expérience s’arrête au bout de 90 jours ; les deux réglages se modifient avant d’enregistrer2.
Ce qu’il faut savoir avant de s’y lancer (documentation relevée en novembre 2026) :
- les Rollouts sont disponibles dès le forfait Basic, mais les expériences demandent le forfait Grow ou supérieur3 (le détail des forfaits est dans mon article sur les tarifs Shopify) ;
- on ne peut pas modifier les modèles Liquid dans un rollout, ni l’appliquer à un thème ancien (« vintage »)3 ;
- les vitrines headless ne sont pas couvertes pour les changements de thème et de checkout, et les résultats ne mesurent que la boutique en ligne, le panier et le checkout3 ;
- pour une expérience sur le thème, les résultats affichent le taux de conversion dans le temps, le taux de rebond, le taux d’arrivée au checkout et le taux d’ajout au panier4. La page d’aide sur les résultats ne parle ni de seuil de signification ni de durée recommandée4 : le calcul de taille d’échantillon reste à faire vous-même.
C’est la méthode la plus propre pour tester un thème ou une mise en page sur l’ensemble de la boutique, parce que le partage du trafic est fait par Shopify, au même moment, sur les mêmes visiteurs.
Les applications de test A/B
Le Shopify App Store compte plusieurs applications de test. Elles fonctionnent en général de l’une de ces façons :
- par script : la page se charge, puis un script remplace un titre, une image ou un bloc pour une partie des visiteurs ;
- par modèle ou par thème : chaque visiteur reçoit une version différente d’un modèle de page ou du thème entier ;
- par redirection : une partie des visiteurs est envoyée vers une autre adresse ;
- par prix : certaines testent un prix ou une offre, en modifiant ce qui s’affiche et ce qui est facturé.
Avant d’en installer une, posez trois questions. La page clignote-t-elle ? Une version A visible une fraction de seconde avant d’être remplacée par B fausse le test et dégrade l’expérience. La page ralentit-elle ? Un script de plus sur chaque page a un coût sur mobile. Sur quoi décide-t-elle ? Préférez une application qui compte les commandes Shopify, pas seulement les clics. Et retirez-la proprement une fois les tests finis : une application désinstallée laisse parfois du code dans le thème.
Une landing page par version, et le trafic pub réparti
Cette méthode colle à la façon dont les marques achètent leur trafic. On construit deux landing pages distinctes, chacune avec sa propre adresse, et on envoie vers chacune une publicité identique (même visuel, même texte, même audience), seule l’adresse de destination change.
Chez Näak, chaque landing page d’acquisition est suivie avec la dépense Meta qui l’alimente, sur plusieurs boutiques et plusieurs pays, et les versions se comparent sur des commandes réelles. Dans mon outil de suivi, chaque page porte un statut : gardée quand elle a fait ses preuves, en cours tant qu’elle est en test.
L’avantage : on teste ce qui compte vraiment pour une marque qui fait de la pub, à savoir une page entière, une offre, une promesse, et on mesure le coût par commande, pas seulement le taux de conversion. La limite : le partage du trafic n’est pas parfaitement aléatoire. Les régies publicitaires optimisent leur diffusion et peuvent dépenser plus sur l’une des deux publicités, ou les montrer à des personnes un peu différentes. Il faut donc vérifier la dépense et les visites de chaque côté, et rapprocher les budgets si l’écart se creuse.
Pour construire ces pages, j’ai détaillé les options dans créer une landing page Shopify qui convertit.
Le test de thème complet
Tester un nouveau thème contre l’ancien, c’est tester des dizaines de changements à la fois : vous saurez lequel des deux vend le mieux, pas pourquoi. C’est utile pour sécuriser une refonte (vérifier que le nouveau thème ne fait pas baisser les ventes avant de le publier pour tous), et Rollouts sait le faire en remplaçant le thème principal pour une partie des visiteurs2. Pour apprendre ce qui marche, mieux vaut des tests plus étroits.
Quelle méthode pour quel besoin
| Ce que vous voulez tester | Méthode adaptée | Point de vigilance |
|---|---|---|
| Une refonte ou un nouveau thème | Rollouts, expérience sur le thème | Forfait Grow ou supérieur, pas de modèles Liquid modifiés |
| Un bloc, un titre, une image sur une page existante | Application de test, ou Rollouts si le changement se fait dans l’éditeur de thème | Clignotement, vitesse |
| Une offre ou une promesse pour le trafic payant | Deux landing pages, deux publicités identiques | Dépense et audiences équilibrées |
| Une remise ou un prix | Rollouts (remises, catalogues) ou application spécialisée | Cohérence avec les flux produits et les autres canaux |
| Le checkout | Rollouts, configuration du checkout | Pas de vitrine headless |
La taille d’échantillon : combien de visiteurs avant de conclure
C’est la question qui décide si votre test a un sens. Le principe : plus l’écart que vous cherchez est petit, plus il faut de visiteurs pour le distinguer du hasard.
Une règle simple, très répandue, donne un ordre de grandeur5 :
visiteurs nécessaires par version ≈ 16 × p × (1 − p) ÷ δ²
où p est votre taux de conversion actuel et δ l’écart absolu que vous voulez pouvoir détecter. Elle correspond aux réglages les plus courants : 5 % de risque de déclarer gagnante une version qui ne l’est pas, et 80 % de chances de repérer un vrai écart de cette taille6.
Deux exemples, avec une page qui convertit à 2 % :
| Écart à détecter | Calcul | Visiteurs par version | Au total |
|---|---|---|---|
| De 2 % à 2,4 % (+20 % relatif) | 16 × 0,02 × 0,98 ÷ 0,004² | environ 19 600 | environ 39 200 |
| De 2 % à 3 % (+50 % relatif) | 16 × 0,02 × 0,98 ÷ 0,01² | environ 3 100 | environ 6 300 |
La leçon tient en une phrase : avec peu de trafic, on ne peut détecter que de gros écarts. Si votre page reçoit quelques centaines de visites par jour, un test sur la couleur d’un bouton ne conclura jamais dans un délai raisonnable. Un test sur une offre ou une promesse, qui peut changer beaucoup, a une chance.
Pour un calcul plus fin, utilisez un calculateur de taille d’échantillon en ligne avec ces mêmes paramètres. L’important est de fixer ce nombre avant de lancer le test, et de s’y tenir.
Ce qui fausse un A/B test, et comment l’éviter
Arrêter trop tôt
C’est l’erreur la plus fréquente et la plus coûteuse. On regarde les résultats tous les jours, B passe devant, on arrête et on déclare B gagnante. Le problème : les calculs de signification supposent que la taille d’échantillon a été fixée à l’avance. Regarder en continu et s’arrêter au premier écart favorable multiplie les faux gagnants ; dans l’exemple d’Evan Miller, un changement sans aucun effet est déclaré gagnant environ une fois sur quatre au lieu d’une fois sur vingt5.
La parade : fixer la taille d’échantillon et la durée au départ, et ne décider qu’à la fin. Regarder en cours de route sert seulement à vérifier que rien n’est cassé.
Changer plusieurs choses à la fois
Si B a un nouveau titre, une nouvelle photo et un nouveau prix, et qu’elle gagne, vous ne savez pas lequel a joué. Une seule grande différence par test. Ça n’interdit pas une version B très différente (une page entière repensée autour d’une autre promesse), à condition de savoir que vous testez « la promesse », et pas chaque détail.
Oublier les jours et la saison
Les acheteurs du lundi ne sont pas ceux du samedi. Un test doit couvrir des semaines entières, au moins une ou deux, même si la taille d’échantillon est atteinte avant. Évitez aussi de tester pendant un pic qui ne ressemble pas au reste de l’année (soldes, fêtes, une grosse campagne email) : ce qui gagne pendant le Black Friday ne gagne pas forcément en mars.
Une pub qui ne raconte pas la même chose que la page
Si la publicité promet « -30 % » et que la version B n’en parle pas, B perdra, mais pas parce qu’elle est moins bonne : parce qu’elle trahit la promesse qui a fait cliquer. Testez des pages cohérentes avec la publicité qui y mène, ou testez le couple publicité + page ensemble, en le sachant.
Mal rattacher les commandes
Un client voit la version B, part, revient trois jours plus tard par un email et commande. La commande est-elle à B ? Il faut une règle écrite, la même pour les deux versions, et vérifiable sur de vraies commandes. Et il faut décider sur les commandes Shopify, pas sur les ventes que s’attribuent Meta ou Google, qui comptent chacun à leur façon. J’ai détaillé ce rattachement, étape par étape, dans savoir quelle landing page convertit vraiment.
Avec Rollouts, un point de plus : une remise testée dans une expérience peut circuler en dehors du groupe testé, puisque les visiteurs peuvent partager le code4.
Décider sur le mauvais chiffre
Le taux de clic, le temps passé ou le taux de rebond disent si une page intéresse, pas si elle vend. Décidez sur les commandes, puis regardez le panier moyen et, si vous en avez le recul, le réachat. Une page qui attire des acheteurs d’une seule fois peut valoir moins qu’une page qui convertit un peu moins mais amène des clients qui reviennent.
La checklist avant de lancer un test
- L’hypothèse est écrite : « si je change X, alors Y augmentera, parce que Z ».
- Une seule grande différence entre A et B.
- Le chiffre de décision est choisi : commandes, taux de conversion ou coût par commande.
- La taille d’échantillon est calculée et la durée fixée, en semaines entières.
- Le partage du trafic est vérifié des deux côtés (visites, et dépense pub si le test passe par des publicités).
- La période ne tombe pas sur un pic exceptionnel.
- La règle de rattachement des commandes est écrite.
- Les deux versions ont été testées sur mobile, jusqu’à une commande de test.
- Une date de décision est posée, et personne n’arrête le test avant.
Et après : on note le résultat, même (surtout) quand il ne donne rien. Un test sans écart net apprend aussi quelque chose : ce changement-là ne vaut pas la peine.
Peu de trafic : les alternatives au A/B test
Beaucoup de boutiques n’ont pas le trafic pour tester des détails. Ce n’est pas une raison pour décider au feeling.
Des tests successifs, sur de grosses différences. Au lieu de partager le trafic, on change une chose importante, on mesure sur une période fixée, et on compare à la période précédente de même durée, en sachant que la comparaison est moins sûre qu’un vrai A/B test. Pour limiter les biais : mêmes jours de la semaine, même budget pub, pas d’opération exceptionnelle pendant l’une des deux périodes.
Une landing page par offre. Plutôt que de tester deux versions de la même page, on crée une page par offre ou par public, chacune alimentée par sa propre publicité. On ne cherche pas la « meilleure version », on garde les pages qui ramènent des commandes à un coût acceptable et on arrête les autres. C’est exactement ce que fait le statut « gardée / en cours » de mon outil de suivi.
Comparer les pages qui existent déjà. Vos rapports par page d’arrivée disent déjà quelles pages amènent des commandes et lesquelles en perdent. Les rapports de Shopify Analytics à regarder chaque semaine sont une bonne base gratuite pour commencer.
Regarder les gens utiliser la page. Enregistrements de sessions, cartes de clics, et surtout quelques clients au téléphone : sans valeur statistique, mais souvent la meilleure source d’hypothèses à tester ensuite.
Ce que je ferais à votre place, selon les cas
- Votre boutique a peu de trafic : pas d’A/B test sur des détails. Corrigez d’abord ce que l’audit révèle, puis testez de grosses différences, une landing page par offre, en comparant le coût par commande.
- Vous préparez une refonte : sur le forfait Grow ou supérieur, une expérience Rollouts sur le thème pour vérifier que la nouvelle version ne fait pas baisser les ventes avant de la publier pour tous.
- Vous achetez l’essentiel de votre trafic en publicité : deux landing pages, deux publicités identiques, budget équilibré, et une décision sur les commandes Shopify rattachées à chaque page.
- Vous voulez tester une remise ou un prix : Rollouts sait le faire, mais vérifiez la cohérence avec vos autres canaux (flux Google, applications) et le partage possible des codes.
- Vous avez du trafic et une équipe : un programme de tests réguliers, avec une hypothèse écrite, une taille d’échantillon fixée et un registre des résultats. C’est la mémoire de ce qui marche pour votre marque.
Dans tous les cas, le test n’est fiable que si le suivi l’est. Si vos chiffres Shopify, Meta et Google ne concordent pas, commencez par là : c’est ce que je remets au propre avec le tracking Shopify, avant de comparer quoi que ce soit.
Sources
-
Centre d’aide Shopify, Rollouts ; journal des nouveautés Shopify, planifier, publier et tester en A/B des thèmes et des configurations de checkout (5 juin 2026). Relevé en novembre 2026. ↩
-
Centre d’aide Shopify, types de rollouts et de changements. Relevé en novembre 2026. ↩ ↩2 ↩3 ↩4
-
Centre d’aide Shopify, conditions et points d’attention pour utiliser les rollouts. Relevé en novembre 2026. ↩ ↩2 ↩3
-
Centre d’aide Shopify, analyses des rollouts. Relevé en novembre 2026. ↩ ↩2 ↩3
-
Evan Miller, « How Not To Run an A/B Test » : effet de l’arrêt anticipé et règle n = 16 σ² / δ², avec σ² = p × (1 − p) pour un taux de conversion. Consulté en novembre 2026. ↩ ↩2
-
Jing Zhou, Jiannan Lu et Anas Shallah, « All about sample-size calculations for A/B testing: Novel extensions and practical guide », 2023 : la règle de 16 correspond à un seuil de 5 % et une puissance de 80 %. Consulté en novembre 2026. ↩
Études de cas
Ce que j’ai construit sur ce sujet
Questions fréquentes
Shopify permet-il de faire des A/B tests sans application ?
Oui, avec Rollouts, dans Markets > Rollouts de l'administration. Le type « Experiment » compare une version de contrôle et une version modifiée de votre thème, de votre checkout, de vos catalogues ou de vos remises. Les expériences demandent le forfait Grow ou supérieur (relevé en novembre 2026), et elles ne testent ni les modèles Liquid ni les thèmes anciens (« vintage »).
Combien de visiteurs faut-il pour un A/B test fiable ?
Cela dépend de votre taux de conversion et de l'écart que vous voulez détecter. Une règle simple donne un ordre de grandeur : 16 × p × (1 − p) ÷ δ² visiteurs par version, où p est votre taux de conversion et δ l'écart cherché. À 2 % de conversion, détecter un passage à 2,4 % demande près de 20 000 visiteurs par version ; un passage à 3 %, environ 3 000.
Combien de temps doit durer un A/B test ?
Le temps d'atteindre la taille d'échantillon fixée au départ, et au moins une ou deux semaines entières pour couvrir les jours de semaine et le week-end. Ne l'arrêtez pas dès qu'une version semble gagner : regarder les résultats en cours et s'arrêter au premier écart favorable multiplie les faux gagnants.
Mon trafic est trop faible pour un A/B test : que faire ?
Testez de grosses différences (une autre offre, une autre promesse, une autre page) plutôt que des détails, et acceptez une décision moins certaine. Vous pouvez aussi créer une landing page par offre, envoyer chacune par sa propre publicité et comparer le coût par commande sur la même période. Gardez une trace écrite de chaque essai pour ne pas refaire deux fois le même.
Maxence Damarey · fondateur de Damdamlab, agence Shopify. Six ans fondateur d'une marque D2C sur Shopify, puis Team Lead Growth & CRO. Shopify Partner.