A/B testing en SEO : methodologie qui resiste au bruit
Comment mener des tests SEO avec une vraie significativite statistique, en separant le signal du bruit saisonnier et algorithmique.
La plupart des tests SEO que je vois ne testent rien. On change une title tag le mardi, on voit le trafic monter de 12% le jeudi, on crie victoire sur Slack. Sauf que cette semaine-la Google a deploye un core update, le concurrent principal a perdu trente positions et c'etait un jour ferie aux Etats-Unis. Vous n'avez pas mesure l'effet de la title, vous avez mesure le chaos. L'A/B testing serieux en SEO commence par admettre que le canal est bruyant par nature et que sans methodologie vous lisez du bruit comme si c'etait du signal. Ce post est un manuel de terrain pour tests qui survivent a un CFO sceptique.
D'abord, comprenez que le SEO ne permet pas de split test classique au niveau utilisateur. Vous ne pouvez pas servir l'URL A a la moitie de Googlebot et l'URL B a l'autre moitie. Ce que vous faites tourner, c'est un split test au niveau page : vous divisez un ensemble homogene d'URLs en controle et traitement, vous appliquez le changement sur la moitie et vous comparez le delta de clics contre un modele de prevision. Des outils comme SearchPilot et GrowthBook avec plugin SEO font ca, mais la logique se reproduit avec BigQuery et GSC. Avant tout test, lisez Comment auditer le SEO on-page sans tomber dans les conjectures pour verifier que la baseline est propre, parce que tester sur du dechet produit du dechet statistiquement significatif.
Le choix du set est ou meurent 80% des tests. Il faut des pages avec assez de volume, comportement similaire et sans cannibalisation. Pour un gros e-commerce, ce sont generalement des PLP de la meme categorie avec au moins 500 clics organiques par mois chacune. Si vous n'avez que 50 pages pertinentes, oubliez le test statistique et faites du before/after avec analyse causale. Sur des sets petits, des changements de Title tags qui convertissent : 7 modeles testes sur des SERP reelles et La meta description compte-t-elle encore? Ce que les donnees de CTR montrent peuvent fonctionner, mais vous ne pourrez pas le prouver par p-valeur. L'honnetete ici evite de bruler la credibilite plus tard.
Le modele CausalImpact de Google, derive du BSTS, est devenu standard parce qu'il construit un contrefactuel a partir de series correlees. Vous alimentez le modele avec le trafic des URLs de controle comme covariables, il apprend la relation pre-test et projette ce qui se serait passe sur les URLs traitees si rien n'avait change. L'effet est l'ecart entre observe et projete, avec intervalle de confiance. Faites tourner au moins 21 jours en pre et 21 en post, idealement six semaines de chaque cote. Les changements structurels comme Headings H1-H6: la structure que Google lit vraiment et Canonical tags : les erreurs frequentes qui saignent le trafic organique demandent encore plus de temps parce que Google tarde a reprocesser.
Attention a trois pieges qui invalident tout. Premier : contamination du controle, quand vous touchez l'interlinking ou un template global et l'effet fuit vers le groupe de controle. Deuxieme : cherry-picking de fenetre, quand vous laissez tourner 90 jours et selectionnez les 45 meilleurs. Troisieme : hypotheses multiples sans correction Bonferroni, vous testez 20 variables et celebrez la seule avec p<0.05 (statistiquement, 1 sur 20 sort significative par hasard). Documenter l'hypothese et la fenetre avant de commencer est la seule defense. Pour des tests d'Optimisation des images: alt text, poids et LCP en pratique et Core Web Vitals: au-dela du LCP, ce qui fait bouger l'aiguille la fuite est pire car le CDN affecte tout le site.
Sur la taille d'echantillon : utilisez le calculateur de SearchPilot ou lancez une simulation de puissance dans R avec pwr. Pour detecter un lift de 5% sur les clics avec 80% de puissance et alpha 0.05, il faut typiquement 100+ pages par bras dans des categories a variance e-commerce normale. Un lift inferieur a 3% est presque impossible a prouver sur des sites de moins de 500 pages pertinentes, et c'est ok, cela veut dire qu'il faut tester des changements plus gros. Les petites optimisations de Benchmark CTR par position : donnees actualisees 2026 et Search Console : 7 rapports sous-exploites et ce qu il faut en tirer valent mieux en rollout iteratif qu'en test formel.
Takeaway pratique : avant votre prochain test, ecrivez une page A4 avec hypothese, mecanisme causal, metrique primaire, fenetres pre et post, critere d'arret et ce que vous ferez si le resultat est non-significatif. Si vous n'arrivez pas a l'ecrire, vous n'avez pas de test, vous avez une intuition. Le SEO honnete accepte que la moitie des idees ne bougera pas l'aiguille de maniere mesurable, et c'est une information precieuse. Arretez de chasser des victoires et chassez la verite, le ranking suit en consequence.