A/B testing en SEO: metodologia que resiste al ruido
Como ejecutar tests SEO con significancia estadistica real, separando senal de ruido estacional, algoritmico y de pura suerte.
La mayoria de los tests SEO que veo no testean nada. Cambian un title tag el martes, ven que el trafico sube 12% el jueves y gritan victoria en Slack. Pero esa semana Google lanzo un core update, la competencia cayo 30 posiciones y era feriado en el hemisferio norte. No mediste el efecto del title, mediste el caos. A/B testing serio en SEO empieza admitiendo que el canal es ruidoso por naturaleza y que sin metodologia estas leyendo ruido como si fuera senal. Este post es un manual de campo para correr tests que sobrevivan al cuestionamiento de un CFO esceptico.
Primero, entiende que SEO no permite split test clasico de usuario. No puedes mostrar la URL A a la mitad de Googlebot y la URL B a la otra mitad. Lo que corres es un split test de paginas: divides un conjunto homogeneo de URLs en control y tratamiento, aplicas el cambio en la mitad y comparas el delta de clics contra un modelo de prediccion. Herramientas como SearchPilot y GrowthBook con plugin SEO hacen esto, pero la logica puedes replicarla con BigQuery y GSC. Antes de testear nada, lee Como auditar SEO on-page sin caer en conjeturas para garantizar que tu baseline esta limpia, porque testear sobre basura solo produce basura estadisticamente significativa.
La eleccion del conjunto es donde mueren el 80% de los tests. Necesitas paginas con volumen suficiente, comportamiento similar y que no se canibalicen. Para un ecommerce grande, suelen ser PLPs de la misma categoria con al menos 500 clics organicos al mes cada una. Si solo tienes 50 paginas relevantes, olvida el test estadistico y ve por before/after con analisis causal. Cuando el conjunto es chico, cambios de Title tags que convierten: 7 patrones probados en SERPs reales y Meta description aun importa? Lo que los datos de CTR muestran pueden funcionar, pero no podras probarlo con p-valor. La honestidad aqui evita gastar credibilidad despues.
El modelo CausalImpact de Google, originalmente BSTS, se volvio estandar porque construye un contrafactual usando series correlacionadas. Alimentas el modelo con el trafico de las URLs de control como covariables, aprende la relacion en el periodo pre-test y proyecta lo que habria pasado con las URLs tratadas si nada hubiera cambiado. El efecto es la diferencia entre observado y proyectado, con intervalo de confianza. Corre minimo 21 dias pre y 21 post, idealmente 6 semanas de cada lado. Cambios estructurales como Headings H1-H6: la estructura que Google realmente lee y Canonical tags: errores comunes que sangran trafico organico necesitan aun mas tiempo porque Google tarda en reprocesar.
Cuidado con tres trampas que invalidan todo. Primera: contaminacion de control, cuando tocas interlinking o template global y el efecto se filtra al grupo de control. Segunda: cherry-picking de ventana, cuando corres el test 90 dias y seleccionas los 45 con mejor resultado. Tercera: multiples hipotesis sin correccion Bonferroni, testeas 20 variables y celebras la unica con p<0.05 (estadisticamente, 1 en 20 sale significativa por azar). Documentar hipotesis y ventana antes de empezar es la unica defensa. Para tests de Optimizacion de imagenes: alt text, peso y LCP en la practica y Core Web Vitals: mas alla del LCP, lo que mueve la aguja la filtracion es aun peor porque el CDN afecta todo el sitio.
Sobre tamano de muestra: usa el calculador de SearchPilot o corre una simulacion de poder en R con pwr. Para detectar un lift de 5% en clics con 80% de poder y alpha 0.05, normalmente necesitas 100+ paginas por brazo en categorias con varianza tipica de ecommerce. Un lift menor a 3% es casi imposible de probar en sitios con menos de 500 paginas relevantes, y eso esta bien, significa que deberias estar testeando cambios mas grandes. Pequenas optimizaciones de Benchmark de CTR por posicion: datos actualizados de 2026 y Search Console: 7 informes infrautilizados y que extraer de ellos valen mas como rollout iterativo que como test formal.
Takeaway practico: antes del proximo test, escribe una pagina A4 con hipotesis, mecanismo causal, metrica primaria, ventana pre y post, criterio de parada y que haras si sale no-significativo. Si no puedes escribirlo, no tienes test, tienes corazonada. SEO honesto acepta que la mitad de las ideas no movera la aguja de forma medible, y eso es informacion valiosa. Deja de buscar victorias y empieza a buscar verdad, el ranking llega como consecuencia.