Optimizar la landing page bajó conversiones un 15%. El A/B test estaba mal diseñado

La página de contacto convertía al 8% durante 6 meses consistentemente. En la reunión de optimización, el equipo de diseño presentó una versión rediseñada que simplificaba el flujo visual, reducía el número de campos del formulario en un 25% y reorganizaba la propuesta de valor principal para que fuera más prominente. Todo en la propuesta parecía lógicamente correcto. El equipo votó a favor de hacer el cambio.

Lanzamos un test A/B. La variante control seguía siendo la página original. La variante test era el nuevo diseño. Después de 2 semanas con volumen de tráfico suficiente para detectar diferencias, revisamos los resultados. La variante test convertía al 6.8%. La caída era del 15% en tasa de conversión.

La interpretación inicial fue que el nuevo diseño simplemente no funcionaba. La recomendación fue revertir inmediatamente a la página original. Antes de hacer eso, hice un análisis más profundo del comportamiento dentro del test. Noté algo: la tasa de visitantes que llegaba a la página era idéntica entre variantes. Pero la tasa de clics en la propuesta de valor que habíamos hecho más prominente había subido un 220%. La tasa de conversión al formulario había bajado un 35%, lo cual capturaba la caída general.

Lo que estaba ocurriendo era que el nuevo diseño era mejor para comunicar la propuesta de valor, pero había un defecto oculto en la arquitectura del test. El nuevo diseño hacía más visible la propuesta, lo cual atraía más gente a hacer clic para aprender más, pero luego caía en su segunda etapa. El problema no era el diseño general. Era que el flujo post-clic no había sido rediseñado para gestionar ese volumen de tráfico nuevo.

Desarmamos el test prematuramente. En lugar de concluir que el nuevo diseño no funcionaba, redesenamos la página de destino secundaria que recibía el tráfico post-clic, e implementamos el nuevo diseño principal en paralelo. Cuando agregamos los dos cambios juntos, la conversión fue del 9.1%, un mejora del 14% sobre la original. El test A/B original habría descartado una mejora real porque el experimento no estaba midiendo el funnel completo.