Automatización de A/B testing: cuando la velocidad supera la capacidad de análisis
La plataforma de A/B testing que adoptamos tenía una funcionalidad que el equipo de marketing celebró desde el primer día: la capacidad de generar automáticamente variantes de los elementos de una campaña, distribuir el tráfico entre variantes, medir el rendimiento en tiempo real y declarar automáticamente al ganador cuando la diferencia estadística alcanzaba un umbral de confianza predefinido. Era la promesa de la experimentación continua sin el overhead de diseñar, configurar y analizar cada test de forma manual. Era también, cuando se usaba sin el criterio correcto, la promesa de llegar a conclusiones incorrectas con confianza estadística.
El problema que la automatización del A/B testing producía en nuestra operación específica era de horizonte temporal. La plataforma declaraba un ganador cuando la diferencia entre variantes era estadísticamente significativa en el tráfico acumulado hasta ese momento. Para nuestras campañas B2B con ciclos de venta de 60 a 90 días, la conversión que importaba para el negocio no ocurría en el plazo en que el sistema declaraba al ganador. El sistema podía declarar que la variante A ganaba en tasa de clics o en formularios enviados después de 2 semanas, pero el impacto real de ambas variantes en el pipeline de ventas solo sería visible 60 días después.
En práctica, el sistema declaró 8 "ganadores" en los primeros 3 meses de operación basándose en métricas de conversión de corto plazo. Cuando rastreé el pipeline generado por cada variante a 90 días, 3 de los 8 ganadores declarados producían en realidad menos pipeline que las variantes que el sistema había descartado. El sistema había optimizado para la métrica incorrecta con la velocidad y la confianza estadística como si ambas cosas garantizaran que el resultado era correcto para el negocio.
La corrección fue de diseño del sistema de testing, no de la herramienta en sí. Cambié la métrica de éxito de cada test de "conversión del formulario" a "lead calificado según el scoring del CRM a 30 días del formulario enviado". Esa métrica requería esperar 30 días antes de que el test pudiera declarar un ganador, lo que reducía la velocidad de experimentación pero garantizaba que los ganadores declarados eran ganadores en la métrica que importaba para el negocio. La plataforma podía seguir midiendo la tasa de clics y de formularios. Esa métrica pasó a ser contexto, no criterio de decisión.
La lección fue sobre la diferencia entre automatizar un proceso y automatizar el criterio de éxito de ese proceso. Una plataforma de A/B testing puede automatizar la distribución del tráfico, el cálculo estadístico y la declaración del ganador. Lo que no puede automatizar es la definición de qué cuenta como éxito para el negocio específico que la usa. Esa definición es el trabajo del estratega. Delegarla al sistema por comodidad o por desconocimiento produce optimización estadística para la métrica equivocada, que es un resultado técnicamente impresionante y estratégicamente incorrecto.