Sesgo algorítmico en campañas: cuando la IA discriminó un segmento sin que lo supiéramos
El hallazgo llegó de un análisis de cohortes que hacía de forma rutinaria para verificar la efectividad de las campañas de adquisición. Cuando segmenté los resultados de la campaña activa por sector de la empresa del prospecto, encontré un patrón que no tenía explicación intuitiva: los prospectos del sector de salud y educación tenían una tasa de exposición a los anuncios significativamente menor que los de otros sectores, aunque estaban incluidos en la definición de audiencia objetivo de la campaña. El sistema de distribución de anuncios los estaba incluyendo en teoría y excluyendo en la práctica.
La investigación de la causa reveló el mecanismo específico del sesgo. El sistema de optimización de la campaña había aprendido, a partir de los datos históricos de conversión, que las conversiones llegaban principalmente de ciertos sectores y había optimizado progresivamente la distribución del presupuesto hacia esos sectores en detrimento de otros que tenían historial de menor conversión. Era comportamiento esperado del algoritmo de optimización: maximizar el resultado de la campaña usando los datos disponibles. El problema era que los datos históricos de menor conversión en salud y educación no reflejaban menor interés de esos sectores en la solución. Reflejaban el hecho de que el equipo de ventas históricamente había tenido menos experiencia con esos sectores y los había trabajado con menor eficiencia.
El sesgo no era discriminatorio en el sentido legal o moral del término. No excluía a sectores por características protegidas. Pero producía un resultado que perpetuaba una desventaja existente: como el equipo de ventas había sido menos efectivo con los sectores de salud y educación, esos sectores tenían menor tasa de conversión histórica. Como tenían menor tasa de conversión histórica, el algoritmo les asignaba menos presupuesto. Como recibían menos presupuesto, llegaban menos leads de esos sectores. Como llegaban menos leads, el equipo de ventas tenía menos oportunidad de mejorar su efectividad con esos sectores. Era un ciclo que se retroalimentaba y que el algoritmo aceleraba.
La corrección fue técnica y de proceso simultáneamente. La técnica fue establecer restricciones de distribución mínima por sector que el algoritmo no podía violar: ningún sector del ICP podía recibir menos del 8% del presupuesto independientemente de su tasa de conversión histórica. El proceso fue crear un programa de capacitación del equipo de ventas específico para los sectores de salud y educación para que la diferencia en efectividad, que era la causa raíz del sesgo, comenzara a reducirse.
La lección sobre el sesgo algorítmico en campañas es sobre la diferencia entre lo que el algoritmo optimiza y lo que el negocio necesita. El algoritmo optimiza para el resultado histórico. El negocio necesita construir capacidad en nuevos segmentos. Un algoritmo sin restricciones estratégicas consolida el pasado en lugar de construir el futuro. Esas restricciones estratégicas son el trabajo del estratega, no del algoritmo.