Cómo medí el output de la agencia cuando la IA multiplicó la velocidad de producción

El problema de medición que la IA introdujo en la gestión de la agencia era específico: ¿cómo comparar el output antes y después de la adopción de IA cuando el volumen de producción había cambiado de forma tan significativa que las métricas que usábamos antes ya no eran comparables? En el modelo anterior, producir 20 piezas de contenido en un mes era una medida razonable del trabajo realizado. Después de la adopción de IA, el equipo podía producir 80 piezas en el mismo tiempo.

La respuesta requería descomponer el output en 2 dimensiones que antes habían estado implícitamente combinadas: el volumen de producción y el valor estratégico de lo producido. El volumen mostraba el incremento que la IA había producido. El valor estratégico era la dimensión que realmente importaba para el cliente y para la rentabilidad de la agencia.

El sistema de medición tenía 3 métricas principales. La primera era el valor estratégico producido: medido como la proporción del output total que había requerido criterio estratégico senior. La segunda era el impacto en el negocio del cliente: los indicadores que el trabajo de la agencia había influenciado de forma atribuible. La tercera era la satisfacción del cliente con la calidad del trabajo, medida de forma específica por tipo de entregable.

El cuarto elemento del sistema era el más operacionalmente relevante: el tiempo de criterio senior por unidad de output estratégico. Si la IA multiplicaba el volumen de producción pero el tiempo de criterio senior permanecía constante, el sistema lo mostraría como una reducción de la densidad de criterio por output, señal de que la IA estaba produciendo volumen sin suficiente supervisión estratégica.

El sistema de medición que resultó no era perfecto en ninguna de sus dimensiones. Era suficientemente específico para detectar las señales de alerta más importantes: cuando la velocidad de producción aumentaba sin un aumento proporcional de la calidad estratégica del output, o cuando el impacto en el negocio del cliente no crecía al mismo ritmo que el volumen de trabajo.