Cómo establecí controles de calidad para el contenido generado con IA a escala
El problema de escalar los controles de calidad en paralelo con el volumen de producción de contenido asistido por IA era matemático antes de ser organizacional. Si producíamos 4 piezas de contenido por semana con revisión completa de 45 minutos por pieza, necesitábamos 3 horas de revisión editorial semanal. Si con IA producíamos 16 piezas por semana y aplicábamos la misma revisión de 45 minutos por pieza, necesitábamos 12 horas de revisión editorial semanal. Ese incremento de 9 horas adicionales de revisión editorial consumía casi todo el tiempo que la IA había liberado en producción. El modelo no escalaba.
La solución requería un sistema de revisión diferenciada donde no todo el contenido recibía la misma profundidad de revisión, sino donde el nivel de revisión era proporcional al riesgo potencial del contenido y a la probabilidad de que contuviera errores. Esa diferenciación era posible porque los tipos de error que la IA producía con mayor frecuencia tenían características identificables que permitían priorizar qué piezas requerían revisión más profunda sin revisar todas con la misma intensidad.
El sistema que diseñé usaba 3 niveles de revisión. El nivel 1 era revisión express de 10 minutos: verificación de que el contenido no contenía datos numéricos o estadísticos, menciones de empresas o personas específicas del sector, afirmaciones sobre regulaciones o marcos legales, o citas de investigaciones. El contenido sin esas características era de bajo riesgo de error factual y podía revisarse rápidamente. El nivel 2 era revisión estándar de 20 minutos: aplicable a contenido con 1 o 2 de las características de riesgo identificadas, con verificación específica de los elementos de riesgo detectados. El nivel 3 era revisión completa de 45 minutos: para contenido con 3 o más características de riesgo o para cualquier pieza que fuera a tener distribución significativa o a ser usada como referencia en conversaciones comerciales.
El clasificador automático de nivel de revisión analizaba el borrador generado por IA antes de enviarlo al revisor, identificaba las características de riesgo presentes e indicaba el nivel de revisión recomendado con la justificación específica. El revisor podía aceptar la recomendación o escalarla si encontraba durante la revisión inicial que el contenido requería mayor profundidad de lo indicado. El sistema clasificaba correctamente el nivel de revisión en el 87% de los casos, lo que reducía significativamente el tiempo de decisión del revisor sobre qué nivel de profundidad aplicar.
Con el sistema de revisión diferenciada, el tiempo total de revisión editorial para 16 piezas semanales era de 6.5 horas frente a las 12 horas de revisión uniforme o las 3 horas de revisión insuficiente. Era el equilibrio entre la velocidad que la IA hacía posible y la calidad que la supervisión humana garantizaba, calibrado según el riesgo real de cada tipo de contenido en lugar de aplicado de forma uniforme a todo el output independientemente de su criticidad.