El dashboard de gobernanza que mostraba qué porcentaje del output había sido revisado
La gobernanza que no se mide no se gestiona. Era un principio que aplicaba de forma consistente a la gestión de campañas y de pipeline, pero que hasta ese momento no había aplicado a la gobernanza de IA. Tenía políticas, tenía protocolos y tenía un comité de revisión mensual. Lo que no tenía era un sistema de medición que me dijera si las políticas y los protocolos se estaban aplicando de forma consistente en el trabajo diario del equipo. Sin esa medición, la gobernanza era una intención, no una práctica verificada.
El dashboard de gobernanza que construí en Power BI conectado a los datos del sistema de gestión de contenido y del flujo de trabajo de revisión mostraba 5 métricas en tiempo real. La primera era el porcentaje de outputs de IA tipo 2 y tipo 3 que habían pasado por revisión humana antes de salir del equipo. El objetivo era el 100% y cualquier valor inferior era una señal de que el proceso de revisión tenía puntos de fallo. La segunda era el tiempo promedio de revisión por tipo de output, que debería estar dentro de los rangos establecidos en el protocolo y cuya desviación hacia abajo podía indicar revisiones superficiales.
La tercera era el número de incidentes de calidad de IA por semana: outputs que habían pasado la revisión pero que posteriormente habían producido problemas detectados por feedback externo o por revisión interna. La cuarta era la tasa de rechazo en el proceso de revisión: el porcentaje de outputs de IA que el revisor había devuelto para corrección antes de aprobar, que indicaba cuánta corrección estaba siendo necesaria en el proceso de revisión. La quinta era la distribución de outputs por nivel de autonomía, para verificar que la clasificación de outputs se estaba haciendo de forma consistente y no había deriva hacia clasificaciones de menor supervisión para ganar velocidad.
El dashboard reveló en la primera semana de operación algo que el proceso de revisión no había hecho visible: el 23% de los outputs tipo 2 que deberían haber pasado por revisión humana estaban llegando al exterior sin evidencia de revisión registrada en el sistema. No era necesariamente que no hubieran sido revisados: era que la revisión no había sido documentada en el sistema, lo que hacía imposible distinguir entre los que habían sido revisados correctamente y los que habían salido sin revisión.
La corrección fue de proceso antes que de comportamiento: hacer la documentación de la revisión tan fácil como la revisión misma, integrando el registro de revisión directamente en la herramienta que el equipo usaba para publicar el contenido. Cuando documentar la revisión requería un solo clic adicional en la herramienta que ya estaban usando, la tasa de documentación subió al 96% en las 2 semanas siguientes. El 4% restante requería seguimiento individual para entender si era una limitación del sistema o un punto de fallo en el proceso de revisión.