El caso legal que casi afecta a una empresa por contenido generado sin supervisión
El caso no fue nuestro. Fue el de una empresa del sector con quien compartíamos eventos y conversaciones del gremio, y que tuvo la generosidad de compartir su experiencia de forma abierta en un panel de directivos precisamente para que otras organizaciones pudieran aprender sin tener que vivir el incidente. Su equipo de marketing había implementado un sistema de generación automática de contenido que producía artículos del blog de forma casi completamente autónoma, incluyendo la investigación de referencias y la cita de fuentes. El sistema había citado correctamente una fuente. El contenido que había extraído de esa fuente para apoyar un argumento del artículo estaba sacado de contexto de una forma que alteraba significativamente el significado original de la afirmación.
El autor de la investigación original, al encontrar el artículo en una búsqueda de su nombre, identificó la cita descontextualizada y la interpretó como una tergiversación intencional de su trabajo. La empresa recibió una carta de abogados en la que se describía la situación como potencialmente difamatoria y se solicitaba la corrección inmediata del artículo y una disculpa pública. La empresa actuó rápidamente: tomó el artículo fuera de línea, publicó una corrección y emitió la disculpa. El incidente no llegó a juicio. Sí generó cobertura en publicaciones del sector que mencionaban la empresa por nombre en el contexto del incidente durante varias semanas.
El problema técnico que había producido el incidente era específico: el modelo de IA había extraído una frase de un documento de investigación que en su contexto original era parte de una afirmación más larga con importantes calificaciones que el modelo había omitido. La frase extraída sola sonaba como una afirmación categórica que el investigador nunca había hecho. Era el tipo de error que ocurre cuando un sistema extrae y usa fragmentos de texto sin preservar suficiente contexto para que el fragmento sea fiel al significado original.
Compartí el caso con mi equipo en la siguiente reunión del comité de revisión de IA como ejemplo de la categoría de riesgo más seria: el riesgo legal y reputacional de outputs de IA que son factualmente incorrectos o que tergiversan información de terceros. Ese riesgo tiene características que lo hacen diferente a los otros riesgos de gobernanza: las consecuencias pueden ser desproporcionadas respecto al tamaño del error, pueden involucrar terceros que la empresa no controla y pueden generar publicidad negativa que ningún proceso interno puede controlar una vez que ha ocurrido.
El protocolo que establecimos para contenido que citaba investigaciones o trabajos de terceros fue específico: cualquier cita de fuente primaria en contenido generado por IA requería verificación del texto original antes de publicar, no solo verificación de que la fuente existía. La verificación debía confirmar que el fragmento citado preservaba el significado del original y que no estaba descontextualizado de formas que alteraran la intención del autor. Era un paso que agregaba tiempo al proceso de publicación. Era también el único mecanismo que garantizaba que el sistema de generación de contenido no se convirtiera en un mecanismo de tergiversación involuntaria a escala.