La IA comete errores más rápido de lo que los humanos pueden detectarlos. Algunos comparan modelos de aprendizaje automático (LLM) entre sí para identificar errores, pero confiar únicamente en eso es peligroso. Aquí está la alternativa.
por David Barry
- De la supervisión de la IA a la orquestación de la IA
- La importancia de la rendición de cuentas en materia de IA
- Dónde entran en juego las regulaciones de la IA
- El efecto de la cámara de eco
- Creación de un modelo de gobernanza de IA híbrido
- El alto coste de los errores de IA no detectados
- Acerca del autor
Gartner planteó recientemente la siguiente pregunta: ¿Cómo se protegen las empresas contra los resultados erróneos o defectuosos de la IA?
Su conclusión: el modelo tradicional de «supervisión humana», considerado en su momento esencial para la gobernanza de la IA, está colapsando bajo su propio peso. A medida que la producción generada por la IA crece exponencialmente, los humanos simplemente no pueden abarcar el volumen de supervisión necesario.
Como lo expresó Alicia Mullery, vicepresidenta y analista de Gartner: “La IA puede cometer errores más rápido de lo que los humanos podemos detectarlos”.
En respuesta, algunas organizaciones están implementando modelos de IA para verificar otros modelos de IA, una medida que introduce nuevas capas de complejidad y costos significativos.
Este cambio genera problemas relacionados con la confianza, la responsabilidad y la rentabilidad en las operaciones de IA. ¿Quién vigila a las máquinas cuando las máquinas se vigilan entre sí?
De la supervisión de la IA a la orquestación de la IA
Según Paul McDonagh-Smith, del MIT Sloan, los roles están cambiando de supervisión a control. “Estamos viendo el auge de un paradigma de ‘humano en el bucle’ donde las personas siguen definiendo la intención, el contexto y la responsabilidad, al tiempo que coordinan la gestión de la escala y la velocidad de las máquinas”, explicó.
Los seres humanos están ascendiendo en la cadena de valor, diseñando marcos éticos y protocolos de escalamiento en lugar de supervisar resultados individuales. La pregunta ha cambiado: ya no se trata de si las máquinas deben supervisarse entre sí, sino de cómo los seres humanos diseñan los principios que hacen que ese proceso sea confiable.
Los roles están evolucionando: de simples verificadores a supervisores estratégicos. «Los agentes de IA gestionan tareas como la monitorización de la actividad, la detección de anomalías y la agilización de las investigaciones, alertando a los supervisores humanos sobre decisiones críticas y de gran importancia», afirmó Marla Hay , vicepresidenta sénior de gestión de productos en Salesforce. Los datos de su equipo lo demuestran: se han recuperado más de 3000 horas solo con la automatización de la priorización y respuesta ante incidentes.
Este patrón lo confirma Shriram Natarajan, de ISG. «Estamos viendo a los humanos al mando como el siguiente paso en la evolución», señaló. La gobernanza debe volverse tan inteligente y adaptable como los sistemas que supervisa, afirmó McDonagh-Smith. Necesitamos «humanidad en cada sistema», en lugar de humanos en cada proceso.
La importancia de la rendición de cuentas en materia de IA
Detrás de esta evolución subyace el principio de que la rendición de cuentas requiere un responsable humano. Las máquinas pueden rastrear la responsabilidad, pero no pueden asumirla. Esta distinción separa la gobernanza sostenible de la IA de las operaciones meramente eficientes.
Según Ann Skeet , directora sénior de ética del liderazgo en el Centro Markkula de Ética Aplicada de la Universidad de Santa Clara, este caso es fundamental: «Por definición, la rendición de cuentas se refiere a quién asumirá las consecuencias de no cumplir con las expectativas», afirmó. «En última instancia, una persona y la empresa para la que trabaja serán responsables de las fallas de los sistemas de IA».
Cuando los sistemas de IA fallen, y lo harán, los tribunales no aceptarán como defensa la afirmación de que «el algoritmo decidió». Las consecuencias van más allá de los riesgos legales, advirtió Skeet. «Las batallas legales que se desatarán, si nos conformamos con que las IA supervisen a otras IA, serán innumerables, pero las consideraciones éticas son aún mayores».
«La rendición de cuentas no se puede automatizar», coincidió Patrizia Bertini , socia directora de Euler Associates. Las máquinas pueden producir resultados, pero solo los humanos pueden ser dueños de los mismos, una distinción que se basa en la regulación y la ética, no solo en la filosofía.
Dónde entran en juego las regulaciones de la IA
El marco regulatorio refuerza estos requisitos. La Ley de IA de la UE exige supervisión humana real para agosto de 2026, con multas que alcanzan los 35 millones de euros (40,5 millones de dólares) o el 7 % de la facturación global por incumplimiento, según Bertini. La Ley exige explicabilidad de la IA: sistemas que muestren su razonamiento con la suficiente claridad como para que una persona pueda cuestionarlo, y con la posibilidad de que los humanos reviertan las decisiones de la máquina.
Sin embargo, la mayoría de las organizaciones siguen sin estar preparadas. Cuando Bertini habla con equipos de producto y diseño, afirma que descubre que “casi ninguno lo ha incorporado todavía a sus sistemas o flujos de trabajo”, tratando la supervisión humana como algo deseable en lugar de fundamental.
«En un futuro previsible, no es posible exigir responsabilidades sin la intervención humana», coincidió Natarajan. La brecha entre los requisitos normativos y la preparación de las organizaciones refleja una falta de comprensión fundamental de lo que exige una gobernanza sostenible de la IA.
Pero incluso si las organizaciones quisieran delegar la supervisión por completo a las máquinas, este enfoque conlleva riesgos que podrían resultar catastróficos.
El efecto de la cámara de eco
El atractivo de la IA que supervisa a la IA parece evidente: una escala que se encuentra con otra escala, con máquinas monitorizando a otras máquinas a velocidades inalcanzables para los humanos. Pero este enfoque introduce riesgos estructurales que amenazan la confianza misma que promete proteger.
Cuando dos modelos comparten bases de datos o sesgos de entrenamiento similares, uno puede simplemente validar los errores del otro con mayor rapidez y contundencia. El resultado es lo que McDonagh-Smith describe como «una cámara de eco, donde las máquinas coinciden con seguridad en el mismo error». Esto es fundamentalmente epistémico, más que técnico, afirmó, y socava nuestra capacidad para saber si los mecanismos de supervisión funcionan.
“¿Cómo sabemos que el verificador tiene razón cuando ambos potencialmente están aprendiendo de los mismos conjuntos de datos, algoritmos o visiones del mundo defectuosos?”, dijo McDonagh-Smith.
Sin registros de auditoría claros y una calibración humana deliberadamente estructurada, las empresas pierden el control y la rendición de cuentas.
Hays advirtió que la IA que se autocontrola hereda vulnerabilidades. «Las deficiencias de transparencia, las vulnerabilidades de inyección rápida y la dificultad para rastrear la cadena de toma de decisiones aumentan con cada capa adicional». Su investigación en Salesforce reveló que el 55 % de los responsables de seguridad informática carecen de la confianza necesaria para implementar agentes de forma segura.
«No se trata de una brecha menor», afirmó Hays. «La mayoría de las organizaciones se lanzan a la implementación de IA sin la infraestructura de seguridad necesaria para respaldarla». Lo que se necesita son normas de gobernanza, seguridad y cumplimiento integradas en la arquitectura desde el primer día.
La fragilidad se extiende a los propios modelos. Investigaciones antrópicas revelaron que tan solo 250 archivos contaminados comprometen modelos incluso con miles de millones de parámetros. Este hallazgo expone la vulnerabilidad que aún persiste incluso en sistemas masivos, según Bertini: «Si nuestra idea de supervisión es “que otro modelo lo revise”, no estamos construyendo seguridad», afirmó. «Estamos construyendo fragilidad».
Natarajan confirma esta vulnerabilidad fundamental. «El no determinismo de la IA (especialmente la IA generativa), que se utiliza para controlar la IA subyacente, es el riesgo clave». Los sistemas bien diseñados reducen la exposición, señaló, «sin embargo, no podemos garantizar su eliminación».
“Estamos confiando en sistemas que no comprendemos del todo para que controlen otros sistemas que nadie puede explicar completamente, mientras eliminamos a los seres humanos que podrían haber hecho las preguntas correctas”, coincidió Bertini.
Estos riesgos apuntan hacia un modelo diferente, uno que utilice tanto las capacidades humanas como las de las máquinas sin depender excesivamente de ninguna de ellas.
Creación de un modelo de gobernanza de IA híbrido
El camino a seguir requiere el diseño de ecosistemas resilientes donde el juicio humano y la escala de las máquinas colaboren eficazmente.
La gobernanza debe evolucionar «de políticas estáticas a sistemas dinámicos donde la rendición de cuentas, la transparencia y la explicabilidad se ponen a prueba y se mejoran continuamente», afirmó McDonagh-Smith. Las máquinas se encargan de la verificación repetitiva, mientras que los humanos aportan el arbitraje contextual y el razonamiento moral.
Es una conclusión a la que también llegó Gartner. La firma de análisis recomienda a las empresas crear un “kit de supervivencia para la precisión”, que consta de tres partes:
- Métricas formales para comparar los resultados de la IA con una norma.
- Verificación de errores de dos factores, donde un empleado supervisa un modelo de IA que revisa el trabajo de otro.
- El ratio de “suficientemente bueno”, donde los equipos deciden de antemano qué nivel de precisión es aceptable para un proyecto determinado.
Adoptar este enfoque multifacético proporciona un mayor nivel de confianza que un enfoque único.
Natarajan añade otra dimensión a este modelo: la transparencia exige registros auditables de las interacciones entre IA: qué se comprobó, con qué modelo y bajo qué criterios. Esto requiere un trabajo continuo, recalcó: «pruebas constantes, control de desviaciones, actualización de registros y flujos de trabajo». Aboga por adoptar una mentalidad de «mono del caos» para descubrir casos excepcionales que normalmente no se presentarían.
El alto coste de los errores de IA no detectados
Los argumentos económicos respaldan los modelos híbridos. Un error inadvertido destruye la confianza en un producto, servicio o marca. Datos que contrarrestan esta visión provienen de Hays: su equipo ha pasado de la resolución reactiva de problemas a una defensa estratégica y rentable, y el 83 % de las organizaciones aún pagan un precio elevado por no automatizar los procesos de cumplimiento. Sin embargo, la eficiencia aparente podría ocultar los costos de las fallas en cadena, las cadenas de decisiones opacas y el daño a la reputación.
Al igual que los sistemas financieros que utilizan auditorías por capas, los ecosistemas de IA necesitan una gobernanza multinivel que combine la autorregulación, las auditorías independientes y la rendición de cuentas pública, afirmó McDonagh-Smith. Natarajan discrepa y declara: «Los reguladores no deberían precipitarse e imponer restricciones a las comprobaciones automatizadas. Se trata de un ámbito de innovación y la normativa necesaria se irá aclarando en el futuro».
Sin embargo, la advertencia de Bertini sobre la Ley de IA de la UE sugiere que la claridad regulatoria está llegando más rápido de lo que anticipa Natarajan, y la mayoría de las organizaciones siguen sin estar preparadas.
Cuando los sistemas de IA deciden quién obtiene un préstamo, un empleo o un diagnóstico, el costo de prescindir de los humanos no es la eficiencia, sino el riesgo, afirmó Bertini. Al avanzar rápidamente con la IA agentiva, advierte Skeet, “las empresas están creando condiciones en las que tienen más de lo que pueden gestionar, exponiéndose así a riesgos de seguridad y reputación relacionados con la IA”.
“Las herramientas, los procesos y el capital humano deben trabajar conjuntamente para gobernar el panorama de la IA”, dijo Natarajan.
Entonces, ¿quién vigila a las máquinas cuando las máquinas se vigilan entre sí? La solución no reside en elegir entre la supervisión humana o la de las máquinas, sino en posicionar a los humanos como arquitectos de sistemas que se mantengan responsables, transparentes y confiables.
Nota del editor: Lea más reflexiones sobre cómo establecer la responsabilidad en materia de IA:
- El vacío de responsabilidad en materia de IA: ¿Por qué las empresas están creando sus propias normas? — El vacío de responsabilidad en materia de IA se está ampliando. He aquí cómo las empresas están interviniendo mientras los legisladores se esfuerzan por mantenerse al día.
- El compañero de equipo sin jefe: ¿Quién es responsable de la IA? — Por qué el liderazgo interfuncional, la responsabilidad y el diseño de la experiencia del empleado son fundamentales para el éxito de la IA en el trabajo.
- ¿Por qué las demandas por discriminación en la contratación mediante IA están a punto de dispararse ? La IA está transformando la contratación y los tribunales. Quienes buscan empleo están demandando por herramientas de selección sesgadas, y los expertos afirman que esta oleada de demandas no ha hecho más que empezar.
Acerca del autor
David es un periodista europeo con 35 años de experiencia que ha dedicado los últimos 15 años a seguir el desarrollo de las tecnologías en el entorno laboral, desde los inicios de la gestión documental, la gestión de contenido empresarial y los servicios de contenido. Ahora, con el auge de los nuevos modelos de trabajo remoto e híbrido, cubre la evolución de las tecnologías que facilitan la colaboración, la comunicación y el trabajo, y recientemente ha dedicado mucho tiempo a explorar los límites de la IA, la IA generativa y la IA general.