La brecha de responsabilidad en materia de IA se está ampliando. Así es como las empresas están tomando cartas en el asunto mientras los legisladores luchan por seguirles el ritmo.
por Phil Britt
Las organizaciones están avanzando rápidamente en iniciativas de IA y madurando su gobernanza de IA debido a las preocupaciones sobre la responsabilidad y el riesgo de regulación si se detecta que la gobernanza de la industria es deficiente.
El problema, según el Consejo Carnegie , radica en que los sistemas de IA suelen ser criticados por ser una ” caja negra “, lo que significa que sus usuarios no pueden explicar ni interpretar completamente cómo se obtiene un resultado. Si la toma de decisiones de la IA no se puede explicar ni comprender, asignar responsabilidades y exigir responsabilidades a las partes por resultados perjudiciales se vuelve muy difícil.
La crisis de rendición de cuentas en el corazón de la implementación de la IA
Un marco sólido de rendición de cuentas en materia de IA, según el Centro para el Progreso Americano , “debe empoderar al gobierno de Estados Unidos para crear y aplicar nuevas reglas en torno a la IA, como designar casos y sectores de alto riesgo que en algunos casos deberían pasar por una revisión gubernamental antes de su implementación, prevenir amenazas a la seguridad nacional, prohibir directamente ciertos usos peligrosos y establecer reglas amplias basadas en principios para garantizar sistemas seguros y efectivos y prevenir la discriminación algorítmica”.
Como señala un informe de Forrester , la IA, y en concreto la genAI, puede generar nuevos riesgos y agravar los existentes. Las preocupaciones empresariales y sociales en torno a la toma de decisiones sesgada, la vulneración de los derechos de los trabajadores, la privacidad, la seguridad, la fuga de propiedad intelectual y las violaciones de derechos de autor están siendo objeto de escrutinio legislativo y legal.
Sin embargo, según la analista de Gartner, Lauren Kornutick, solo el 45% de las organizaciones informan haber alcanzado una madurez avanzada en la gobernanza de la IA, lo que alinea la política de IA con el modelo operativo de gobernanza de la IA, información que surgió durante la encuesta “Mandatos de IA para la empresa” de la compañía.
“Desarrollar marcos de IA confiables es esencial para que las empresas gestionen eficazmente los riesgos asociados a las tecnologías de IA y demuestren una supervisión gerencial adecuada”, afirmó Kornutick. “Para lograrlo, las organizaciones necesitan basarse en principios de IA responsable. No podemos depender únicamente de las regulaciones para regular el uso de la IA; los estándares globales para el uso responsable de la tecnología pueden variar ampliamente e incluso entrar en conflicto según la jurisdicción”.
Las empresas no pueden esperar a que Washington actúe sobre la IA
En ausencia de legislación, o en casos de regímenes regulatorios divergentes, desarrollar y adherirse a principios propios sobre el uso responsable de la tecnología proporciona un enfoque y, como resultado, avances tecnológicos más rápidos, dijo Kornutick.
Por ejemplo, el Departamento de Salud y Servicios Humanos de Estados Unidos (HHS) finalizó una norma para la TI de salud con una disposición sobre transparencia algorítmica mediante la creación de estándares industriales para evaluar la imparcialidad, la idoneidad, la validez, la eficacia y la seguridad.
En otro caso de enero de 2024, el Departamento de Servicios Financieros de Nueva York (NYDFS) emitió una propuesta de guía (un requisito de facto) sobre el uso de IA, aplicable a las aseguradoras que operan en Nueva York. «Esta guía es incluso más exhaustiva que las propuestas federales e identifica los requisitos para la evaluación cualitativa y cuantitativa de riesgos, las funciones de los ejecutivos y las juntas directivas, y los niveles de gobernanza acordes con la tolerancia al riesgo de la entidad», cita el informe de Forrester.
Forrester recomendó que las empresas estén atentas a requisitos similares de sus sectores, así como a aquellos que afectan a clientes y socios externos. El reto reside en cómo gestionar la promulgación y aplicación de las leyes vigentes y estar preparadas para las nuevas leyes de IA , a la vez que se gestiona la incertidumbre regulatoria.
La anatomía de un programa eficaz de gobernanza de la IA
Los programas de gobernanza de la IA deben supervisar la adhesión a los principios que se alinean con las prácticas de gobernanza de la empresa en otras áreas, señaló Kornutick.
Gartner aboga por un enfoque tridimensional para los controles de IA, que abarque el riesgo, el valor y la complejidad de las decisiones. Centrarse demasiado en una sola dimensión llevará a subestimar el riesgo o a sobrecorregir, en detrimento de la capacidad de la empresa para desarrollar capacidades y conocimientos de IA para el éxito a largo plazo.
La gobernanza de la IA debe ser una iniciativa independiente, pero puede reflejar un modelo operativo de gobernanza funcional (como los modelos de gobernanza de TI o de datos). En el caso de la IA, comience con políticas y controles específicos para ella.
Kornutick recomendó que las empresas incluyan los siguientes elementos en sus programas de gobernanza:
- Tenga en cuenta si existen políticas y controles específicos de IA y cómo estas políticas y controles específicos se vinculan con los marcos organizacionales establecidos.
- Cree un repositorio central de todo el uso de la IA y asigne puntajes de riesgo para determinar cómo se monitoreará la IA.
- Desarrollar e implementar marcos , procedimientos y procesos éticos de IA.
- Seguir continuamente los procedimientos éticos de la IA creando un proceso caso por caso para discutir la ética a través de la lente de los dilemas éticos.
- Exigir a los proveedores con componentes de IA que proporcionen certificaciones verificables del comportamiento esperado de la IA y que rastreen el linaje de los datos hasta los proveedores de forma continua.
- Monitorear continuamente los sistemas de IA, agentes y casos de uso de alto riesgo y auditar periódicamente todos los demás sistemas de IA, agentes y casos de uso.
- Aplicar uniformemente los requisitos del programa de privacidad en todas las actividades de IA.
- Considere implementar sistemas de tecnología AI TRiSM (gestión de confianza, riesgo y seguridad), como aquellos que pueden realizar inspección y cumplimiento en tiempo de ejecución para sistemas de alto riesgo.
“La eficacia de los marcos de IA confiables depende de si las organizaciones se adhieren a ellos”, afirmó Kornutick. “Las organizaciones deben garantizar sistemáticamente el uso aceptable de las infracciones de las políticas de IA e incentivar su uso responsable”.
Acerca del autor
Phil Britt es un periodista veterano que ha dedicado los últimos 40 años a trabajar con periódicos, revistas y sitios web, cubriendo marketing, negocios, tecnología, servicios financieros y una variedad de otros temas. Dirige su propia firma de servicios editoriales, S&P Enterprises, Inc., desde finales de 1993. Se graduó de la Universidad de Purdue en 1978 con un título en Comunicación Social.