por Cade Metz
El problema del sesgo en la inteligencia artificial se enfrenta a un escrutinio cada vez mayor por parte de los reguladores y es un negocio en crecimiento para las empresas emergentes y los incondicionales de la tecnología.
En 2018, Liz O’Sullivan y sus colegas de una importante empresa emergente de inteligencia artificial comenzaron a trabajar en un sistema que podría eliminar automáticamente la desnudez y otras imágenes explícitas de Internet.
Enviaron millones de fotos en línea a trabajadores en India, quienes pasaron semanas agregando etiquetas a material explícito. Los datos emparejados con las fotos se usarían para enseñar al software de inteligencia artificial cómo reconocer imágenes indecentes. Pero una vez que se etiquetaron las fotos, O’Sullivan y su equipo notaron un problema: los trabajadores indios habían clasificado todas las imágenes de parejas del mismo sexo como indecentes.
Para la Sra. O’Sullivan, el momento demostró con qué facilidad, y con frecuencia, el sesgo podía infiltrarse en la inteligencia artificial. Fue un “juego cruel de Whac-a-Mole”, dijo.
Este mes, O’Sullivan, una neoyorquina de 36 años, fue nombrada directora ejecutiva de una nueva empresa, Parity. La empresa emergente es una de las muchas organizaciones, incluidas más de una docena de empresas emergentes y algunos de los nombres más importantes de la tecnología, que ofrecen herramientas y servicios diseñados para identificar y eliminar el sesgo de los sistemas de inteligencia artificial.
Pronto, las empresas pueden necesitar esa ayuda. En abril, la Comisión Federal de Comercio advirtió contra la venta de sistemas de inteligencia artificial que tuvieran prejuicios raciales o pudieran impedir que las personas recibieran empleo, vivienda, seguro u otros beneficios. Una semana después, la Unión Europea dio a conocer un borrador de regulaciones que podrían castigar a las empresas por ofrecer dicha tecnología .
No está claro cómo los reguladores podrían controlar el sesgo. La semana pasada, el Instituto Nacional de Estándares y Tecnología, un laboratorio de investigación del gobierno cuyo trabajo a menudo informa las políticas, publicó una propuesta que detalla cómo las empresas pueden combatir los prejuicios en la IA, incluidos los cambios en la forma en que se concibe y construye la tecnología.
Muchos en la industria de la tecnología creen que las empresas deben comenzar a prepararse para una ofensiva. “Es inevitable algún tipo de legislación o regulación”, dijo Christian Troncoso, director senior de política legal de Software Alliance, un grupo comercial que representa a algunas de las empresas de software más grandes y antiguas. “Cada vez que aparece una de estas terribles historias sobre la IA, se pierde la confianza y la fe del público”.
En los últimos años, los estudios han demostrado que los servicios de reconocimiento facial , los sistemas de atención médica e incluso los asistentes digitales parlantes pueden estar predispuestos en contra de las mujeres, las personas de color y otros grupos marginados. En medio de un creciente coro de quejas sobre el tema, algunos reguladores locales ya han tomado medidas.
A fines de 2019, los reguladores estatales de Nueva York abrieron una investigación de UnitedHealth Group después de que un estudio descubrió que un algoritmo utilizado por un hospital priorizaba la atención de los pacientes blancos sobre los negros, incluso cuando los pacientes blancos eran más saludables. El año pasado, el estado investigó el servicio de crédito Apple Card después de afirmar que discriminaba a las mujeres. Los reguladores dictaminaron que Goldman Sachs, que operaba la tarjeta, no discriminó , mientras que el estado de la investigación de UnitedHealth no está claro.
Un portavoz de UnitedHealth, Tyler Mason, dijo que el algoritmo de la compañía había sido mal utilizado por uno de sus socios y no tenía prejuicios raciales. Apple se negó a comentar.
Se han invertido más de $ 100 millones en los últimos seis meses en empresas que exploran cuestiones éticas relacionadas con la inteligencia artificial, después de $ 186 millones el año pasado, según PitchBook, una firma de investigación que rastrea la actividad financiera.
Pero los esfuerzos para abordar el problema alcanzaron un punto de inflexión este mes cuando Software Alliance ofreció un marco detallado para combatir el sesgo en la IA, incluido el reconocimiento de que algunas tecnologías automatizadas requieren una supervisión regular por parte de los humanos. El grupo comercial cree que el documento puede ayudar a las empresas a cambiar su comportamiento y puede mostrarles a los reguladores y legisladores cómo controlar el problema.
Aunque han sido criticados por el sesgo en sus propios sistemas, Amazon, IBM, Google y Microsoft también ofrecen herramientas para combatirlo.
La Sra. O’Sullivan dijo que no había una solución simple para el sesgo en la IA. Un tema más espinoso es que algunos en la industria se preguntan si el problema está tan extendido o tan dañino como ella cree.
“El cambio de mentalidad no ocurre de la noche a la mañana, y eso es aún más cierto cuando se habla de grandes empresas”, dijo. “Estás tratando de cambiar no solo la mente de una persona, sino muchas mentes”.
Cuando comenzó a asesorar a las empresas sobre el sesgo de la IA hace más de dos años, O’Sullivan solía recibir escepticismo. Muchos ejecutivos e ingenieros defendieron lo que llamaron “justicia a través del desconocimiento”, argumentando que la mejor manera de construir tecnología equitativa era ignorar temas como la raza y el género.
Cada vez más, las empresas estaban creando sistemas que aprendían tareas mediante el análisis de grandes cantidades de datos, incluidas fotos, sonidos, texto y estadísticas. La creencia era que si un sistema aprendía de la mayor cantidad de datos posible, se seguiría la justicia.
Pero como vio la Sra. O’Sullivan después del etiquetado realizado en India, el sesgo puede infiltrarse en un sistema cuando los diseñadores eligen los datos incorrectos o los clasifican de manera incorrecta. Los estudios muestran que los servicios de reconocimiento facial pueden tener un sesgo en contra de las mujeres y las personas de color cuando reciben capacitación en colecciones de fotografías dominadas por hombres blancos.
Los diseñadores pueden ignorar estos problemas. Los trabajadores de la India, donde las relaciones homosexuales todavía eran ilegales en ese momento y donde las actitudes hacia los homosexuales y las lesbianas eran muy diferentes a las de los Estados Unidos, clasificaban las fotos como les parecía.
La Sra. O’Sullivan vio las fallas y las trampas de la inteligencia artificial mientras trabajaba para Clarifai, la compañía que dirigía el proyecto de etiquetado. Dijo que había dejado la empresa después de darse cuenta de que estaba construyendo sistemas para el ejército que creía que eventualmente podrían usarse para matar. Clarifai no respondió a una solicitud de comentarios.
Ahora cree que después de años de quejas públicas sobre los prejuicios en la IA, sin mencionar la amenaza de la regulación, las actitudes están cambiando. En su nuevo marco para frenar los prejuicios dañinos, Software Alliance advirtió contra la equidad a través del desconocimiento, diciendo que el argumento no se mantuvo.
“Están reconociendo que es necesario voltear las rocas y ver qué hay debajo”, dijo O’Sullivan.
Aún así, hay resistencia. Dijo que un enfrentamiento reciente en Google, donde dos investigadores de ética fueron expulsados , era indicativo de la situación en muchas empresas. Los esfuerzos para combatir los prejuicios a menudo chocan con la cultura corporativa y el impulso incesante para construir nueva tecnología, sacarla y comenzar a ganar dinero.
También es difícil saber qué tan grave es el problema. “Tenemos muy pocos datos necesarios para modelar los problemas de seguridad social más amplios con estos sistemas, incluido el sesgo”, dijo Jack Clark, uno de los autores del Índice de IA, un esfuerzo para rastrear la tecnología y las políticas de IA en todo el mundo. “Muchas de las cosas que le importan a la persona promedio, como la justicia, aún no se están midiendo de manera disciplinada o a gran escala”.
La Sra. O’Sullivan, una licenciatura en filosofía en la universidad y miembro de la Unión Estadounidense de Libertades Civiles, está construyendo su empresa en torno a una herramienta diseñada por Rumman Chowdhury, un conocido investigador de ética en inteligencia artificial que pasó años en la consultora de negocios Accenture antes de unirse Gorjeo.
Mientras que otras empresas emergentes, como Fiddler AI y Weights and Biases, ofrecen herramientas para monitorear servicios de inteligencia artificial e identificar comportamientos potencialmente sesgados, la tecnología de Parity tiene como objetivo analizar los datos, tecnologías y métodos que utiliza una empresa para desarrollar sus servicios y luego identificar áreas de riesgo. y sugerir cambios.
La herramienta utiliza tecnología de inteligencia artificial que puede estar sesgada por derecho propio , mostrando la naturaleza de doble filo de la IA y la dificultad de la tarea de la Sra. O’Sullivan.
Las herramientas que pueden identificar el sesgo en la IA son imperfectas, al igual que la IA es imperfecta. Pero el poder de una herramienta de este tipo, dijo, es identificar problemas potenciales, para que la gente mire de cerca el problema.
En última instancia, explicó, el objetivo es crear un diálogo más amplio entre personas con una amplia gama de puntos de vista. El problema surge cuando se ignora el problema, o cuando quienes discuten los temas tienen el mismo punto de vista.
“Necesitas perspectivas diversas. Pero, ¿se pueden obtener perspectivas verdaderamente diversas en una empresa? ” Preguntó la Sra. O’Sullivan. “Es una pregunta muy importante que no estoy seguro de poder responder”.
Fuente: https://www.nytimes.com/2021/06/30/technology/artificial-intelligence-bias.html
