Los algoritmos pueden amplificar patrones de discriminación. Los investigadores de robótica están pidiendo nuevas formas de evitar que los cuerpos mecánicos actúen con esos sesgos.
por KHARI JOHNSON
EN LA DÉCADA DE 1940, los sociólogos Kenneth y Mamie Clark colocaron muñecas blancas y negras frente a niños pequeños y les pidieron que hicieran cosas como elegir la muñeca que “se ve mal” o “tiene un color bonito”. La prueba de la muñeca se inventó para comprender mejor las malas consecuencias del trato separado y desigual en la autoestima de los niños negros en los Estados Unidos. Los abogados de la NAACP utilizaron los resultados para argumentar con éxito a favor de la eliminación de la segregación en las escuelas estadounidenses. Ahora, los investigadores de inteligencia artificial dicen que los robots pueden necesitar someterse a pruebas similares para garantizar que traten a todas las personas de manera justa.
Los investigadores llegaron a esa conclusión después de realizar un experimento inspirado en la prueba de la muñeca en un brazo robótico en un entorno simulado. El brazo estaba equipado con un sistema de visión que había aprendido a relacionar imágenes y palabras de fotos y texto en línea, un enfoque adoptado por algunos especialistas en robótica que también sustenta los avances recientes en el arte generado por IA . El robot trabajaba con cubos adornados con fotos tipo pasaporte de hombres y mujeres que se autoidentificaban como asiáticos, negros, latinos o blancos. Se le indicó que recogiera diferentes cubos usando términos que describen a las personas, usando frases como “el bloque criminal” o el “bloqueo del ama de casa”.
De más de 1,3 millones de pruebas en ese mundo virtual, surgió un patrón claro que replicaba el sexismo y el racismo históricos, aunque ninguna de las personas representadas en los bloques estaba etiquetada con texto descriptivo o marcadores. Cuando se le pidió que recogiera un “bloque criminal”, el robot seleccionó cubos con fotos de hombres negros un 10 por ciento más a menudo que para otros grupos de personas. El brazo robótico tenía significativamente menos probabilidades de seleccionar bloques con fotos de mujeres que hombres cuando se le preguntaba por un “médico”, y era más probable que identificara un cubo con la imagen de un hombre blanco como “bloque de personas” que mujeres de cualquier origen racial. En todas las pruebas, el robot seleccionó y colocó cubos con rostros de mujeres negras con menos frecuencia que aquellos con rostros de hombres negros o mujeres blancas.
Willie Agnew, investigador de la Universidad de Washington que trabajó en el estudio, dice que tales demostraciones deberían ser una llamada de atención para el campo de la robótica, que tiene la oportunidad de evitar convertirse en un proveedor de daños como lo ha hecho la visión por computadora con vigilancia.
Esa oportunidad puede requerir idear nuevas formas de probar robots, dice, y cuestionar el uso de los llamados modelos preentrenados que se entrenan en vastas colecciones de texto e imágenes en línea, y que se sabe que perpetúan el sesgo en los generadores de texto y arte . Los investigadores han demostrado que los datos web pueden potenciar los algoritmos al proporcionar más material para entrenar modelos de IA. Esta semana, Google mostró robots que podían entender comandos en lenguaje natural gracias al texto extraído de la web. Pero los investigadores también han demostrado que los modelos preentrenados pueden reflejar o incluso amplificar patrones desagradables de discriminación contra ciertos grupos de personas; Internet actúa como un espejo distorsionado del mundo.
“Ahora que estamos usando modelos que solo están entrenados con datos tomados de Internet, nuestros robots están sesgados”, dice Agnew. “Tienen estos estereotipos muy específicos y muy tóxicos”. Agnew y los coautores del Instituto de Tecnología de Georgia, la Universidad Johns Hopkins y la Universidad Técnica de Munich, Alemania, describieron sus hallazgos en un artículo titulado “Los robots promulgan estereotipos malignos“, presentado recientemente en la conferencia Equidad, responsabilidad y transparencia en Seúl. , Corea del Sur.
Los algoritmos sesgados han sido objeto de escrutinio en los últimos años por causar violaciones de los derechos humanos en áreas como la vigilancia, donde el reconocimiento facial ha costado la libertad a personas inocentes en los EE. UU., China y otros lugares, o las finanzas, donde el software puede negar injustamente el crédito. Los algoritmos sesgados en los robots podrían causar problemas peores, ya que las máquinas son capaces de realizar acciones físicas. El mes pasado, un brazo robótico de un jugador de ajedrez que intentaba alcanzar una pieza de ajedrez atrapó y rompió el dedo de su oponente infantil.
Agnew y sus colegas investigadores creen que la fuente del sesgo en su experimento de brazo robótico virtual es CLIP , un software de IA de código abierto lanzado en 2021 por la startup OpenAI que fue entrenado usando millones de imágenes y subtítulos de texto extraídos de la web. El software se ha utilizado en muchos proyectos de investigación de IA, incluido el software para robots llamado CLIPort utilizado en el experimento de robot simulado. Pero las pruebas de CLIP han encontrado un sesgo negativo contra grupos que incluyen a personas negras y mujeres. CLIP también es un componente del sistema de generación de imágenes Dall-E 2 de OpenAI, que se ha descubierto que genera imágenes repulsivas de personas .
A pesar del historial de CLIP de resultados discriminatorios, los investigadores han utilizado el modelo para entrenar robots, y la práctica podría volverse más común. En lugar de comenzar desde cero, los ingenieros que crean modelos de IA ahora a menudo comienzan con un modelo previamente entrenado con datos web y luego lo personalizan para una tarea específica utilizando sus propios datos.
Agnew y sus coautores proponen varias formas de prevenir la proliferación de máquinas con prejuicios. Incluyen reducir el costo de las piezas de robótica para ampliar el grupo de personas que construyen las máquinas, exigir una licencia para practicar robótica similar a las calificaciones otorgadas a los profesionales médicos o cambiar la definición de éxito.
También piden el fin de la fisonomía, la idea desacreditada de que la apariencia externa de una persona puede traicionar de manera confiable rasgos internos como su carácter o emociones. Los avances recientes en la visión artificial han inspirado una nueva ola de afirmaciones falsas, incluido que un algoritmo puede detectar si una persona es gay, un delincuente , apto para ser un empleado o si dice mentiras en un puesto fronterizo de la UE. Agnew fue coautor de otro estudio , presentado en la misma conferencia, que encontró que solo el 1 por ciento de los trabajos de investigación de aprendizaje automático consideran el potencial de consecuencias negativas de los proyectos de IA.
Los hallazgos de Agnew y sus colegas pueden ser sorprendentes, pero no sorprenden a los especialistas en robótica que han pasado años tratando de cambiar la industria.
Maynard Holliday, director técnico adjunto de tecnologías críticas en el Departamento de Defensa de EE. UU., dice que saber que un robot había juzgado imágenes de hombres negros como más propensos a ser delincuentes le recuerda un viaje reciente al Museo del Apartheid en Sudáfrica, donde vio el legado de un sistema de castas que apuntaló la supremacía blanca centrándose en cosas como el color de la piel de una persona o la longitud de su nariz.
Los resultados de la prueba del robot virtual, dijo, hablan de la necesidad de garantizar que las personas que construyen sistemas de IA y ensamblan los conjuntos de datos utilizados para entrenar modelos de IA provengan de diversos orígenes. “Si no estás en la mesa”, dice Holliday, “estás en el menú”.
En 2017, Holliday contribuyó a un informe de RAND que advierte que resolver el sesgo en el aprendizaje automático requiere la contratación de equipos diversos y no se puede solucionar solo con medios técnicos. En 2020, ayudó a fundar la organización sin fines de lucro Black in Robotics , que trabaja para ampliar la presencia de personas negras y otras minorías en la industria. Piensa que dos principios de una declaración de derechos algorítmica que propuso en ese momento podrían reducir el riesgo de implementar robots sesgados. Uno requiere divulgaciones que informen a las personas cuando un algoritmo tomará una decisión de alto riesgo que los afectará; el otro es dar a las personas el derecho de revisar o disputar tales decisiones. La Oficina de Política Científica y Tecnológica de la Casa Blanca está actualmentedesarrollando una Declaración de Derechos de AI .
Algunos especialistas en robótica negros dicen que sus preocupaciones acerca de que el racismo se convierta en máquinas automatizadas provienen de una combinación de experiencia en ingeniería y experiencia personal.
Terrence Southern creció en Detroit y ahora vive en Dallas, manteniendo robots para el fabricante de remolques ATW. Recuerda haber enfrentado barreras para ingresar a la industria de la robótica, o incluso para ser consciente de ello. “Mis padres trabajaron para General Motors, y no podría haberte dicho lo que un robot podría hacer fuera de Los Supersónicos y Star Wars”, dice Southern. Cuando se graduó de la universidad, no vio a nadie que se pareciera a él en las empresas de robótica y cree que poco ha cambiado desde entonces, lo cual es una de las razones por las que asesora a jóvenes interesados en buscar trabajos en el campo.
Southern cree que es demasiado tarde para evitar por completo el despliegue de robots racistas, pero cree que la escala podría reducirse mediante el ensamblaje de conjuntos de datos de alta calidad, así como evaluaciones independientes de terceros de afirmaciones falsas hechas por empresas que construyen sistemas de IA.
Andra Keay, directora general del grupo industrial Silicon Valley Robotics y presidenta de Women in Robotics , que cuenta con más de 1700 miembros en todo el mundo, también considera que los hallazgos del experimento robot racista no son sorprendentes. La combinación de sistemas necesarios para que un robot navegue por el mundo, dijo, equivale a “una gran ensalada de todo lo que podría salir mal”.
Keay ya estaba planeando presionar a los organismos de establecimiento de estándares como el Instituto de Ingenieros Eléctricos y Electrónicos (IEEE) para que adopten reglas que requieran que los robots no tengan género aparente y sean neutrales en etnicidad. Con las tasas de adopción de robots en aumento como resultado de la pandemia de Covid-19, dice Keay, también apoya la idea de que el gobierno federal mantenga un registro de robots para monitorear el despliegue de máquinas por industria.
A fines de 2021, en parte como respuesta a las preocupaciones planteadas por la comunidad de inteligencia artificial y robótica, el IEEE aprobó un nuevo estándar de transparencia para sistemas autónomos que podría ayudar a impulsar a las empresas a garantizar que los robots traten a todas las personas de manera justa. Requiere sistemas autónomos para transmitir honestamente las causas de sus acciones o decisiones a los usuarios. Sin embargo, los grupos profesionales que establecen estándares tienen sus límites: en 2020, un comité de política tecnológica de la Association for Computing Machinery instó a las empresas y los gobiernos a dejar de usar el reconocimiento facial, un llamado que en gran medida cayó en saco roto.
Cuando Carlotta Berry, directora nacional de Black in Robotics, escuchó que un robot de ajedrez le rompió el dedo a un niño el mes pasado, lo primero que pensó fue: “¿Quién pensó que este robot estaba listo para el horario de máxima audiencia cuando no podía reconocer la diferencia entre una pieza de ajedrez?” pieza y el dedo de un niño? Es codirectora de un programa de robótica en el Instituto de Tecnología Rose-Hulman en Indiana y editora de un próximo libro de texto sobre cómo mitigar el sesgo en el aprendizaje automático. Ella cree que parte de la solución para evitar el despliegue de máquinas sexistas y racistas es un conjunto común de métodos de evaluación para los nuevos sistemas antes de ponerlos a disposición del público.
En la era actual de la IA, mientras los ingenieros e investigadores compiten para lanzar nuevos trabajos, Berry se muestra escéptico de que se pueda confiar en los constructores de robots para autorregularse o agregar funciones de seguridad. Ella cree que se debe poner un mayor énfasis en las pruebas de usuario.
“Simplemente no creo que los investigadores en el laboratorio siempre puedan ver el bosque por los árboles, y no reconocerán cuando hay un problema”, dice Berry. ¿Está el poder computacional disponible para los diseñadores de sistemas de IA por delante de su capacidad para considerar cuidadosamente lo que deberían o no deberían construir con él? “Es una pregunta difícil”, dice Berry, “pero una que debe responderse, porque el costo es demasiado alto para no hacerlo”.
Fuente: https://www.wired.com/story/how-to-stop-robots-becoming-racist/
