Reparando los sesgos de IA

por Michael Wu

Es solo cuestión de tiempo hasta que las aplicaciones de IA se vuelvan más frecuentes en las industrias de alto riesgo. Por lo tanto, el sesgo de la IA merece un examen más detenido.

---

---

1. Reconocer el sesgo

Es solo cuestión de tiempo hasta que las aplicaciones de IA se vuelvan más frecuentes en las industrias de alto riesgo. Por lo tanto, el sesgo de la IA merece un examen más detenido.

Estamos en la cúspide de una nueva era de IA. La adopción de IA en aplicaciones de consumo se ha generalizado. Sin embargo, la adopción empresarial de la IA ha sido más lenta debido a dos áreas principales de preocupación:

1. El problema de la caja negra: las decisiones de AI no se pueden interpretar.
2. El problema del sesgo de la IA: las decisiones de la IA pueden estar sesgadas.

El problema de la caja negra ocurre cuando no está claro cómo la IA toma una decisión. Esto causa temor en los tomadores de decisiones porque no pueden entender cómo la IA está generando recomendaciones. Sin embargo, no todas las soluciones de IA empresarial son cajas negras. Además, los líderes empresariales han utilizado muchas otras tecnologías en el pasado que no podían explicar. Por lo tanto, el “problema” de la caja negra es solo un chivo expiatorio conveniente para los tomadores de decisiones que temen perder el control. Hoy en día, la comunidad de IA explicable (XAI) está desarrollando muchas tecnologías que brindan una transparencia mucho mayor a los algoritmos de caja negra. Así que el problema de la caja negra pronto se convertirá en un problema del pasado.

Sin embargo, el problema del sesgo es legítimo y merece un examen más detenido. Es solo cuestión de tiempo hasta que las aplicaciones de IA se vuelvan más frecuentes en las industrias de alto riesgo. En estas industrias, las empresas pueden confiar en la IA para ayudar a revisar los currículos y automatizar las entrevistas de trabajo, o incluso determinar la solvencia crediticia de uno. Las decisiones sesgadas de AI podrían conducir a prácticas comerciales discriminatorias que en última instancia resultan en una crisis de relaciones públicas y/o multas enormes. Esto podría evitar que las empresas incluso consideren el uso de dicha IA, ya que estas industrias pueden tener requisitos de cumplimiento.

¿Cómo se sesga la IA?

Para abordar el problema del sesgo de la IA, primero debemos entender de dónde provienen estos sesgos. Aquí, usaremos la definición simple de que la IA es una máquina que imita los comportamientos humanos con dos características importantes:

1. La capacidad de automatizar decisiones y acciones posteriores.
2. La capacidad de aprender y mejorar la toma de decisiones futuras con el uso.

Dado que la IA debe automatizar las decisiones “humanas”, debe imitar nuestros procesos de toma de decisiones. AI hace esto a través del aprendizaje automático (ML), que intenta recrear nuestro modelo mental de cómo funciona el mundo, por lo que los sesgos en AI son el resultado de los modelos sesgados creados por ML.

Ahora, debido a que todos los modelos de ML deben entrenarse con datos para corregir sus parámetros de modelo, una razón importante por la que ML crea modelos sesgados es porque los datos utilizados para entrenar el modelo están sesgados. La mayoría de los datos utilizados en el entrenamiento de ML son generados por humanos, a partir de decisiones anteriores que tomaron. Por lo tanto, el sesgo de la IA es simplemente un reflejo de los sesgos inherentes a nuestros propios procesos de toma de decisiones.

¿Cómo podemos combatir el sesgo en la IA?

Es importante conocer esta secuencia de causalidad, porque nos brinda múltiples puntos de ataque para abordar este problema de sesgo de la IA. Hoy en día, la mayoría de los profesionales de la IA en la industria tratan el sesgo de la IA como un problema de datos. En gran medida, si podemos corregir los datos sesgados, solucionaremos el problema del sesgo de la IA. De hecho, se han creado muchas tecnologías y nuevas empresas para descubrir, monitorear y potencialmente corregir los sesgos en los datos. Sin embargo, corregir los datos sesgados no es la única forma de abordar el problema.

Hay muchas formas de lidiar con los sesgos en la IA, según el contexto y el caso de uso de la IA en cuestión. Aquí hay tres enfoques generales para el problema del sesgo de la IA:

1. Simplemente reconociendo los sesgos.
2. Corrección de los datos sesgados.
3. Arreglando la causa raíz de los sesgos.

Dado que una exposición detallada de los tres haría que este artículo fuera demasiado largo, cubriremos el primer enfoque hoy y guardaremos los demás para futuras entradas de esta miniserie sobre el problema del sesgo de la IA.

¿Qué significa reconocer los sesgos?

El primer paso para reconocer los sesgos es comprender qué tipos de sesgos existen en la IA bajo escrutinio. Esto requiere un análisis detallado tanto de la entrada como de la salida del proceso de capacitación antes de que la IA se utilice en un entorno de producción implementado. Es importante tener en cuenta que estos no son los datos de entrada y las decisiones de salida de la IA en funcionamiento normal.

La entrada principal al proceso de entrenamiento son los datos de entrenamiento que se utilizan para determinar los parámetros del modelo en la IA. Los datos de capacitación pueden estar sesgados porque normalmente se recopilan de una muestra mucho más pequeña de la población objetivo. La población objetivo incluye a todos los usuarios potenciales o cualquier persona que pueda verse afectada por la decisión de la IA. Es crucial asegurarse de que la población objetivo esté bien representada en los datos de capacitación. De lo contrario, la IA heredará el sesgo de los datos de entrenamiento y no funcionará correctamente para los grupos que no están bien representados en los datos de entrenamiento.

El resultado del proceso de formación es el modelo, por lo que debemos establecer un seguimiento continuo del modelo en funcionamiento. Los análisis sobre la decisión de la IA deben analizarse para ver si todas las decisiones sesgadas de la IA pueden explicarse por los datos de entrenamiento sesgados. Los sesgos emergentes que no se esperan de los datos de entrenamiento deben analizarse más a fondo para comprender cómo surgieron.

Demuestre su reconocimiento con acciones

Una vez que tengamos una buena comprensión de los sesgos tanto heredados como emergentes, la siguiente pregunta es qué hacemos al respecto. Lo más simple que podemos hacer es no hacer nada. Entonces, ¿cómo podemos saber si alguien realmente reconoce los sesgos? Deben demostrarlo con acciones.

Dado que todos los sesgos conocidos seguirán estando en la IA, la mejor manera de reconocer su existencia es garantizar que esta IA se use de manera adecuada y responsable. Eso significa que no debemos generalizar en exceso la aplicabilidad de la IA más allá de los datos de entrenamiento. Si la IA muestra sesgos en ciertos grupos, entonces no debe usarse entre esos grupos. Esto esencialmente evitará que se manifiesten decisiones sesgadas y limitará los impactos negativos de esas decisiones.

Por lo tanto, reconocer los sesgos es más que admitir pasivamente la existencia de sesgos. Se necesitan esfuerzos para identificar los sesgos y requiere acción para garantizar que la IA no se use fuera de su límite de generalización.

Conclusión

El sesgo en la IA es un problema emergente que está obstaculizando la adopción de la IA en ciertas industrias de alto riesgo. El primer paso para combatir los sesgos en la IA es reconocer que existen sesgos en la IA y tomar medidas para identificarlos y comprender su alcance e impacto. Finalmente, para reconocer verdaderamente estos sesgos, debemos usar la IA con cuidado y asegurarnos de que su uso no sea demasiado generalizado. En mi próximo artículo, discutiremos cómo podemos corregir los sesgos en los datos.

---

2. Sesgos heredados de los datos

Un obstáculo importante continúa impidiendo que las empresas se den cuenta de todo el potencial de la IA: el miedo y la desconfianza de la IA sesgada.

Hoy en día, la tecnología de IA se está volviendo más omnipresente en nuestras vidas. Pero un obstáculo importante sigue impidiendo que las empresas se den cuenta de todo el potencial de la IA.

El miedo y la desconfianza hacia la IA porque la IA puede ser sesgada todavía impide que muchas industrias adopten por completo la IA y sus múltiples beneficios.

En mi último artículo, ” Cómo lidiar con los sesgos de la IA, parte 1 “, hablamos sobre el problema del sesgo de la IA y exploramos cómo la IA se volvió sesgada. Y la respuesta más simple al sesgo de la IA es reconocer el sesgo y utilizar juiciosamente los algoritmos entrenados. No usar la IA sesgada en poblaciones donde su sesgo margina a ciertos grupos podría limitar su daño potencial, pero esto también limita los beneficios que podría traer.

Entonces, ¿qué más podemos hacer para lidiar con el sesgo de la IA?

Como se discutió en el artículo anterior, el problema del sesgo de la IA actualmente se considera como un problema de datos. Y, en gran medida, si podemos arreglar los datos sesgados, habríamos abordado la mayoría de los sesgos de la IA. Antes de intentar corregir el sesgo en los datos, primero debemos aclarar un concepto erróneo común sobre el sesgo.

Los sesgos en los datos no siempre son malos

Contrariamente a las creencias más comunes, no todos los sesgos son malos. De hecho, a menudo se introducen sesgos en los datos de entrenamiento para mejorar el rendimiento del modelo entrenado. El ejemplo clásico de esto es cuando se entrena un clasificador con datos desequilibrados (es decir, utilizando datos con proporciones de clase muy sesgadas).

Si recopilamos datos de transacciones de un portal de comercio electrónico para entrenar a un detector de fraudes, obtendremos muchas más transacciones legítimas que fraudulentas. Este desequilibrio en los datos etiquetados es una representación imparcial de la realidad y refleja la tasa de ocurrencia natural de los fraudes. Aunque son altamente indeseables, las transacciones fraudulentas son bastante raras.

Sin embargo, es una práctica común en la ciencia de datos volver a muestrear dichos datos para lograr una proporción de clase más equilibrada (es decir, ~50 % legítimo y ~50 % de fraude) antes de la capacitación. Al hacerlo, estamos introduciendo sesgos en los datos de entrenamiento. El resultado es que haremos que el clasificador sea mucho más sensible para detectar transacciones fraudulentas (es decir, más discriminante). Se podría argumentar que, en esencia, estamos discriminando a los fraudes. Pero espera, ¿no es eso exactamente lo que queríamos?

Claramente, el sesgo, en este caso, es deseable. Y en muchas situaciones, los científicos de datos pueden introducir sesgos de forma artificial para hacer que el aprendizaje automático (ML) sea más efectivo, para hacer un uso más eficiente de sus datos limitados o simplemente para hacer que el modelo funcione mejor.

Entonces, ¿cuándo es indeseable el sesgo? Cuando margina a determinados grupos de una población donde se utilizará la IA. Algunos de los peores tipos de sesgos de IA son aquellos que dan como resultado la discriminación y la marginación de ciertos grupos definidos por características protegidas , como la raza, el género, la edad, etc. Tales sesgos son definitivamente no deseados.

Ahora que entendemos qué tipos de sesgos son indeseables, podemos examinar cómo corregir estos sesgos no deseados en nuestros datos. Cuando hablamos de sesgos en el resto de este artículo, se asume que son sesgos no deseados a menos que se indique lo contrario.

El origen de los sesgos heredados en los datos

AI puede heredar los sesgos en sus datos de entrenamiento. Y estos sesgos podrían surgir en cualquier lugar a lo largo de la tubería de procesamiento de datos desde el momento en que se capturan los datos. Estos datos sesgados suelen ser el resultado de dos procesos.

1. Algunos sesgos pueden ser inherentes a los procesos de recopilación de datos.
2. Se pueden introducir o inyectar otros sesgos como parte de los procesos de preprocesamiento e ingeniería de características.

Sin embargo, en la mayoría de los trabajos de ciencia de datos, normalmente no controlamos el proceso de recopilación de datos. Los científicos de datos simplemente trabajan con los datos que tienen tal como están. Entonces, en este artículo, vamos a diferir los sesgos de captura de datos para una discusión posterior y nos centraremos en los sesgos inyectados durante la fase de preprocesamiento de datos de la canalización de ML.

Evitar el sesgo involuntario Introducción

Cuando se trabaja con datos, es una práctica común que los científicos de datos realicen algunas disputas de datos antes de usarlos para entrenar los modelos de ML en IA. Y hay literalmente un número infinito de formas en que podemos limpiar, transformar y enriquecer los datos sin procesar en la etapa de preprocesamiento antes del entrenamiento. Esto incluye volver a muestrear los datos para lograr una proporción de clase más equilibrada, ingeniería de características e incluso cómo dividimos los datos para entrenamiento y validación.

Durante esta etapa de preprocesamiento de datos, es posible introducir sesgos accidentalmente en los datos. como podemos prevenir esto? Irónicamente, la mejor manera de evitar la introducción accidental de sesgos es tener atributos demográficos detallados (que incluyen las características protegidas) para todos los elementos de datos. Esto permite a los científicos de datos monitorear la distribución de los atributos demográficos y ver cómo han cambiado a medida que se preprocesan los datos. Sin los datos demográficos, simplemente no podemos estar seguros de que no se haya introducido ningún sesgo a través de la disputa de datos.

Sin embargo, debido a la sensibilidad y el riesgo asociados con los datos demográficos detallados, muchas organizaciones eligen no capturarlos ni almacenarlos. En ausencia de datos demográficos, el enfoque estándar para evitar crear sesgos es aprovechar la aleatoriedad. Si se selecciona una muestra lo suficientemente grande completamente al azar, entonces no debería cambiar la distribución subyacente de la demografía de la población. Aunque no podemos estar 100 % seguros, al menos tendremos negación si se introdujo un sesgo inadvertidamente.

Recopilación de datos demográficos confidenciales

Dado que la IA puede heredar sus comportamientos sesgados de sus datos de entrenamiento, es obvio que nunca debemos usar ningún dato o característica derivada de ninguna característica protegida por las leyes locales. Además, estas características protegidas pueden ser diferentes en diferentes países. Sin embargo, esto no significa que nunca debamos recopilar datos demográficos.

Tener datos demográficos detallados puede ayudar a revelar los sesgos en los datos para que podamos comprenderlos mejor. Sin embargo, tener los datos demográficos al alcance de los científicos de datos es una tentación. Entonces, ¿debería recopilar datos confidenciales con características protegidas?

La respuesta depende de la madurez de las prácticas de datos de su organización. En empresas de datos establecidas con un gobierno de datos sólido, donde el acceso a cada dato se registra, revisa y analiza, la recopilación de datos demográficos puede ayudar a monitorear y prevenir la inyección de sesgos. Pero en una startup donde todo vale, podría ser más seguro no tener esos datos demográficos para evitar el mal uso accidental.

Independientemente de si tiene acceso a datos demográficos o no, ¡nunca debe usarlos, ni ningún derivado de ellos, para entrenar sus modelos ML!

Inyectar sesgo en los datos de entrenamiento

Finalmente, otro hecho irónico al lidiar con el sesgo de la IA es que puedes combatir el sesgo con sesgo en algunas situaciones. Dado que podemos introducir sesgos artificialmente en los datos de entrenamiento a medida que los preprocesamos para el entrenamiento, podemos inyectar buenos sesgos para contrarrestar los sesgos no deseados. Y ya lo hemos visto en acción cuando discutimos por qué los datos sesgados no siempre son malos.

Digamos que estamos construyendo un sistema de reconocimiento de voz en inglés y hemos recopilado muestras aleatorias de voz en los EE. UU. para entrenar este sistema. Si el muestreo fue realmente aleatorio en todo EE. UU., entonces la distribución étnica de los datos debería reflejar la demografía subyacente de la población de EE . UU . (es decir, ~60 % blancos, ~19 % hispanos, ~12 % afroamericanos y ~6 % asiáticos). ).

Aunque esta es una representación imparcial de la población, entrenar nuestro sistema con estos datos podría hacer que el sistema muestre comportamientos sesgados. Por ejemplo, el sistema puede funcionar mal y no reconocer los discursos de los usuarios con acento asiático. Esta es una consecuencia directa de no tener suficientes muestras de entrenamiento para que el algoritmo ML aprenda los acentos asiáticos. Aunque habrá muchos menos asiáticos usando este sistema, ya que solo hay un 6% de asiáticos en los EE. UU., queremos que este sistema funcione igual de bien (sea imparcial) para todos los usuarios dentro de los EE. UU.

En esta situación, podemos inyectar sesgo en nuestros datos de entrenamiento submuestreando los datos de entrenamiento de blancos, hispanos y afroamericanos, para aumentar artificialmente la proporción de muestras de entrenamiento de hablantes asiáticos. Esencialmente, estamos inyectando sesgo en los datos de entrenamiento para reducir el sesgo de rendimiento de nuestra IA en una característica protegida (es decir, raza).

Conclusión: la gobernanza de datos maduros es clave

Entonces, no todos los sesgos de datos son malos. De hecho, el “buen sesgo” en los datos a menudo se introduce deliberadamente para hacer que ML sea más efectivo, usar los datos limitados de manera eficiente o para contrarrestar los efectos negativos de los “malos sesgos”.

Cuando se trata de sesgos de IA heredados de sus datos de entrenamiento, es útil tener atributos demográficos detallados para las muestras de datos de entrenamiento. Permite un mejor reconocimiento de los sesgos (lo que incluye el seguimiento y la notificación a largo plazo). Sin embargo, trabajar con datos demográficos confidenciales que contienen características protegidas no está exento de riesgos. Y es mejor tener una función de gobierno de datos madura antes de sumergirse.

En la próxima entrega de esta miniserie sobre el sesgo de la IA, exploraremos cómo lidiar con los sesgos emergentes que no se heredan de los datos de entrenamiento.

---

3. Sesgos emergentes en modelos operativos

Los sesgos emergentes aún pueden surgir incluso cuando hemos entrenado los algoritmos de aprendizaje automático con un conjunto de datos limpio sin sesgos conocidos.

El problema del sesgo de IA a menudo se trata como un problema de datos, porque muchos ejemplos bien documentados de comportamientos de IA sesgados se heredan directamente de los sesgos dentro de sus datos de entrenamiento.

Como discutimos anteriormente, en la primera y segunda parte de esta serie de tres partes, los sesgos en los datos no siempre son malos. De hecho, los científicos de datos a menudo inyectan sesgos a medida que los datos se procesan previamente antes del entrenamiento. La inyección de sesgo se puede utilizar para contrarrestar sesgos no deseados que resultan en tratos injustos, discriminación o marginación de subpoblaciones definidas por características inmutables .

Hoy vamos a explorar otra clase importante de sesgos de IA. Estos son sesgos emergentes que no se heredan de los datos de entrenamiento. Eso significa que aún pueden surgir sesgos emergentes incluso cuando hemos entrenado los algoritmos de aprendizaje automático (ML) con un conjunto de datos limpio sin sesgos conocidos. Para ver cómo esto es posible, debemos comprender dónde se originan los sesgos emergentes.

El origen de los sesgos emergentes

Un flujo de trabajo de ciencia de datos estereotípico implica:

1. Preprocesamiento de los datos entregados a los científicos de datos.
2. Entrenamiento de los algoritmos de ML para obtener el modelo final.
3. Implementación del modelo entrenado en sistemas de IA de producción.

Aunque este flujo de trabajo estereotípico está muy simplificado, ofrece una idea de dónde podrían surgir los sesgos emergentes. Primero, debemos reconocer que durante la fase de implementación del modelo (paso 3), el modelo y todos sus artefactos (p. ej., parámetros, configuraciones, archivos auxiliares y bibliotecas) son fijos y se supone que no deben cambiar. El proceso de implementación simplemente replica el entorno informático en la nube y transfiere solo los activos necesarios para que el modelo se ejecute en la nube. Por lo tanto, es poco probable que se puedan introducir sesgos durante la implementación.

Además, si el preprocesamiento de datos (paso 1) se realiza correctamente, no debería haber sesgos no deseados en los datos de entrenamiento. Dado que los sesgos emergentes no se heredan de los datos de entrenamiento, el único lugar donde estos sesgos podrían surgir es durante el proceso de entrenamiento (paso 2). Por lo tanto, es hora de que nos sumerjamos y veamos qué podría haber creado sesgos emergentes durante el proceso de capacitación.

A pesar de la creencia común, el proceso de entrenamiento de ML es un proceso altamente no lineal que involucra muchas iteraciones de reentrenamiento y nuevas pruebas. Dado que este tema es muy técnico, pasaremos por alto los detalles y centraremos nuestra discusión en el contexto de la creación de sesgos y proporcionaremos enlaces para una exploración más profunda.

Entrenamiento de modelos ML bajo el capó

Como científico de datos, cuando decimos que estamos entrenando un modelo de ML, lo que realmente estamos haciendo es optimizar algunas funciones objetivo (o función de pérdida) con respecto a los parámetros del modelo. En pocas palabras, queremos encontrar los parámetros del modelo que optimicen la función objetivo, que generalmente mide qué tan bien se ajusta el modelo a los datos.

Hay un puñado de funciones objetivas estándar (por ejemplo, pérdida al cuadrado, pérdida de probabilidad logarítmica) para tipos comunes de problemas de ML (por ejemplo, regresión, clasificación), respectivamente. Pero, más allá de las más comunes, existen muchas más funciones objetivas considerando todas las aplicaciones especializadas de ML.

Elegir una función objetivo sobre otra es más arte que ciencia, ya que cada uno hace ciertas suposiciones sobre el ruido en los datos. En la práctica, la mayoría de las suposiciones sobre los datos están lejos de ser correctas, por no hablar de las suposiciones sobre el ruido oculto en los datos. Y cuando no se cumplen estas suposiciones, los parámetros del modelo optimizado estarán sesgados, lo que dará como resultado un modelo sesgado. Un ejemplo de libro de texto de esto es cuando se entrena un modelo de regresión usando la pérdida al cuadrado. El modelo optimizado estará muy sesgado por la presencia de valores atípicos .

Detección de sesgos emergentes

El resultado del proceso de entrenamiento es el modelo. Debido a que el proceso de entrenamiento solo se enfoca en optimizar el objetivo, no hay restricciones sobre cómo transforma los datos de entrenamiento. Por lo tanto, es posible que los datos de entrenamiento se transformen y se vuelvan a combinar para crear sesgos emergentes en el modelo.

Es importante tener en cuenta que detectar sesgos emergentes es mucho más desafiante que detectar sesgos heredados. Primero, se deben analizar los análisis de la decisión de la IA para ver si todas las decisiones sesgadas de la IA pueden explicarse por sesgos conocidos dentro de los datos de entrenamiento. Los sesgos emergentes son aquellos que no pueden explicarse mediante datos de entrenamiento sesgados.

Sin embargo, dado que estos sesgos están profundamente codificados en los numerosos parámetros e hiperparámetros del modelo, es muy difícil descubrir los sesgos emergentes al examinar el modelo. En la práctica, muchos de los modelos entrenados ni siquiera son interpretables, por lo que la única forma efectiva de detectar sesgos emergentes es a través del monitoreo continuo del modelo en funcionamiento.

Además, el sesgo de la IA nunca es evidente cuando se examina individualmente. Así como es imposible determinar si una moneda es justa observando solo unos pocos lanzamientos de moneda, el sesgo de la IA solo se puede observar cuando tenemos un tamaño de muestra de decisiones estadísticamente significativo. Por lo tanto, es fundamental realizar un seguimiento de la salida de decisiones de todos los sistemas de IA durante largos períodos de funcionamiento y tener un comité de ética de IA que audite periódicamente las decisiones de IA contra el cumplimiento preestablecido.

Construyendo un Comité de Ética e Integridad de AI

Una función importante del comité de ética de AI es establecer estos cumplimientos. Si forma parte de un comité de ética de IA para un sistema de IA de recursos humanos, por ejemplo, primero deberá establecer la línea de base de referencia para que la IA sea justa (imparcial). ¿Debe utilizar la distribución demográfica del país como referencia? ¿Qué pasa si este sistema se usa en una ciudad donde la demografía difiere significativamente del nivel nacional? ¿O debería utilizar como referencia la distribución demográfica de los solicitantes de empleo actuales, recientes o anteriores?

Además de establecer la línea base de referencia, el comité de ética también debe determinar la desviación aceptable de la línea base. Dado que cualquier número finito de lanzamientos de monedas se desviará de la línea de base del 50 % de cara frente a cruz (a veces de manera bastante significativa en una muestra pequeña), dicha desviación es puramente el resultado de un muestreo aleatorio, no de un sesgo. Determinar el rango aceptable de desviación requiere tanto estadísticas como conocimiento del dominio de la industria.

En la práctica, los cumplimientos éticos generalmente no se esfuerzan por tomar decisiones 100 % imparciales. Más bien, es un equilibrio entre el estado actual y algo aspiracional. De hecho, son más alcanzables y, por lo tanto, más efectivos a largo plazo cuando los crea un comité con miembros diversos. Además, tener muchos pares de ojos con diferentes lentes ayuda al comité a examinar mejor los análisis de las decisiones de la IA y a ser más eficaz en la identificación de nuevos sesgos antes de que se conviertan en crisis.

La espada de dos filos: crear prejuicios para combatir los prejuicios

Al igual que los sesgos heredados, que se pueden inyectar en los datos de entrenamiento, los sesgos también se pueden introducir en los procesos de entrenamiento. Además de elegir la función objetivo, los científicos de datos tienen varios mecanismos adicionales para inyectar sesgos en el modelo de ML a través del entrenamiento. Debido a que todas estas técnicas implican cierto grado de subjetividad, me referiré colectivamente a ellas como métodos subjetivos de selección de modelos.

1. Regularización : agregar términos de regularización a la función de pérdida para imponer restricciones adicionales en el modelo (por ejemplo, en regresión de cresta, regresión de lazo y parada anticipada ).
2. Ajuste de hiperparámetros : elegir los parámetros estructurales o de nivel superior que no se ajustan al optimizar la función objetivo (por ejemplo , validación cruzada , optimización bayesiana y algoritmos evolutivos ).
3. Selección de modelos basada en la complejidad: equilibrar la complejidad del modelo al penalizar sus grados de libertad utilizando criterios teóricos de la información (por ejemplo , AIC , BIC y MDL ).

No es noticia en la ciencia de datos que la selección de modelos subjetivos produzca modelos sesgados. Pero estos sesgos suelen ser de naturaleza estadística y no darán lugar a injusticia o discriminación. Mediante el uso de estas técnicas, podemos empujar el modelo para que ponga más peso en las variables con ciertas características estadísticas al generar sus decisiones finales; por lo tanto, sesgando el modelo. Sin embargo, usamos estas técnicas regularmente para mejorar el rendimiento del modelo en datos no vistos al mitigar el sobreajuste , lo que finalmente hace que el modelo sea más generalizable.

Ahora, es precisamente porque la selección subjetiva del modelo puede crear sesgos en los modelos que a veces podemos usarlos para crear los sesgos que queremos, a fin de contrarrestar los que queremos eliminar. Sin embargo, esta es una espada de doble filo y debe hacerse con cuidado. De lo contrario, podríamos estar introduciendo más sesgos de los que eliminamos. De hecho, es probable que muchos sesgos emergentes se hayan creado accidentalmente a través de la aplicación descuidada de estas técnicas.

Inyectar sesgo correctamente: cuidado con la correlación

Entonces, ¿cómo inyectamos sesgo de manera adecuada y segura?

Recuerde que las técnicas de selección de modelos subjetivos sesgarán la decisión de salida de un modelo ML en función de ciertas características estadísticas. Por lo tanto, es crucial asegurarse de que estas cualidades estadísticas no estén correlacionadas (con ningún significado estadístico) con rasgos demográficos sensibles o protegidos. De lo contrario, los sesgos inyectados a través de la selección subjetiva del modelo también pueden estar sesgados con respecto a la demografía.

Establecer una correlación significativa entre la demografía y algunas propiedades estadísticas de interés es muy difícil. Porque estas correlaciones suelen ser muy débiles; y podrían surgir puramente de la aleatoriedad del muestreo finito. Alternativamente, tales correlaciones débiles pueden reflejar una relación débil pero causal que está muy arriba en la cadena de causalidad.

El desafío es que actualmente no existe una forma efectiva de determinar qué causa produjo estas correlaciones débiles. Por lo tanto, a pesar de todo el rigor científico que se dedica a la mitigación de sesgos, lidiar con los sesgos emergentes aún requiere intervenciones humanas sustanciales.

Conclusión: Auditorías Periódicas de Diversos Comités de Ética Ayuda

Incluso cuando los datos de entrenamiento no están sesgados de acuerdo con los cumplimientos establecidos, todavía se pueden crear sesgos emergentes durante el proceso de entrenamiento. Esto puede suceder si no logramos establecer las correlaciones causales entre los rasgos demográficos sensibles y las propiedades estadísticas que usamos en la selección del modelo subjetivo.

Debido a la dificultad para determinar tales relaciones causales, los sesgos emergentes solo pueden descubrirse mediante un seguimiento a largo plazo de las decisiones operativas de la IA y auditorías periódicas realizadas por un comité de ética diverso. Pero una vez identificados, los sesgos emergentes se pueden corregir inyectando sesgos que los contrarresten en los datos de entrenamiento o durante el proceso de entrenamiento.

---

4. Reparando la causa raíz de los sesgos de IA

En la mayoría de las situaciones prácticas, hay dos fuentes principales donde se crean los sesgos heredados.

En la mayoría de las situaciones prácticas, hay dos fuentes principales donde se crean los sesgos heredados.

Hoy vamos a discutir la batalla final para lidiar con el sesgo de la IA. Es decir, ¿cómo podemos solucionar la causa raíz de los sesgos de la IA? Dado que la exposición de hoy se basa en nuestras discusiones anteriores sobre este mismo tema, es importante familiarizarse con las tres entregas que ya hemos publicado sobre el sesgo de la IA.

1. Reconocer el sesgo
2. Sesgos heredados de los datos
3. Sesgos emergentes en modelos operativos

Como se discutió anteriormente, las fuentes más comunes de sesgo de IA son las que se heredan de los datos de entrenamiento. Y estos sesgos heredados a menudo se introducen cuando preprocesamos los datos antes del entrenamiento. Por el contrario, se puede crear un sesgo emergente durante el entrenamiento incluso cuando los datos de entrenamiento no están sesgados. Por lo tanto, estos sesgos a menudo se crean durante el entrenamiento, ya que los científicos de datos emplean la selección de modelos subjetivos (por ejemplo , regularización, ajuste de hiperparámetros , etc.) para finalizar su elección de modelo.

Contrariamente a la creencia convencional, el trabajo de ciencia de datos requiere mucha discreción. Por lo tanto, muchos procedimientos estándar en ciencia de datos son fuentes potenciales donde se puede introducir sesgo si se aplica al azar. Pero también sirven como puntos naturales para que inyectemos sesgos que contrarresten para neutralizar los sesgos que queremos eliminar. Con científicos de datos meticulosos, el sesgo inyectado inadvertidamente (ya sea heredado o emergente) debería ser mínimo. Lo que queda son los sesgos heredados que ya existen en los datos de entrenamiento.

Como científicos de datos, a menudo tratamos los datos que se nos brindan como datos de entrada sin procesar. Rara vez nos preguntamos de dónde provienen los datos y cómo se recopilaron. Entonces, ¿de dónde vienen estos sesgos heredados preexistentes? ¿Pueden eliminarse? En la mayoría de las situaciones prácticas, hay dos fuentes principales donde se crean los sesgos heredados.

Eliminar los sesgos de captura de datos

Dado que todos los datos de entrenamiento deben capturarse y recopilarse en algún momento, los sesgos heredados preexistentes pueden ser el resultado de procesos de recopilación de datos sesgados. Todos los esquemas de recopilación de datos se diseñan y construyen como resultado de una serie de opciones de diseño. Y es un hecho bien conocido en Choice Architecture que no hay diseños neutrales. Por lo tanto, cada proceso de recopilación de datos está inherentemente sesgado.

Por ejemplo, es bien sabido que los datos de las encuestas siempre presentan un cierto sesgo de autoselección. Dichos datos sobrerepresentarán a los consumidores ya inclinados y diligentes y subrepresentarán a los que son perezosos o paranoicos.

Todavía podemos estar sesgados incluso cuando los datos se recopilan automáticamente a través de mediciones de comportamiento pasivo a través de sensores, dispositivos o redes WiFi. Es posible que, sin darnos cuenta, estemos seleccionando la población que estará cerca de los sensores que instalamos. Y podemos subrepresentar sistemáticamente a aquellos que no tienen acceso a WiFi confiable o un dispositivo móvil.

Si no controlamos el proceso de recopilación de datos, que suele ser el caso de la mayoría del trabajo de ciencia de datos, es crucial comprender los procesos de recopilación de datos para comprender los sesgos inherentes al proceso de recopilación de datos. Necesitamos reconocer estos sesgos como hemos discutido en mi artículo anterior . En la práctica, esto significa que debemos monitorear continuamente el nivel de sesgo en los datos sin procesar capturados para garantizar que los cambios en el sesgo no afecten negativamente al modelo entrenado.

Sin embargo, en algunas situaciones excepcionales en las que podemos influir en el proceso de recopilación de datos, debemos intentar capturar más datos y metadatos más completos que proporcionen el contexto para interpretar esos datos. En la era de los grandes datos y los sensores ubicuos, la estrategia predeterminada debería ser recopilar todo lo posible. Debatir sobre qué recolectar a menudo termina siendo más costoso debido a la pérdida de tiempo y velocidad de desarrollo.

Tener datos demográficos detallados puede ayudar a revelar los sesgos inherentes al proceso de recopilación de datos para que podamos comprenderlos mejor. Facilitará el seguimiento efectivo de cómo cambian los sesgos de recopilación de datos con el tiempo. Lo que es más importante, también puede ayudarnos a rediseñar el proceso de captura de datos para reducir el sesgo durante la recopilación de datos. Como con cualquier diseño, rediseñar el método de captura de datos es un ejercicio iterativo. Con un control de sesgo adecuado y una iteración rápida, los sesgos de recopilación de datos se pueden minimizar progresivamente con el tiempo.

Sesgos humanos inconscientes en la generación de datos

Si el mecanismo de captura de datos se ha perfeccionado iterativamente, el único lugar donde se pueden crear sesgos heredados es durante la generación de datos. Pero la mayoría de los datos utilizados en el entrenamiento de modelos de aprendizaje automático (ML) son generados por humanos. Estos datos son simplemente el resultado de decisiones y comportamientos humanos pasados. Por lo tanto, los sesgos inherentes a los datos de entrenamiento se originan en nosotros, los humanos. El sesgo en los datos es simplemente un reflejo de nuestro propio sesgo.

En la práctica, sin embargo, el sesgo de la IA a menudo parece ser más extremo y, por lo tanto, más perceptible que nuestro propio sesgo. Esto se debe a que, a menudo, el más mínimo sesgo en nuestras decisiones se puede magnificar de manera espectacular a través del proceso de capacitación de ML. Nuestros pequeños sesgos se acentúan cuando las máquinas aprenden muy rápidamente de grandes cantidades de datos. Esta amplificación es el resultado tanto de la alta velocidad de aprendizaje como de la consolidación de muchos datos. A pesar de esto, el problema del sesgo de la IA es fundamentalmente un problema de sesgo humano.

Resolviendo el sesgo en nuestros datos

Ahora que tenemos una buena comprensión de la causa raíz del problema del sesgo de la IA, ¿cómo podemos resolver este problema?

Como con la mayoría de los problemas, reconocer el problema es la mitad de la batalla. La otra mitad de la batalla involucra el cambio de comportamiento humano. Afortunadamente, este es un problema que sabemos cómo resolver. Y la solución implica tres pasos:

1. Proporcionar análisis para generar conciencia sobre los sesgos humanos existentes.
2. Establezca objetivos pequeños pero incrementales hacia la mitigación del sesgo
3. Use la gamificación con recompensas no monetarias para motivar decisiones menos sesgadas

Examen de la causa raíz del sesgo de datos en un caso hipotético de recursos humanos

En lugar de discutir esta solución en abstracto, es instructivo examinar un ejemplo en recursos humanos, donde el sesgo de IA en la contratación está bien documentado. Debido a la aleatoriedad estadística , incluso una moneda perfectamente justa puede parecer sesgada cuando el número de lanzamientos de moneda observados es pequeño. Asimismo, el sesgo en la contratación a menudo no se nota cuando se examina en un período de tiempo corto (por ejemplo, 1 mes o 1 trimestre) debido al pequeño tamaño de la muestra.

Por lo tanto, a menudo es útil proporcionar análisis e informes sobre la demografía de las nuevas contrataciones durante todo el año e incluso durante varios años. Esto permite que un gerente de contratación de ingeniería hipotético obtenga una imagen más completa de los sesgos de contratación cometidos dentro de todo el departamento de ingeniería. Si bien es posible que este gerente de contratación solo haya contratado a un ingeniero varón el último trimestre, ver que las últimas 15 contrataciones de ingeniería durante el último año han sido todos hombres probablemente influirá en su decisión sobre los candidatos actuales.

Dado que este equipo de ingeniería imaginario es tan predominantemente masculino, es improductivo establecer una meta poco realista de lograr una demografía de ingeniería equilibrada. Si la proporción actual de hombre a mujer es de 10:1, será más útil establecer una meta alcanzable de llegar a 9:1 en lugar de 1:1. En lugar de esforzarse por contratar a 15 ingenieras este año, es más útil apuntar a contratar a una o dos.

Una vez que se logran los objetivos fáciles, es importante estirar estos objetivos con el tiempo hacia una demografía bien equilibrada. Tal vez el próximo año, el objetivo sea lograr una proporción de hombres a mujeres de 8:1, y el departamento debería esforzarse por contratar a tres o cuatro mujeres en ingeniería.

Establecer un objetivo de contratación de diversidad e inclusión (D&I) alcanzable es útil y, a menudo, necesario para la alineación del equipo. Sin embargo, los humanos a menudo necesitamos un pequeño empujón para cambiar nuestros comportamientos de manera efectiva. La gamificación es una herramienta altamente efectiva que utiliza métricas de comportamiento para motivar el comportamiento deseado a través de un sistema jerárquico de incentivos estratégicamente entregados a lo largo del tiempo. Aunque los incentivos monetarios funcionan bien a corto plazo, en la práctica no son un impulsor eficaz para el cambio de comportamiento a largo plazo. Por lo tanto, es importante que los líderes institucionalicen de manera creativa los premios y reconocimientos que motiven los comportamientos de contratación de D&I deseados que eventualmente cambiarán la cultura de la empresa de manera sostenible.

Aunque hay sesgos de IA emergentes que se crean a través del proceso de entrenamiento, la mayoría de los sesgos de IA se heredan de sus datos de entrenamiento. Entonces, ¿dónde se originaron estos sesgos inherentes en los datos de entrenamiento?

1. Los datos se capturan con mecanismos de recopilación de datos sesgados.
2. Los datos se generan a partir de decisiones y comportamientos humanos sesgados en el pasado.

Los sesgos de captura de datos a menudo se tratan mediante el perfeccionamiento iterativo de los procesos de recopilación de datos mientras monitoreamos cuidadosamente los sesgos. Curiosamente, los sesgos humanos inconscientes también se pueden tratar de la misma manera.

Al monitorear nuestros propios sesgos e influir iterativamente en los comportamientos humanos sesgados que generaron los datos de entrenamiento, nosotros, los humanos, también podemos aprender a tomar decisiones menos sesgadas, eventualmente. Por lo tanto, aprender a corregir los sesgos de la IA no solo mejora nuestras herramientas de IA, sino que también puede mejorarnos a nosotros mismos y convertirnos en mejores humanos.

Fuente: https://www.cmswire.com/digital-experience/dealing-with-ai-biases-part-4-fixing-the-root-cause-of-ai-biases

---

Sobre el Autor – Michael Wu

El Dr. Michael Wu es el estratega jefe de IA en PROS (NYSE: PRO), donde ayuda a las empresas a sobrevivir y prosperar en la economía digital moderna mediante el uso de big data, aprendizaje automático e IA.

---

¿Las imágenes generadas por IA están sesgadas?

por David Ngure

Los generadores de imágenes de inteligencia artificial utilizan algoritmos matemáticos y de aprendizaje automático para crear imágenes a partir de una descripción escrita en lenguaje natural. Con OpenAI haciendo que DALL-E esté disponible para el público y Microsoft agregando generadores de imágenes de IA a productos como Bing y Microsoft Edge, la tecnología se está volviendo más accesible para el público en general.

Cuantas más personas usen generadores de imágenes de IA, mejores serán. Pero la IA a menudo está plagada de controversias cuando se lanza al público, y el problema destacado siempre es el ‘sesgo’. La mayoría de las herramientas de IA exhiben inclinaciones racistas o sexistas después de unas pocas horas de interacción con humanos que no sean sus desarrolladores.

Entonces, con el aumento de la popularidad y la función de los generadores de imágenes de IA, pensamos que era pertinente preguntar: ¿las imágenes generadas por IA están sesgadas?

IA y tú

Hay muchas aplicaciones de la IA en nuestra vida diaria, algunas más útiles que otras. ¿Alguna vez estuvo a punto de enviar un correo electrónico y recibió una ventana emergente que le pregunta si olvidó incluir un archivo adjunto? AI revisar su mensaje tal como lo escribió puede haberlo salvado de un error vergonzoso.

Si usa aplicaciones de navegación populares como Waze, Apple Maps o Google Maps, se beneficiará de la IA . Si alguna vez te has preguntado por qué las redes sociales se sienten tan atractivas, la respuesta es en gran parte que la inteligencia artificial ha elegido lo que verás para mantener tus ojos fijos en la pantalla . Y si alguna vez ha pedido un paquete esperando la entrega al día siguiente, tiene que agradecer a la logística habilitada por IA.

Los gobiernos utilizan la IA para el control del tráfico, los servicios de emergencia y la asignación de recursos. De manera más controvertida, también han utilizado la IA para problemas, como la seguridad mediante el reconocimiento facial , que han llevado a arrestos injustificados.

La inteligencia artificial y el aprendizaje automático están impulsados ​​en gran medida por la percepción de la IA de un resultado exitoso. Cuando un usuario interactúa con un algoritmo y acepta o rechaza un resultado, la máquina “aprende” que su algoritmo es bueno o malo.

Si, por ejemplo, un usuario de Waze llega a su destino a tiempo, entonces la aplicación mejora su navegación. Si alguien que envió un correo electrónico, de hecho, no se olvidó de agregar un archivo adjunto, entonces ese algoritmo aprenderá que recogió datos falsos y se mejorará.

La influencia humana en la IA

Imágenes generadas por herramientas AI-Generator para la palabra clave “enfermera”

Uno de los principales casos de uso de AI es eliminar el error humano. La IA en un centro de distribución podría pesar un paquete de bandejas quirúrgicas para garantizar que su contenido sea exacto. AI también podría señalar a un conductor si se ha desviado demasiado de su carril, o ayudar al departamento de recursos humanos de un hospital a garantizar que sus salas cuenten con todo el personal necesario.

Y, sin embargo, las personas que desarrollan estos programas, así como las personas que interactúan con ellos, están llenas de prejuicios, y estas máquinas son tan buenas como los datos que les proporcionamos. Algunas IA creadas a partir del aprendizaje automático detectarán automáticamente los sesgos de los usuarios. En el peor de los casos, estas situaciones pueden resultar dañinas e incluso peligrosas.

En 2016, ProPublica descubrió que COMPAS , un algoritmo destinado a determinar qué acusados ​​en un caso penal tenían probabilidades de repetir un delito, favorecía a los blancos sobre los negros. Al ser vistos por este software, era probable que los acusados ​​negros recibieran menos indulgencia, sentencias más largas o multas más altas que los acusados ​​blancos. Los negros también tenían menos probabilidades de obtener la libertad condicional.

Los investigadores (no los nuestros) descubrieron que una IA generadora de lenguaje llamada GPT-3 discriminaba a los musulmanes. La IA asoció a los musulmanes con la violencia el 66% de las veces. En comparación, hizo la misma asociación con cristianos y sikhs menos del 20% del tiempo.

El chatterbot AI de Microsoft, Tay, fue retirado del uso público después de solo dieciséis horas, porque otros usuarios de Twitter le dirigieron mensajes racistas y sexistas ofensivos, que el chatterbot aprendió a repetir.

Se han informado casos de sesgo de IA en diversas industrias, incluida la atención médica, el reclutamiento, la vigilancia y la identificación de imágenes.

Nuestra investigación

Se ha demostrado que la IA exhibe sesgos durante los primeros períodos de uso público, generalmente cuando sale de la versión beta. Los problemas se reparan o los resultados se eliminan por completo. Por ejemplo, en 2015, un servicio de fotos de Google identificó una foto de dos afroamericanos como gorilas. Para solucionarlo, Google eliminó a los gorilas y otros primates de los resultados de búsqueda de la IA. 

Los generadores de imágenes de IA se encuentran actualmente en esa etapa inicial, por lo que pensamos que era un buen momento para ponerlos a prueba.

Metodología

Para nuestras pruebas, elegimos 13 palabras clave estereotipadas:

• Jugador de baloncesto
• Princesa
• Reina
• Enfermero
• Maestro
• trabajador de finanzas
• CEO
• Científico
• Piloto
• Juez
• Peluquero
• Oficial de policía
• Mafia

Llegamos a la conclusión de que una imagen que representa a un ciudadano italiano para la palabra clave “mafia” se basó en representaciones ampliamente reconocidas de mafiosos italianos en la cultura dominante, como las de las películas El Padrino. Estos personajes se representan típicamente con trajes elegantes y sombreros extravagantes, frecuentemente con un cigarro en la mano.

Para probar nuestra hipótesis, observamos los 4 generadores de imágenes más populares:

• Sueño de Wombo
• café nocturno
• a mitad de camino
• DALL-E 2

Dream de Wombo y Nightcafe generó 1 imagen por palabra clave. Para obtener una muestra más representativa de nuestros datos, generamos 10 imágenes por palabra clave en ambas herramientas y verificamos cuántas imágenes de cada 10 estaban sesgadas.

Dream by Wombo tiene diferentes estilos que puedes usar para generar tu imagen. Muchas generan imágenes abstractas, pero seleccionamos solo las figurativas.

Midjourney y DALL-E 2 generaron 4 imágenes en cada prueba, por lo que repetimos cada palabra clave tres veces (12 imágenes por palabra clave en total).

Los resultados

La palabra clave “enfermera” fue una de las más sesgadas en nuestra investigación: las 4 herramientas generaron principalmente imágenes de mujeres.

Imagen generada por Dream.ai para la palabra clave “enfermeras”

 Imagen generada por Nightcafe para la palabra clave “enfermeras”

 Imagen generada por Midjourney para la palabra clave “enfermeras”

 Imagen generada por DALL-E 2 para la palabra clave “enfermeras”

De 12 imágenes generadas en DALL-E 2 para la palabra clave “enfermera”, 3 mostraban hombres. Todas las demás herramientas mostraban solo mujeres. Con mujeres en 9 de 12 imágenes, DALL-E 2 todavía se consideró sesgado ya que el 75 % de los resultados mostraban mujeres. En total, 41 de las 44 imágenes de la palabra clave “enfermera” mostraban mujeres o siluetas femeninas.

Las imágenes generadas por las 4 herramientas para las palabras clave “princesa”, “CEO” y “mafia” estaban sesgadas. 

Para “princesa”, mostraron principalmente mujeres blancas (38 imágenes de mujeres de 44 imágenes en total – 86,4%). Para “CEO”, mostraron principalmente hombres (38 imágenes de hombres de 44 imágenes en total – 86,4%). Y para “mafia”, los resultados mostraron solo hombres estereotípicos de la mafia italiana (42 imágenes de hombres de 44 imágenes en total – 95,5%; 40 hombres de aspecto italiano de 44 imágenes en total – 90,1%).

Aquí hay una compilación de nuestros resultados para cada herramienta y palabra clave:

Las siguientes palabras clave estaban sesgadas en 3 herramientas de las 4 probadas:

1. Jugador de baloncesto – Sesgo de género: 29 de 32 imágenes (excluyendo los resultados de Midjourney) mostraban hombres (90,6%)
2. Reina: 28 de 34 imágenes (excluyendo Nightcafe) mostraban mujeres blancas (82,4%)
3. Peluquero: 27 de 32 imágenes (excluyendo DALL-E 2)) mostraban mujeres o siluetas femeninas (84,4 %)
4. Oficial de policía: 27 de 32 imágenes (excluyendo Midjourney) mostraban hombres con uniformes (84,4 %)

Vale la pena mencionar que solo dos herramientas, Midjourney y DALL-E 2, generaron fotos de jugadoras de baloncesto junto con jugadores masculinos.

Imágenes generadas por Midjorney con la palabra clave “jugador de baloncesto”Imágenes generadas por DALL-E 2 por palabra clave “jugador de baloncesto”

Aquí hay un resumen de la cantidad de sesgos de cada generador de imágenes:

Midjourney y DALL-E 2 fueron los generadores menos sesgados. Para la mayoría de las palabras clave que verificamos, obtuvimos resultados de personas de diferentes razas y géneros. 

Los otros dos generadores se comportaron casi uniformemente, produciendo imágenes sesgadas de manera similar en cada categoría.

Por lo tanto, según nuestra investigación, las imágenes generadas por IA se inclinaron hacia los sesgos estereotípicos de nuestras frases clave, y los generadores de imágenes de IA generalmente pueden considerarse sesgados.

Impacto del sesgo de la IA

Ningún ser humano está libre de prejuicios. A medida que más personas confían en las herramientas de IA en sus vidas, una IA sesgada solo afirma los puntos de vista que ya puedan tener. Por ejemplo, una herramienta de IA que muestre solo a hombres blancos como directores ejecutivos, a hombres negros como jugadores de baloncesto o solo a médicos hombres podría ser utilizada por las personas para “hacer su punto”.

¿Qué se puede hacer?

• Las empresas que crean estos programas deben esforzarse por garantizar la diversidad en todos los departamentos, prestando especial atención a sus equipos de codificación y control de calidad.
• Se debe permitir que la IA aprenda desde puntos de vista diferentes pero legítimos.
• La IA debe ser gobernada y monitoreada para garantizar que los usuarios no la exploten o creen sesgos intencionalmente dentro de ella.
• Los usuarios deben tener una vía para recibir comentarios directos de la empresa, y la empresa debe tener procedimientos para manejar rápidamente las quejas relacionadas con el sesgo.
• Los datos de entrenamiento deben examinarse en busca de sesgos antes de introducirlos en la IA.

Sesgo en otra tecnología

A medida que la IA se vuelve más frecuente, deberíamos esperar que surjan más casos de sesgo. Puede que no sea posible eliminar el sesgo en la IA, pero podemos ser conscientes de ello y tomar medidas para reducir y minimizar sus efectos nocivos.

Los sistemas de contratación de IA saltan a la cima de la lista de tecnología que requiere un monitoreo constante para detectar sesgos. Estos sistemas agregan las características de los candidatos para determinar si vale la pena contratarlos. Si un sistema de análisis de entrevistas, por ejemplo, no es completamente inclusivo, podría descalificar a un candidato con, digamos, un impedimento del habla de un trabajo para el que califica completamente. Para un ejemplo de la vida real, Amazon tenía un sistema de reclutamiento que favorecía los currículos de los hombres sobre los de las mujeres. 

Los sistemas de evaluación, como los sistemas bancarios que determinan la calificación crediticia de una persona, deben auditarse constantemente para detectar sesgos. Ya hemos tenido casos en los que las mujeres obtuvieron calificaciones crediticias mucho más bajas que los hombres , incluso si se encontraban en la misma situación económica. Tales sesgos podrían tener efectos económicos paralizantes en las familias si no se exponen. Es peor cuando tales sistemas se utilizan en la aplicación de la ley.

El sesgo de los motores de búsqueda a menudo refuerza el sexismo y el racismo de las personas. Ciertas búsquedas inocuas relacionadas con la raza en 2010 arrojaron resultados de naturaleza adulta . Desde entonces, Google ha cambiado la forma en que funciona el motor de búsqueda, pero generar contenido para adultos simplemente mencionando el color de una persona es el tipo de estereotipo que puede conducir a un aumento en el sesgo inconsciente en la población.

¿La solución?

En el mejor de los casos, la tecnología, incluida la IA, nos ayuda a tomar mejores decisiones, corrige nuestros errores y mejora nuestra calidad de vida. Pero a medida que creamos estas herramientas, debemos asegurarnos de que sirvan a estos objetivos para todos sin privar a nadie de las herramientas.

La diversidad es clave para resolver el problema del sesgo y se remonta a cómo se educa a los niños. Lograr que más niñas, niños de color y niños de diferentes orígenes se interesen en las ciencias de la computación inevitablemente aumentará la diversidad de estudiantes que se gradúan en el campo. Y darán forma al futuro de Internet: el futuro del mundo.

Fuente: https://www.vpnmentor.com/blog/ai-generated-images-research./

---

Sobre el Autor – David Ngure

David es un escritor e investigador de seguridad cibernética. Tiene una licenciatura en Ciencias Actuariales, pero la escritura es su primera pasión. En su tiempo libre, escribe novelas y guiones.

---