The New York Times

por Adán Satariano

El alboroto sobre un algoritmo que bajó las calificaciones del 40 por ciento de los estudiantes es un signo de batallas por venir con respecto al uso de la tecnología en los servicios públicos.

Los estudiantes de Staffordshire, Inglaterra, protestaron por los resultados de sus exámenes el lunes. El letrero en primer plano se refiere a Gavin Williamson, el secretario de educación británico. Crédito: Jason Cairnduff/Reuters

LONDRES — Incluso después de un último período con las escuelas cerradas por la pandemia, Sam Sharpe-Roe fue optimista sobre el próximo año escolar. Los profesores de su escuela del oeste de Londres le habían dado calificaciones, tres A y una B, que eran lo suficientemente fuertes como para asegurarle un lugar en su primera elección de universidad el mes que viene.

Pero después de que el gobierno británico utilizó una puntuación generada por computadora para reemplazar los exámenes que fueron cancelados debido al coronavirus, todas sus calificaciones cayeron y la universidad revocó su admisión.

El Sr. Sharpe-Roe, junto con miles de otros estudiantes y padres, había recibido una burda lección sobre lo que puede salir mal cuando un gobierno confía en un algoritmo para tomar decisiones importantes que afectan al público.

Los expertos dijeron que el escándalo de la calificación fue un signo de los debates que se han llegado a medida que Gran Bretaña y otros países utilizan cada vez más la tecnología para automatizar los servicios públicos, argumentando que puede hacer que el gobierno sea más eficiente y eliminar los prejuicios humanos.

Pero los críticos dicen que los sistemas opacos a menudo amplifican los sesgos que ya existen en la sociedad y que normalmente se adoptan sin suficiente debate, faltas que se exhibieron claramente en el desastre de calificación.

Casi el 40 por ciento de los estudiantes en Inglaterra vieron sus calificaciones reducidas después de que el gobierno reevaluara los exámenes, conocidos como niveles A, con el modelo de software. Incluía en sus cálculos el rendimiento pasado de una escuela en las pruebas y los resultados anteriores de un estudiante en los exámenes “mock”.

Los funcionarios gubernamentales dijeron que el modelo estaba destinado a hacer el sistema más justo, equilibrando las puntuaciones potencialmente infladas dadas por algunos maestros. Pero los estudiantes y sus padres, en particular los de las zonas de bajos ingresos con escuelas con dificultades, estaban indignados de que su futuro se hubiera entregado a líneas de código que favorecían a los estudiantes de escuelas privadas y áreas ricas.

Incluso después de que el gobierno se disculpó y tiró los puntajes de la computadora,muchos estudiantes ya habían perdido sus espacios en sus universidades preferidas, enviando el proceso de admisión a un nuevo caos.

“Estos algoritmos obviamente no son correctos”, dijo el Sr. Sharpe-Roe, de 18 años, cuyo municipio natal de Ealing es enormemente diverso, pero también dividido por raza, etnia e ingresos. “Conozco a un montón de otras personas que están en una situación similar.”

Los estudiantes y los padres estaban indignados de que el algoritmo utilizado para ajustar las puntuaciones de los exámenes favoreciera a los estudiantes de escuelas privadas y áreas ricas. Crédito: Peter Nicholls/Reuters

El resultado, dicen los expertos, era totalmente predecible. De hecho, la Royal Statistical Society había advertido durante meses a la agencia de administración de pruebas, Ofqual, que el modelo era defectuoso.

“Es el gobierno tratando de emular Silicon Valley”, dijo Christiaan van Veen, directora del proyecto de derechos humanos y estado de bienestar digital de la Universidad de Nueva York. “Pero el sector público es completamente diferente de las empresas privadas”.

Como investigador de las Naciones Unidas, el Sr. van Veen estudia cómo Gran Bretaña y otros países utilizan las computadoras para automatizar los servicios sociales. Dijo que las técnicas se estaban aplicando a la policía y a las sentencias judiciales, la atención médica, la inmigración, el bienestar social y más. “No hay áreas de gobierno que estén exentas de esta tendencia”, dijo.

Gran Bretaña ha sido particularmente agresiva en la adopción de nuevas tecnologías en el gobierno, a menudo con resultados mixtos. A principios de este mes, el gobierno dijo que dejaría de usar un algoritmo para sopesar las solicitudes de visa después de enfrentar una queja legal de que esto era discriminatorio. Unos días más tarde, un tribunal británico falló en contra del uso de algún software de reconocimiento facial por parte de la policía.

El sistema automatizado de bienestar del país, Universal Credit, ha enfrentado años de críticas, incluso de las Naciones Unidas,por dificultar que algunos ciudadanos obtengan prestaciones por desempleo. La aplicación de rastreo de contactos de Gran Bretaña, que el gobierno había dicho que sería clave para contener el coronavirus, se ha retrasado por problemas técnicos.

“Hay una idea de que si tiene un algoritmo adjunto, es novedoso e interesante y diferente e innovador, sin entender lo que esas cosas podrían estar haciendo”, dijo Rachel Coldicutt, una experta en política tecnológica en Londres que está trabajando en un libro sobre innovación responsable.

Aquellos que han pedido un mayor escrutinio del uso de la tecnología por parte del gobierno británico dijeron que el escándalo de las pruebas fue un punto de inflexión en el debate, un ejemplo vívido y fácil de entender de cómo el software puede afectar a las vidas.

Cori Crider, abogado de Foxglove, un bufete de abogados con sede en Londres que presentó una queja contra el algoritmo de calificación, dijo que el problema no era el uso de la tecnología en sí, sino la falta de transparencia. Poco se sabe sobre cómo funcionan los modelos antes de que se presenten.

“Ha habido una tendencia a calcular primero y hacer preguntas más tarde”, dijo la Sra. Crider, quien también presentó la impugnación legal contra el algoritmo de visa. “Ha habido una negativa a tener un debate real sobre cómo funcionan estos sistemas y si los queremos en absoluto”.

Williamson, el secretario de educación, se disculpó y anunció un nuevo sistema de puntuación. Pero eso llegó demasiado tarde para muchos estudiantes, que ya habían perdido espacios en sus universidades preferidas. Crédito: Justin Tallis/Agence France-Presse — Getty Images

Durante años, Gran Bretaña ha anunciado la tecnología como una forma de modernizar el gobierno y proporcionar servicios sociales de manera más eficiente. La tendencia ha abarcado varias administraciones, pero se le ha dado un nuevo impulso bajo el primer ministro Boris Johnson.

Su principal asesor político, Dominic Cummings, ha argumentado enérgicamente que el pensamiento de Silicon Valley es necesario para crear un gobierno de alto rendimiento,incluyendo nuevos trabajadores en áreas como la ciencia de datos y la inteligencia artificial. Ha expresado su admiración por las “fronteras de la ciencia de la predicción”.

En respuesta al coronavirus, Gran Bretaña ha buscado ayuda de empresas como Palantir, una empresa de análisis de Silicon Valley que fue contratada para administrar los datos del Servicio Nacional de Salud del país. Una empresa de inteligencia artificial con sede en Londres, Faculty, está trabajando en sistemas predictivos para ayudar a rastrear el virus.

En otro bochornoso error, el gobierno decidió construir su propia aplicación de rastreo de contactos en lugar de utilizar los estándares técnicos establecidos por Apple y Google, a pesar de las advertencias de que tendría limitaciones. El lanzamiento se ha retrasado durante meses.

Gran Bretaña no es la única que entrega algunas decisiones a los sistemas informáticos. En los Estados Unidos, los departamentos de policía utilizan algoritmos para determinar dónde patrullan los oficiales y los tribunales para establecer sentencias de prisión. En España, el grupo de seguimiento Algorithm Watch identificó un sistema que se utiliza para predecir hogares en riesgo de violencia doméstica. Los Países Bajos abandonaron el uso de un sistema para detectar fraudes de bienestar después de que un juez dijera que era ilegal.

Las técnicas a menudo se presentan como apolíticas, pero los investigadores dicen que afectan desproporcionadamente a los grupos minoritarios y de menores ingresos.

“Uno de los grandes beneficios de estas herramientas para los gobiernos es que les permite describir las decisiones que están tomando como neutrales y objetivas, a diferencia de las decisiones morales”, dijo Virginia Eubanks, profesora asociada de la Universidad Estatal de Nueva York en Albany, cuyo libro, “Automatización de la inequidad”, explora el tema.

En Gran Bretaña, las consecuencias políticas del percance de calificación dominaron las noticias y llevaron a llamamientos para que el ministro de educación del país renunciara. Los estudiantes protestaron fuera del Parlamento,cantando expletives en “el algoritmo”.

Los críticos dicen que la experiencia muestra los riesgos que se avecinan a medida que las herramientas más sofisticadas como la inteligencia artificial están disponibles y las empresas los lanzan a las agencias públicas.

Sharpe-Roe dijo que “hay mucha ira” por tener su destino establecido por un algoritmo. Después de luchar para recuperar su lugar perdido en la universidad, decidió aplazar durante un año al trabajo.

Fuente: https://www.nytimes.com/2020/08/20/world/europe/uk-england-grading-algorithm.html

Deja un comentario