Los gigantes tecnológicos dominan la investigación, pero la línea entre el avance real y la exhibición de productos puede ser confusa. Algunos científicos han tenido suficiente.
El mes pasado, Nature publicó una respuesta condenatoria escrita por 31 científicos a un estudio de Google Health que apareció en la revista a principios de este año. Google describía ensayos exitosos de una IA que buscaba signos de cáncer de mama en imágenes médicas. Pero según sus críticos, el equipo de Google proporcionó tan poca información sobre su código y cómo se probó que el estudio no fue más que una promoción de tecnología patentada.
“No pudimos soportarlo más”, dice Benjamin Haibe-Kains, autor principal de la respuesta, que estudia genómica computacional en la Universidad de Toronto. “No se trata de este estudio en particular, es una tendencia que hemos presenciado durante varios años y que ha comenzado a molestarnos”.
Haibe-Kains y sus colegas se encuentran entre un número creciente de científicos que rechazan la percepción de falta de transparencia en la investigación de la IA. “Cuando vimos ese artículo de Google, nos dimos cuenta de que era otro ejemplo más de una revista de muy alto perfil que publica un estudio muy interesante que no tiene nada que ver con la ciencia”, dice. “Es más un anuncio de tecnología genial. Realmente no podemos hacer nada con eso “.
La ciencia se basa en una base de confianza, que normalmente implica compartir suficientes detalles sobre cómo se lleva a cabo la investigación para permitir que otros la repliquen, verificando los resultados por sí mismos. Así es como la ciencia se autocorrige y elimina los resultados que no se sostienen. La replicación también permite que otros se basen en esos resultados, lo que ayuda a avanzar en el campo. La ciencia que no se puede replicar se queda en el camino.
Al menos, esa es la idea. En la práctica, pocos estudios se replican por completo porque la mayoría de los investigadores están más interesados en producir nuevos resultados que en reproducir los antiguos. Pero en campos como la biología y la física, y la informática en general, se espera que los investigadores proporcionen la información necesaria para volver a ejecutar los experimentos, incluso si esas repeticiones son raras.
Noob ambicioso
La IA está sintiendo el calor por varias razones. Para empezar, es un recién llegado. En realidad, solo se ha convertido en una ciencia experimental en la última década, dice Joelle Pineau, científica informática de Facebook AI Research y McGill University, coautora de la denuncia. “Solía ser teórico, pero cada vez más realizamos experimentos”, dice. “Y nuestra dedicación a la metodología sólida se está quedando atrás de la ambición de nuestros experimentos”.
El problema no es simplemente académico. La falta de transparencia impide que los nuevos modelos y técnicas de IA se evalúen adecuadamente en cuanto a solidez, sesgo y seguridad. La IA pasa rápidamente de los laboratorios de investigación a las aplicaciones del mundo real, con un impacto directo en la vida de las personas. Pero los modelos de aprendizaje automático que funcionan bien en el laboratorio pueden fallar en la naturaleza, con consecuencias potencialmente peligrosas. La replicación por parte de diferentes investigadores en diferentes entornos expondría los problemas antes, haciendo que la IA sea más fuerte para todos.
La IA ya sufre el problema de la caja negra: puede ser imposible decir exactamente cómo o por qué un modelo de aprendizaje automático produce los resultados que produce. La falta de transparencia en la investigación empeora las cosas. Los modelos grandes necesitan tantos ojos sobre ellos como sea posible, más personas probándolos y descubriendo qué los hace funcionar. Así es como hacemos que la inteligencia artificial en la atención médica sea más segura, la inteligencia artificial en la vigilancia sea más justa y los chatbots menos odiosos.
Lo que impide que la replicación de IA suceda como debería es la falta de acceso a tres cosas: código, datos y hardware. Según el informe State of AI 2020 , un análisis anual bien examinado del campo por los inversores Nathan Benaich e Ian Hogarth, solo el 15% de los estudios de AI comparten su código. Los investigadores de la industria son mayores infractores que los afiliados a las universidades. En particular, el informe llama a OpenAI y DeepMind por mantener el código en secreto.
Luego está el creciente abismo entre los que tienen y los que no tienen cuando se trata de los dos pilares de la IA, los datos y el hardware. Los datos suelen ser de propiedad exclusiva, como la información que Facebook recopila sobre sus usuarios, o confidenciales, como en el caso de los registros médicos personales. Y los gigantes tecnológicos llevan a cabo cada vez más investigaciones en grupos de computadoras enormes y costosos a los que pocas universidades o empresas más pequeñas tienen los recursos para acceder.
Para tomar un ejemplo, se estima que la capacitación del generador de lenguaje GPT-3 le costó a OpenAI entre $ 10 y $ 12 millones, y ese es solo el modelo final, sin incluir el costo de desarrollar y capacitar sus prototipos. “Probablemente podría multiplicar esa cifra por al menos uno o dos órdenes de magnitud”, dice Benaich, quien es fundador de Air Street Capital, una firma de capital de riesgo que invierte en nuevas empresas de inteligencia artificial. Solo un pequeño puñado de grandes empresas de tecnología puede permitirse hacer ese tipo de trabajo, dice: “Nadie más puede dedicar grandes presupuestos a estos experimentos”.
El ritmo de progreso es vertiginoso, con miles de artículos publicados cada año. Pero a menos que los investigadores sepan en cuáles confiar, es difícil que el campo avance. La replicación permite a otros investigadores comprobar que los resultados no han sido seleccionados con precisión y que las nuevas técnicas de IA realmente funcionan como se describe. “Cada vez es más difícil saber cuáles son los resultados confiables y cuáles no”, dice Pineau.
¿Qué se puede hacer? Como muchos investigadores de IA, Pineau divide su tiempo entre laboratorios universitarios y corporativos. Durante los últimos años, ha sido la fuerza impulsora detrás de un cambio en la forma en que se publica la investigación de IA. Por ejemplo, el año pasado ayudó a presentar una lista de verificación de las cosas que los investigadores deben proporcionar, incluido el código y descripciones detalladas de los experimentos, cuando envían artículos a NeurIPS, una de las mayores conferencias de inteligencia artificial.
La replicación es su propia recompensa
Pineau también ha ayudado a lanzar algunos desafíos de reproducibilidad, en los que los investigadores intentan replicar los resultados de los estudios publicados. Los participantes seleccionan los trabajos que han sido aceptados para una conferencia y compiten para volver a ejecutar los experimentos utilizando la información proporcionada. Pero el único premio son las felicitaciones.
Esta falta de incentivos es una barrera para tales esfuerzos en todas las ciencias, no solo en IA. La replicación es esencial, pero no se recompensa. Una solución es hacer que los estudiantes hagan el trabajo. Durante los últimos años, Rosemary Ke, estudiante de doctorado en Mila, un instituto de investigación en Montreal fundado por Yoshua Bengio, ha organizado un desafío de reproducibilidad en el que los estudiantes intentan replicar los estudios enviados a NeurIPS como parte de su curso de aprendizaje automático. A su vez, algunas réplicas exitosas son revisadas por pares y publicadas en la revista ReScience.
“Se necesita mucho esfuerzo para reproducir otro papel desde cero”, dice Ke. “El desafío de la reproducibilidad reconoce este esfuerzo y da crédito a las personas que hacen un buen trabajo”. Ke y otros también están haciendo correr la voz en conferencias de IA a través de talleres organizados para alentar a los investigadores a hacer su trabajo más transparente. Este año, Pineau y Ke ampliaron el desafío de la reproducibilidad a siete de las principales conferencias de IA, incluidas ICML e ICLR.
Otro impulso a la transparencia es el proyecto Papers with Code , creado por el investigador de inteligencia artificial Robert Stojnic cuando estaba en la Universidad de Cambridge. (Stojnic es ahora un colega de Pineau en Facebook). Lanzado como un sitio web independiente donde los investigadores podían vincular un estudio al código que lo acompañaba, este año Papers with Code inició una colaboración con arXiv, un popular servidor de preimpresión. Desde octubre, todos los artículos sobre aprendizaje automático en arXiv vienen con una sección de artículos con código que se vincula directamente al código que los autores desean poner a disposición. El objetivo es hacer que compartir sea la norma.
¿Estos esfuerzos marcan la diferencia? Pineau descubrió que el año pasado, cuando se introdujo la lista de verificación, la cantidad de investigadores que incluían código con artículos enviados a NeurIPS aumentó de menos del 50% a alrededor del 75% . Miles de revisores dicen que usaron el código para evaluar las presentaciones. Y el número de participantes en los desafíos de reproducibilidad está aumentando.
Sudando los detalles
Pero es solo el comienzo. Haibe-Kains señala que el código por sí solo no suele ser suficiente para volver a ejecutar un experimento. La construcción de modelos de IA implica realizar muchos cambios pequeños: agregar parámetros aquí, ajustar valores allí. Cualquiera de estos puede marcar la diferencia entre que un modelo funcione y no funcione. Sin metadatos que describan cómo se entrenan y ajustan los modelos, el código puede ser inútil. “El diablo está realmente en los detalles”, dice.
Tampoco siempre está claro exactamente qué código compartir en primer lugar. Muchos laboratorios utilizan software especial para ejecutar sus modelos; a veces esto es propietario. Es difícil saber cuánto de ese código de soporte debe compartirse también, dice Haibe-Kains.
Pineau no está demasiado preocupado por esos obstáculos. “Deberíamos tener expectativas muy altas para compartir código”, dice. Compartir datos es más complicado, pero aquí también hay soluciones. Si los investigadores no pueden compartir sus datos, pueden dar instrucciones para que otros puedan construir conjuntos de datos similares. O podría tener un proceso en el que un pequeño número de auditores independientes tuvieran acceso a los datos, verificando los resultados para todos los demás, dice Haibe-Kains.
El hardware es el mayor problema. Pero DeepMind afirma que las investigaciones costosas como AlphaGo o GPT-3 tienen un efecto de goteo, donde el dinero gastado por los laboratorios ricos eventualmente conduce a resultados que benefician a todos. La IA que es inaccesible para otros investigadores en sus primeras etapas, debido a que requiere mucha potencia informática, a menudo se vuelve más eficiente y, por lo tanto, más accesible, a medida que se desarrolla. “AlphaGo Zero superó al AlphaGo original utilizando muchos menos recursos computacionales”, dice Koray Kavukcuoglu, vicepresidente de investigación de DeepMind.
En teoría, esto significa que incluso si la replicación se retrasa, al menos aún es posible. Kavukcuoglu señala que Gian-Carlo Pascutto, un codificador belga de Mozilla que escribe ajedrez y software Go en su tiempo libre, pudo recrear una versión de AlphaGo Zero llamada Leela Zero, utilizando algoritmos descritos por DeepMind en sus artículos. Pineau también cree que las investigaciones emblemáticas como AlphaGo y GPT-3 son raras. La mayoría de la investigación de IA se ejecuta en computadoras que están disponibles para el laboratorio promedio, dice. Y el problema no es exclusivo de la IA. Pineau y Benaich apuntan a la física de partículas, donde algunos experimentos solo se pueden realizar en equipos costosos como el Gran Colisionador de Hadrones.
En física, sin embargo, los laboratorios universitarios realizan experimentos conjuntos en el LHC. Los grandes experimentos de IA generalmente se llevan a cabo en hardware que es propiedad y está controlado por empresas. Pero incluso eso está cambiando, dice Pineau. Por ejemplo, un grupo llamado Compute Canada está reuniendo clústeres de computación para permitir que las universidades realicen grandes experimentos de IA. Algunas empresas, incluida Facebook, también dan a las universidades acceso limitado a su hardware. “No está completamente ahí”, dice ella. “Pero algunas puertas se están abriendo”.
Haibe-Kains está menos convencido. Cuando le pidió al equipo de Google Health que compartiera el código para su IA de detección de cáncer, le dijeron que necesitaba más pruebas. El equipo repite esta justificación en una respuesta formal a las críticas de Haibe-Kains, también publicadas en Nature: “Pretendemos someter nuestro software a pruebas exhaustivas antes de su uso en un entorno clínico, trabajando junto a pacientes, proveedores y reguladores para garantizar la eficacia y la seguridad. . ” Los investigadores también dijeron que no tenían permiso para compartir todos los datos médicos que estaban usando.
No es lo suficientemente bueno, dice Haibe-Kains: “Si quieren construir un producto a partir de él, entiendo completamente que no revelarán toda la información”. Pero él piensa que si publica en una revista científica o en una conferencia, tiene el deber de publicar un código que otros puedan ejecutar. A veces, eso puede significar compartir una versión que se entrena con menos datos o que usa hardware menos costoso. Puede dar peores resultados, pero la gente podrá jugar con él. “Los límites entre la construcción de un producto y la realización de una investigación son cada vez más difusos”, dice Haibe-Kains. “Creo que como campo vamos a perder”.
Los hábitos de investigación son difíciles de morir
Si las empresas van a ser criticadas por publicar, ¿por qué hacerlo? Hay cierto grado de relaciones públicas, por supuesto. Pero la razón principal es que los mejores laboratorios corporativos están llenos de investigadores de universidades. Hasta cierto punto, la cultura en lugares como Facebook AI Research, DeepMind y OpenAI está moldeada por hábitos académicos tradicionales. Las empresas de tecnología también ganan al participar en la comunidad de investigación más amplia. Todos los grandes proyectos de IA en laboratorios privados se basan en capas y capas de investigación pública. Y pocos investigadores de inteligencia artificial no han hecho uso de herramientas de aprendizaje automático de código abierto como PyTorch de Facebook o TensorFlow de Google.
A medida que se realicen más investigaciones internamente en empresas tecnológicas gigantes, ciertas compensaciones entre las demandas competitivas de las empresas y la investigación serán inevitables. La pregunta es cómo los investigadores navegan por ellos. A Haibe-Kains le gustaría que revistas como Nature dividieran lo que publican en flujos separados: estudios reproducibles por un lado y exhibiciones tecnológicas por el otro.
Pero Pineau es más optimista. “No estaría trabajando en Facebook si no tuviera un enfoque abierto a la investigación”, dice.
Otros grandes laboratorios corporativos también enfatizan su compromiso con la transparencia. “El trabajo científico requiere el escrutinio y la reproducción por parte de otros en el campo”, dice Kavukcuoglu. “Esta es una parte fundamental de nuestro enfoque de investigación en DeepMind”.
“OpenAI se ha convertido en algo muy diferente de un laboratorio tradicional”, dice Kayla Wood, portavoz de la empresa. “Naturalmente, eso plantea algunas preguntas”. Señala que OpenAI trabaja con más de 80 organizaciones académicas y de la industria en la Asociación sobre IA para pensar en normas de publicación a largo plazo para la investigación.
Pineau cree que hay algo en eso. Ella cree que las empresas de inteligencia artificial están demostrando una tercera forma de investigar, en algún lugar entre las dos corrientes de Haibe-Kains. Ella contrasta la producción intelectual de los laboratorios privados de inteligencia artificial con la de las compañías farmacéuticas, por ejemplo, que invierten miles de millones en medicamentos y mantienen gran parte del trabajo a puerta cerrada.
Queda por ver el impacto a largo plazo de las prácticas introducidas por Pineau y otros. ¿Se cambiarán los hábitos para siempre? ¿Qué diferencia supondrá para la aceptación de la IA fuera de la investigación? Mucho depende de la dirección que tome la IA. La tendencia de modelos y conjuntos de datos cada vez más grandes, favorecida por OpenAI, por ejemplo, seguirá haciendo que la vanguardia de la IA sea inaccesible para la mayoría de los investigadores. Por otro lado, nuevas técnicas, como la compresión de modelos y el aprendizaje de pocos disparos , podrían revertir esta tendencia y permitir que más investigadores trabajen con una IA más pequeña y eficiente.
De cualquier manera, la investigación de la IA seguirá estando dominada por las grandes empresas. Si se hace bien, eso no tiene por qué ser algo malo, dice Pineau: “La IA está cambiando la conversación sobre cómo funcionan los laboratorios de investigación de la industria”. La clave será asegurarse de que el campo más amplio tenga la oportunidad de participar. Porque la confiabilidad de la IA, de la que tanto depende, comienza en la vanguardia.
Inteligencia artificial general: ¿estamos cerca y tiene sentido intentarlo?
Una máquina que podría pensar como una persona ha sido la visión rectora de la investigación de la IA desde los primeros días y sigue siendo su idea más divisoria.
