El científico cognitivo sostiene que el entorno actual de inteligencia artificial nos está fallando como consumidores y como sociedad, pero no es demasiado tarde para cambiar de rumbo.
por Kevin Dickinson
¿Conoces a Gary Marcus ? Si no, déjame presentarte. Marcus es un científico cognitivo y profesor emérito de psicología y neurociencia en la Universidad de Nueva York. Es autor de varios libros populares, prestó testimonio durante una audiencia del Senado sobre IA y cofundó Geometric Intelligence , una startup de IA incubada en la Universidad de Nueva York que luego fue adquirida por Uber. Cuando no está trabajando, está ocupado criando a dos niños pequeños y a Henrietta, su gallina mascota.
Sin embargo, hoy en día Marcus es más conocido como el crítico más acérrimo de la IA (o el denunciante o el quisquilloso, depende de a quién le preguntes).
El escritor de ciencia ficción Kim Stanley Robinson lo llamó “uno de nuestros pocos intelectuales públicos indispensables”. Los pesos pesados de la IA Yann LeCun, científico jefe de IA en Meta, y Geoffry Hinton , el “Padrino de la IA”, han debatido públicamente con Marcus. Mientras tanto, Sam Altman, el CEO de OpenAI, es conocido por arrojar sombras ocasionales sobre algún vago “ escéptico mediocre del aprendizaje profundo ”. Otros evangelistas de la IA han sido menos elusivos. Argumentan que Marcus no solo está equivocado, sino que activamente engaña al público sobre la inminente singularidad de la IA.
Todo lo que escribí sobre Marcus es cierto, excepto por un detalle: su bebé de plumas, Henrietta. Fue creada de la nada por ChatGPT cuando Tim Spalding le pidió al popular chatbot de inteligencia artificial que escribiera la biografía de Marcus y mencionara a su mascota .
Tim Spalding comparte la alucinación de Henrietta en X.
Henrietta es una “ alucinación”, un término extravagante para las invenciones e imprecisiones factuales producidas por la IA generativa. Los investigadores no tienen una respuesta definitiva sobre la frecuencia con la que estas IA alucinan (las estimaciones varían entre el 3 y el 27 % de las veces ) y, dado que las capas intermedias de la toma de decisiones de estos sistemas son impenetrables , nadie puede decir por qué ChatGPT convirtió a Marcus en un papagallina.
Marcus especula que la IA recopiló su página de Wikipedia junto con datos sobre el libro infantil Henrietta Gets a Nest , ilustrado por Gary Oswalt. Debido a que los modelos de lenguaje grandes (LLM) como ChatGPT no utilizan la razón, sino que extraen asociaciones estadísticas entre palabras a lo largo de grandes cantidades de datos, es posible que haya juntado a estos dos Garys con información general sobre mascotas. Cuando se le pidió que hablara sobre su supuesta inspiración animal, ChatGPT alucinó y ¡voilá! Pollo falsificado de Kentucky.
Ahora bien, una mascota fantasma puede parecer un asunto insignificante, y en el gran esquema lo es. Sin embargo, las IA generativas no reconocen la diferencia entre tareas importantes y tareas intrascendentes. Están diseñadas para proporcionar la mejor respuesta, imagen o lo que sea a la indicación del usuario, y fallan en esto, sostiene Marcus, con más frecuencia de la que cualquier usuario debería aceptar.
“Siempre pienso en esta expresión de los militares: ‘Frecuentemente equivocado, nunca en duda’”, dijo durante nuestra charla. “Los grandes modelos de lenguaje lo dicen todo con absoluta autoridad, pero mucho de lo que dicen no es cierto y no te lo hacen saber. Deberíamos esperar una mejor forma de IA”.
Después de nuestra conversación, llegué a pensar en Henrietta como algo más que una alucinación humorística. Se convirtió en una representación práctica de las dos principales preocupaciones que tiene Marcus con respecto al entorno actual de la IA: las deficiencias de la tecnología y las deficiencias morales de la industria. Son problemas que, según Marcus, deberían preocuparnos más a medida que estos sistemas, y las empresas que los poseen, adquieren más poder en nuestras vidas y en las sociedades en las que vivimos.
Todo rima, no hay razón
Empecemos por las deficiencias técnicas. En 2022, Marcus escribió un artículo titulado “ El aprendizaje profundo se está topando con un muro ”. Muchos ridiculizaron la premisa en ese momento, señalando los logros del campo y la promesa de más por venir. Como si siguiera su ejemplo, OpenAI lanzó ChatGPT-4 al año siguiente, sorprendiendo a todos con las capacidades del chatbot y aparentemente echando por tierra la afirmación de Marcus.
Pero su argumento no era que el aprendizaje profundo (el método utilizado para entrenar a las IA generativas) no vería avances en dimensiones como la funcionalidad o la capacidad de procesamiento. El muro en cuestión consistía en las capacidades cognitivas que comparten los agentes verdaderamente inteligentes, como la planificación, el razonamiento, la fiabilidad, la comprensión de cómo funciona el mundo y el reconocimiento de la diferencia entre hechos y desinformación.
“Ninguno de esos problemas se ha solucionado”, afirma Marcus. “A pesar de que se ha invertido mucho más dinero que antes en el campo de juego (probablemente diez o cien veces más), de que hay mejores chips, más datos, más competidores en el juego, de que hay más gente disparando a portería, nada es realmente mejor que el GPT-4”.
En su sitio Substack , Marcus ha convertido en un pasatiempo la crónica de las formas en que las IA contemporáneas no actúan de manera inteligente, y sus ejemplos son legión (porque son muchos).
Aquí hay uno: en 2022, la IA Galactica de Meta afirmó extrañamente que Elon Musk murió en una colisión de automóviles el 18 de marzo de 2018, a pesar de cuatro años de titulares, acuerdos comerciales y muchos, muchos tuits que decían lo contrario. Una vez más, nadie puede decir por qué el modelo cometió este error. Una suposición arriesgada es que el sistema fusionó el nombre de Musk con información sobre el accidente de Tesla de 2018 en el que murió Walter Huang, un ex ingeniero de Apple. Después de todo, el nombre de Musk tiene estadísticamente más probabilidades de aparecer junto a la palabra Tesla que el de Huang.
Hablando de Musk, el chatbot de inteligencia artificial de su empresa, Grok 2, también ha sido descubierto inventando titulares falsos y difundiendo desinformación. A principios de este año, Marcus le pidió que produjera una fotografía de la actual primera ministra de Italia, Giorgia Meloni. ¿Los resultados? Grok entregó cuatro imágenes. Todas ellas eran de hombres. Dos de ellas eran del presidente estadounidense Donald Trump.
Recientemente, Google intentó eliminar este aparente sesgo de su inteligencia artificial Gemini . Los ingenieros de la empresa entrenaron el modelo de modo que si un usuario pedía una fotografía de, por ejemplo, “una mujer estadounidense”, Gemini no produjera imágenes solo de mujeres blancas, sino una muestra más representativa. Fue un esfuerzo bien intencionado, pero la inteligencia artificial fue demasiado lejos. Generó todo tipo de imágenes históricamente inexactas, incluidas las de hombres negros y mujeres asiáticas luciendo la Cruz de Hierro como soldados alemanes de la era nazi.
“Un sistema verdaderamente inteligente debería ser capaz de hacer una comprobación de la cordura”, afirma Marcus. “Debería ser trivial, si realmente estuviéramos en el camino correcto, que [la IA] comprobara los datos con Wikipedia”.
Luego está el razonamiento. Los modelos de lenguaje grandes parecen resolver problemas con facilidad. Si se presenta a uno el famoso rompecabezas del cruce del río , los tres cruzarán el río sin ser devorados. Pero, como señala Marcus, el sistema no utiliza la razón para resolverlo. En cambio, se basa en la comparación de patrones para ver cómo otros han resuelto previamente problemas idénticos o similares, como un sistema de autocompletado con esteroides .
Debido a esto, los modelos de lenguaje grandes tienen dificultades con la inferencia , las matemáticas y los acertijos novedosos. Incluso se traban cuando los usuarios cambian una o dos palabras en problemas bien documentados. Si se modifica ligeramente el rompecabezas del cruce del río, los modelos de lenguaje grandes tienden a devolver tonterías porque están atascados en el patrón del original. ( El modelo o1 de OpenAI ha mejorado el razonamiento en algunos aspectos, pero Marcus sostiene que sigue siendo defectuoso y limitado).
Los problemas de fiabilidad surgen incluso cuando los modelos sólo necesitan citar información preexistente. El año pasado, un abogado presentó un escrito de 10 páginas escrito por ChatGPT . El escrito citaba docenas de decisiones judiciales que la IA afirmaba que eran relevantes para la demanda, pero tras una inspección más detallada por parte del juez y el abogado contrario, se descubrió que varias eran inventadas. De manera similar, varias IA han aconsejado a los más culinarios entre nosotros que asen patatas con repelente de mosquitos , mezclen pegamento con queso para una pizza más sabrosa y salteen hongos Sarcosphaera con cebollas y mantequilla (para resaltar realmente esos sabores umami y arsénico, se supone).
“Si quieres creer en esta tecnología, quieres pensar que estás en ese momento mágico en el que el mundo cambió y luego te das cuenta de las cosas que se hacen bien”, dice Marcus. “Si eres un científico, también piensas en lo que sale mal. ¿Qué significa si es 70% correcto? ¿Debería usarlo?”
Cuidado con la brecha de credulidad
Por supuesto, las personas también cometen errores, y cualquier tecnología es tan buena como la comprensión que el usuario tenga de ella y de sus limitaciones. La IA no es una excepción.
Sin embargo, a pesar de esta falta de fiabilidad y confianza, los grandes modelos de lenguaje aún presentan sus resultados con autoridad y un barniz de inteligencia. Este estilo de presentación se aprovecha de las vulnerabilidades de nuestra estructura mental, lo que lleva a los usuarios a caer en lo que Marcus llama la “brecha de credulidad”. Es decir: nuestra tendencia a atribuir inteligencia a cosas no inteligentes simplemente porque así lo sienten . Es comparable a la pareidolia , un fenómeno en el que las personas ven patrones en estímulos visuales aleatorios, como un conejo en la luna o la Virgen María en un sándwich de queso a la parrilla quemado.
“A menudo escucho a la gente decir cosas como ‘GPT-4 debe ser un paso hacia la inteligencia artificial general’, y yo digo que no necesariamente. Se puede lograr un comportamiento que parezca inteligente por muchas razones diferentes, incluida la simple repetición de cosas que has memorizado de una base de datos más grande”, dice Marcus.
La brecha de credulidad puede ser muy fuerte, incluso para quienes deberían saber más. Por ejemplo, en 2023, el sitio web de tecnología CNET publicó discretamente varios artículos escritos por un LLM . Los artículos estaban bien escritos y se suponía que los editores, que habrían sabido sobre las alucinaciones, debían verificar los hechos antes de su publicación. Sin embargo, la cantidad de “ errores muy tontos ” encontrados por los lectores reveló que hicieron lo contrario. Depositaron su confianza en la IA y pusieron sus cerebros en piloto automático .
Para Marcus, ha sido inquietante ver con qué facilidad personas inteligentes (desde escritores hasta abogados) han caído en la tentación de la IA y se han estrellado contra el muro del aprendizaje profundo.
El terreno moral de la IA
Volvamos a la segunda preocupación de Henrietta y Marcus: lo que él considera como las deficiencias morales de la industria. Una vez más, no hay forma de saber con certeza si ChatGPT tomó prestado de Henrietta Gets a Nest para inventar la mascota avícola de Marcus. Incluso si ese no fuera el caso, muchos otros ejemplos revelan que las empresas tecnológicas recopilaron grandes cantidades de material protegido por derechos de autor de Internet para entrenar a su IA, y sin pedir permiso primero.
La demanda del New York Times contra OpenAI contiene varios ejemplos de respuestas GPT-4 que son recreaciones casi textuales de las historias del Times. De manera similar, Marcus y Reid Southen, un artista conceptual de la industria cinematográfica, han documentado muchos casos en los que Midjourney y Dall-E 3 produjeron imágenes que contenían personajes protegidos por derechos de autor de películas y videojuegos populares.
Sigue abierta la cuestión jurídica de si los datos de entrenamiento de la IA deben tener una licencia previa o si la práctica se enmarca en el uso legítimo . Sin embargo, como señalan Marcus y Southen en su artículo, la IA también plantea una cuestión de valores distinta a la jurídica: ¿debería permitirse a las empresas de IA utilizar el trabajo de los artistas sin su consentimiento o una compensación justa? Porque, si bien el Times puede tener la influencia y los recursos para desafiar a OpenAI, no ocurrirá lo mismo con las numerosas pequeñas empresas y artistas individuales cuyas obras pueden haber sido absorbidas por el algoritmo.
Marcus también ha sido muy crítico con la campaña contra las regulaciones. Si bien muchos en Silicon Valley han expresado su preocupación por los errores de la IA (incluso Altman ha manifestado su preocupación por “ desajustes sociales muy sutiles ”), la industria ha utilizado su inmenso tesoro para combatir o reescribir las leyes que considera asfixiantes.
En su libro, Taming Silicon Valley , Marcus cita un informe del Corporate Europe Observatory que detalla los esfuerzos de lobby de la industria para diluir las enmiendas a la Ley de IA de la UE . Según el informe, antes del período de redacción de la ley, la industria aumentó su presupuesto de lobby a 133 millones de euros, un aumento del 16%. También obtuvo un acceso descomunal a los legisladores. De las “97 reuniones celebradas por altos funcionarios de la Comisión sobre IA en 2023, […] 84 fueron con la industria y asociaciones comerciales, doce con la sociedad civil y solo una con académicos o institutos de investigación”.
“No se puede culpar a las corporaciones por querer alzar la voz, pero los gobiernos deben trabajar más arduamente para incluir a científicos independientes, especialistas en ética y otras partes interesadas de la sociedad civil”, escribe Marcus.
Al menos se aprobó la Ley de Inteligencia Artificial de la UE, aunque hasta ahora el cumplimiento del proyecto de ley por parte de las empresas tecnológicas ha sido bajo. Al otro lado del charco, Silicon Valley también presionó contra el proyecto de ley de seguridad de la IA de California y la orden ejecutiva de inteligencia artificial de Biden . El primero fue vetado por el gobernador de California, Gavin Newsom, mientras que el segundo enfrenta un futuro incierto a la luz de las elecciones de 2024. Mientras tanto, el estancamiento político ha impedido que el Congreso de Estados Unidos tome medidas significativas.
“Las grandes tecnológicas les deben una rentabilidad a sus accionistas; nuestros gobiernos nos deben algo mejor.” Gary Marcus
Por supuesto, no toda regulación es buena, y existen argumentos para justificar las deficiencias de las leyes mencionadas anteriormente. Las objeciones más generales a la regulación de la IA sostienen que frenará los avances en el campo, sofocará la competencia con costos de cumplimiento, reducirá la inversión y la creación de empleo e impondrá cargas masivas a los actores pequeños y de código abierto, todo ello sin beneficios claros.
Para Marcus, estos argumentos no son lo suficientemente convincentes como para evitar por completo la regulación. Son simplemente factores adicionales que se deben tener en cuenta al diseñar regulaciones sensatas, y cualquier regulación sensata también debe asegurarse de evitar la captura regulatoria, mantener el campo abierto a las empresas emergentes y, sobre todo, proteger a las personas y sus derechos .
“No se pueden apresurar estas tecnologías y obligarlas a tragarse a la gente”, afirma Marcus. “Queremos que la IA sea increíblemente segura porque todos los que trabajan en el sector saben que pueden pasar cosas malas y que las cosas pueden empeorar. Cuanto más poder les demos a estos sistemas, más posibilidades hay de que algo grave salga mal”.
La falta de apertura y transparencia por parte de la industria se extiende a muchas otras preocupaciones éticas que Marcus tiene con el panorama actual de la IA: los riesgos de seguridad , el impacto ambiental, la incapacidad de razonar contra los sesgos que acechan en los conjuntos de datos y la falta de protecciones contra las campañas de desinformación que hipercargan la IA y que podrían vender en corto el mercado, promover el robo en línea y fomentar un vitriolo político generalizado.
“Si utilizamos inteligencia artificial generativa y ésta roba a los artistas y escritores, contribuye al daño ambiental, contribuye al racismo, etc., ¿somos parte del problema?”, pregunta Marcus. “Si simplemente compras el producto y no les dices [a estas empresas] que este comportamiento y estas acciones no son aceptables, no tienen ningún incentivo para hacer lo contrario”.
Otro ladrillo más en la pared
Si has leído hasta aquí, es posible que también hayas tenido la idea de que Marcus se ha ganado su reputación de ser un quisquilloso, un denunciante o un crítico por el mero hecho de criticar. Como mínimo, está en contra de la IA, ¿no?
Me disculpo si esa es la impresión, porque definitivamente no es así. Durante nuestra conversación, su entusiasmo por la tecnología y su capacidad para ampliar nuestra concepción de la inteligencia fue evidente. Se podría hablar con él durante horas sobre este tema y, si bien es cierto que se opondrá a las ideas que considere deficientes, está claro que cree que la IA tiene el potencial de beneficiar a las personas y a las sociedades.
Elogió a David Baker, Demis Hassabis y John Jumper por su trabajo en AlphaFold , calificándolo de “enorme contribución tanto a la química como a la biología” y una de las “mayores contribuciones de la IA hasta la fecha”. Incluso admite que los modelos de lenguaje grandes pueden ser útiles para hacer una lluvia de ideas, preparar una investigación o ayudar a los codificadores; básicamente, cualquier cosa en la que solo se necesiten “resultados preliminares” y se tenga el espacio para ser consciente de la brecha de credulidad.
“Un sistema verdaderamente inteligente debería ser capaz de realizar una comprobación de cordura.” Gary Marcus
No es un Ned Ludd moderno que se dedica a romper descontroladamente los modelos de lenguaje por despecho. Como dijo al principio, quiere que tengamos “una mejor forma de IA” y le preocupa que el entusiasmo desenfrenado que rodea la iteración actual de esta tecnología nos haya cegado ante sus desventajas y las consecuencias de largo alcance de continuar con el status quo. Como mencionó durante nuestra charla: “Soy un gran fanático de la IA y parte de la razón por la que los modelos de lenguaje grandes me molestan como científico es que la tecnología es tan popular que distrae del otro trabajo científico que debemos hacer”.
Por ejemplo, las enormes inversiones financieras y energéticas que se destinan al aprendizaje profundo dificultan la competencia de hipótesis alternativas. Si ampliar estas redes neuronales con más datos, energía y capacidad de procesamiento no resuelve sus deficiencias técnicas y, en cambio, conduce a rendimientos decrecientes , serán necesarios enfoques alternativos para hacerlas fiables y dignas de confianza.
Marcus sostiene que el camino más prometedor a seguir es un enfoque híbrido , que combina los beneficios de las redes neuronales con una IA neurosimbólica que utiliza la lógica formal de los programas informáticos tradicionales. Pero añade:
“Aunque me equivoque, es seguro decir que hemos dedicado una cantidad increíble de recursos a la hipótesis de la escalabilidad y las alucinaciones no desaparecerán. Eso simplemente no está funcionando”, dice Marcus. “Si lo hicieras en un contexto científico tradicional, la gente diría que esta pregunta ya se ha planteado y se ha respondido. ¿Por qué no pruebas un enfoque más innovador? ¡Haz algo diferente!”
De manera similar, si no abordamos las deficiencias morales del status quo, Marcus teme que se desencadene una “reacción contra todo el campo de la IA”. En este artículo, Marcus recomienda que los usuarios y los ciudadanos tomen más medidas directamente. En Taming Silicon Valley , ofrece un plan de acción que los ciudadanos deberían ordenar a sus representantes que sigan. El plan incluye presionar por una mayor transparencia y una mejor supervisión; una gobernanza internacional de la IA; y mejores protecciones en torno a la privacidad y los derechos de los datos.
“Tal vez boicoteemos los productos que no aborden estos problemas. Tal vez votemos para que la gente deje sus cargos si no se lo toma en serio”, dice Marcus. “Esto va a cambiar nuestro mundo, ya sea que tengamos una política de IA que la oriente a ser para la mayoría en lugar de para unos pocos”.
Y, como sugiere Henrietta, esos cambios pueden volverse existencialmente extraños. Si bien ChatGPT ciertamente alucinó con el pájaro, el chatbot también demostró tener razón en cierto modo. Henrietta ha servido como inspiración y como lente perspicaz a través de la cual Marcus ha contemplado las complejidades de la IA. Puede que nunca haya tenido una gallina como mascota, pero ahora es una parte inseparable de su historia de cualquier manera.
Fuente: https://www.freethink.com/artificial-intelligence/gary-marcus-on-ai
