Los transformadores, la tecnología que impulsa todos los principales modelos de IA

En un sorprendente acto de autocrítica, uno de los arquitectos de la tecnología de transformadores que impulsa ChatGPT, Claude y prácticamente todos los principales sistemas de IA, el director de Sakana dijo a una audiencia de líderes de la industria esta semana que la investigación en inteligencia artificial se ha vuelto peligrosamente limitada y que está dejando atrás su propia creación.

por Michael Núñez

Llion Jones, coautor del artículo fundamental de 2017 “ Attention Is All You Need ” e incluso acuñó el nombre “transformador”, ofreció una evaluación inusualmente sincera en la conferencia TED AI en San Francisco el martes: A pesar de la inversión sin precedentes y el talento que fluye hacia la IA, el campo se ha calcificado en torno a un único enfoque arquitectónico, lo que potencialmente cega a los investigadores ante el próximo gran avance.

“A pesar de que nunca ha habido tanto interés, recursos, dinero y talento, esto ha provocado, de alguna manera, la limitación de la investigación que realizamos”, declaró Jones al público. Argumentó que la causa es la enorme presión de los inversores que exigen rentabilidad y de los investigadores que se esfuerzan por destacar en un campo saturado.

La advertencia cobra especial relevancia dado el papel de Jones en la historia de la IA. La arquitectura de transformadores que ayudó a desarrollar en Google se ha convertido en la base del auge de la IA generativa, permitiendo sistemas que pueden escribir ensayos, generar imágenes y mantener conversaciones similares a las humanas. Su artículo ha sido citado más de 100.000 veces , lo que lo convierte en una de las publicaciones de informática más influyentes del siglo.

Ahora, como director de tecnología y cofundador de Sakana AI , con sede en Tokio , Jones abandona explícitamente su propia creación. “A principios de este año tomé la decisión de reducir drásticamente el tiempo que dedico a los transformadores”, declaró. “Ahora estoy explorando y buscando explícitamente el próximo gran avance”.

Por qué una mayor financiación de la IA ha llevado a una investigación menos creativa, según un pionero de los transformadores

Jones describió una comunidad de investigación en IA que sufre lo que él llamó una paradoja: más recursos han resultado en menos creatividad. Describió a los investigadores comprobando constantemente si han sido superados por competidores que trabajan con ideas idénticas, y a los académicos que prefieren proyectos seguros y publicables a los arriesgados y potencialmente transformadores.

“Si actualmente se realiza una investigación estándar sobre IA, es inevitable asumir que existen otros tres o cuatro grupos que realizan algo muy similar, o incluso exactamente igual”, afirmó Jones, describiendo un entorno en el que “desafortunadamente, esta presión perjudica la ciencia, porque la gente se apresura a publicar sus artículos y eso reduce la creatividad”.

Trazó una analogía con la propia IA: la disyuntiva entre exploración y explotación que rige la forma en que los algoritmos buscan soluciones. Cuando un sistema explota demasiado y explora muy poco, encuentra soluciones locales mediocres y pasa por alto alternativas superiores. «Es casi seguro que nos encontramos en esa situación en la industria de la IA», argumentó Jones.

Las implicaciones son desalentadoras. Jones recordó el período justo antes de la aparición de los transformadores, cuando los investigadores ajustaban sin cesar las redes neuronales recurrentes —la arquitectura dominante hasta entonces— para obtener ganancias incrementales. Con la llegada de los transformadores, todo ese trabajo de repente pareció irrelevante. “¿Cuánto tiempo crees que esos investigadores habrían dedicado a mejorar la red neuronal recurrente si hubieran sabido que algo como los transformadores estaba a la vuelta de la esquina?”, preguntó.

Le preocupa que el sector esté repitiendo ese patrón. “Me preocupa que estemos en una situación en la que nos centramos en una sola arquitectura, la modificamos y probamos diferentes cosas, y que un gran avance esté a la vuelta de la esquina”.

Cómo el artículo «La atención es todo lo que necesitas» nació de la libertad, no de la presión

Para recalcar su punto, Jones describió las condiciones que permitieron el surgimiento de los transformadores, un marcado contraste con el entorno actual. El proyecto, dijo, fue “muy orgánico, de abajo a arriba”, surgido de “conversaciones durante el almuerzo o de garabatear al azar en la pizarra de la oficina”.

Fundamentalmente, “en realidad no teníamos una buena idea; teníamos la libertad de dedicar tiempo y trabajar en ella, y aún más importante, no teníamos ninguna presión de la gerencia”, relató Jones. “No teníamos presión para trabajar en ningún proyecto en particular ni para publicar varios artículos para impulsar una métrica específica”.

Esa libertad, sugirió Jones, está prácticamente ausente hoy en día. Incluso investigadores contratados por salarios astronómicos —”literalmente un millón de dólares al año, en algunos casos”— podrían no sentirse capacitados para asumir riesgos. “¿Crees que al empezar su nuevo puesto se sienten capacitados para probar sus ideas más atrevidas y especulativas, o sienten una enorme presión para demostrar su valía y, una vez más, optar por lo más fácil?”, preguntó.

Por qué un laboratorio de IA apuesta a que la libertad de investigación supera a los salarios millonarios

La solución propuesta por Jones es deliberadamente provocadora: aumentar la “exploración” y compartir abiertamente los hallazgos, incluso a un precio competitivo. Reconoció la ironía de su postura. “Puede sonar un poco polémico oír a uno de los autores de Transformers subir al escenario y decir que está completamente harto de ellos, pero es bastante justo, ¿no? Llevo trabajando en ellos más tiempo que nadie, con la posible excepción de siete personas”.

En Sakana AI , Jones afirmó que está intentando recrear ese entorno pretransformador, con investigación inspirada en la naturaleza y mínima presión para buscar publicaciones o competir directamente con la competencia. Ofreció a los investigadores un mantra del ingeniero Brian Cheung: «Solo deberías investigar lo que no se haría si no lo hicieras».

Un ejemplo es la ” máquina de pensamiento continuo ” de Sakana, que incorpora una sincronización similar a la del cerebro en las redes neuronales. Un empleado que presentó la idea le comentó a Jones que se habría enfrentado al escepticismo y la presión de no perder el tiempo en anteriores empresas o puestos académicos. En Sakana, Jones le dio una semana para explorar. El proyecto tuvo tanto éxito que se destacó en NeurIPS , una importante conferencia de IA.

Jones incluso sugirió que la libertad supera la compensación en la contratación. “Es una forma realmente excelente de conseguir talento”, dijo sobre el entorno exploratorio. “Piénsalo: las personas con talento, inteligentes y ambiciosas buscarán naturalmente este tipo de entorno”.

El éxito del transformador puede estar bloqueando el próximo avance de la IA

Quizás lo más provocativo es que Jones sugirió que los transformadores podrían ser víctimas de su propio éxito. «El hecho de que la tecnología actual sea tan potente y flexible… nos impidió buscar algo mejor», dijo. «Es lógico que si la tecnología actual fuera peor, más gente buscaría algo mejor».

Tuvo cuidado de aclarar que no descarta la investigación en curso sobre transformadores. “Aún queda mucho trabajo importante por hacer en la tecnología actual, que aportará mucho valor en los próximos años”, afirmó. “Solo digo que, dada la cantidad de talento y recursos que tenemos actualmente, podemos permitirnos hacer mucho más”.

Su mensaje final fue de colaboración por encima de la competencia. “Sinceramente, desde mi punto de vista, esto no es una competencia”, concluyó Jones. “Todos tenemos el mismo objetivo. Todos queremos ver el progreso de esta tecnología para que todos podamos beneficiarnos de ella. Así que, si todos podemos intensificar la exploración colectivamente y luego compartir abiertamente lo que encontremos, podremos alcanzar nuestra meta mucho más rápido”.

Los grandes riesgos del problema de exploración de la IA

Estas declaraciones llegan en un momento crucial para la inteligencia artificial. La industria se enfrenta a la creciente evidencia de que la simple construcción de modelos de transformadores más grandes podría estar generando rendimientos decrecientes . Investigadores destacados han comenzado a debatir abiertamente si el paradigma actual presenta limitaciones fundamentales, y algunos sugieren que se necesitarán innovaciones arquitectónicas, no solo de escala, para seguir avanzando hacia sistemas de IA más capaces.

La advertencia de Jones sugiere que encontrar esas innovaciones podría requerir el desmantelamiento de las mismas estructuras de incentivos que han impulsado el reciente auge de la IA. Con decenas de miles de millones de dólares invertidos anualmente en el desarrollo de la IA y una feroz competencia entre laboratorios que impulsa el secretismo y los rápidos ciclos de publicación, el entorno de investigación exploratoria que describió parece cada vez más lejano.

Sin embargo, su perspectiva privilegiada tiene un peso inusual. Como alguien que ayudó a crear la tecnología que ahora domina el sector, Jones comprende tanto lo que se necesita para lograr una innovación revolucionaria como los riesgos que corre la industria al abandonar ese enfoque. Su decisión de abandonar los transformadores —la arquitectura que forjó su reputación— añade credibilidad a un mensaje que, de otro modo, podría parecer una postura contraria.

Aún no se sabe si los líderes de la IA atenderán el llamado. Pero Jones ofreció un claro recordatorio de lo que está en juego: el próximo avance a escala de transformador podría estar a la vuelta de la esquina, perseguido por investigadores con libertad para explorar. O podría estar languideciendo sin explorar mientras miles de investigadores se apresuran a publicar mejoras graduales en una arquitectura que, en palabras de Jones, uno de sus creadores está “completamente harto”.

Después de todo, lleva trabajando en transformadores más tiempo que casi nadie. Él sabría cuándo es hora de seguir adelante.

Fuente: https://venturebeat.com/ai/sakana-ais-cto-says-hes-absolutely-sick-of-transformers-the-tech-that-powers