Los científicos del Instituto Tecnológico de Massachusetts han ideado una forma para que los modelos lingüísticos de gran tamaño sigan aprendiendo sobre la marcha: un paso hacia la creación de una IA que se mejore continuamente.
por Will Knight
Los modelos a seguir (LLM) pueden escribir hermosos sonetos y códigos elegantes, pero carecen incluso de una capacidad rudimentaria para aprender de la experiencia.
Los investigadores del Instituto Tecnológico de Massachusetts (MIT) han ideado una forma para que los LLM sigan mejorando modificando sus propios parámetros en respuesta a nueva información útil.
Este trabajo supone un paso hacia la creación de modelos
de inteligencia artificial que aprenden continuamente, un objetivo arraigado en este campo y crucial para que las máquinas imiten la inteligencia humana con mayor fidelidad. Mientras tanto, podría proporcionarnos chatbots y otras herramientas de IA con mayor capacidad para incorporar nueva información, como los intereses y preferencias del usuario.
El esquema del MIT, llamado Self Adapting Language Models (SEAL), implica que un LLM aprenda a generar sus propios datos de entrenamiento sintéticos y un procedimiento de actualización basado en la entrada que recibe.
“La idea inicial era explorar si los tokens [unidades de texto que se introducen en los LLM y que estos generan] podían generar una actualización eficaz de un modelo”, explica Jyothish Pari, estudiante de doctorado del MIT que participó en el desarrollo de SEAL. Pari añade que la idea era comprobar si la salida de un modelo podía utilizarse para entrenarlo.
Adam Zweiger, investigador universitario del MIT involucrado en la creación de SEAL, agrega que si bien los modelos más nuevos pueden “razonar” para llegar a mejores soluciones realizando inferencias más complejas, el modelo en sí no se beneficia de este razonamiento a largo plazo.
SEAL, en cambio, genera nuevos conocimientos y luego los integra en sus propios pesos o parámetros. Por ejemplo, al dar una afirmación sobre los desafíos del programa espacial Apolo, el modelo generó nuevos pasajes que intentan describir las implicaciones de la afirmación. Los investigadores compararon esto con la forma en que un estudiante humano escribe y revisa sus apuntes para facilitar su aprendizaje.
El sistema actualizó el modelo con estos datos y evaluó su capacidad para responder a un conjunto de preguntas. Finalmente, esto proporciona una señal de aprendizaje de refuerzo que guía al modelo hacia actualizaciones que mejoran sus capacidades generales y le permiten seguir aprendiendo.
Los investigadores probaron su enfoque en versiones pequeñas y medianas de dos modelos de código abierto: Llama de Meta y Qwen de Alibaba . Afirman que el enfoque también debería funcionar con modelos de frontera mucho más grandes.
Los investigadores probaron el método SEAL con texto, así como con un parámetro llamado ARC, que mide la capacidad de un modelo de IA para resolver problemas de razonamiento abstracto. En ambos casos, observaron que SEAL permitió que los modelos continuaran aprendiendo mucho más allá de su entrenamiento inicial.
Pulkit Agrawal, profesor del MIT que supervisó el trabajo, afirma que el proyecto SEAL aborda temas importantes de la IA, como cómo lograr que la IA determine por sí misma qué debe intentar aprender. Afirma que podría utilizarse para personalizar más los modelos de IA. «Los LLM son potentes, pero no queremos que su conocimiento se detenga», afirma.
SEAL aún no es una forma de que la IA mejore indefinidamente. Por un lado, como señala Agrawal, los LLM probados sufren lo que se conoce como “olvido catastrófico”, un efecto preocupante que se observa cuando la asimilación de nueva información provoca la desaparición del conocimiento antiguo. Esto podría indicar una diferencia fundamental entre las redes neuronales artificiales y las biológicas. Pari y Zweiger también señalan que SEAL requiere un uso intensivo de recursos computacionales y aún no está claro cuál es la mejor manera de programar nuevos periodos de aprendizaje de la forma más eficaz. Una idea interesante, menciona Zweiger, es que, al igual que los humanos, quizás los LLM podrían experimentar periodos de “sueño” donde se consolida la nueva información.
Aun así, a pesar de todas sus limitaciones, SEAL es un nuevo y apasionante camino para futuras investigaciones en IA, y bien podría ser algo que encuentre su camino hacia futuros modelos de IA de frontera.
Fuente: https://www.wired.com/story/this-ai-model-never-stops-learning/