La historia de los LLM

Lo que llamamos “IA” en el contexto empresarial actual es en realidad una rama de la inteligencia artificial llamada aprendizaje automático. Dentro del aprendizaje automático, una nueva arquitectura (transformador) nos permitió construir un paradigma completamente nuevo para la IA (lo que llamamos “IA generativa”), que se basa en un tipo de modelo computacional llamado modelo de lenguaje grande (LLM).

por FourWeekMBA 

Bueno, eso determinó un cambio de paradigma: en 2022, cuando OpenAI había logrado una UX impresionante en torno a sus modelos GPT existentes, se produjo el llamado “Momento ChatGPT”.

A partir de allí, una explosión empresarial cámbrica creó “La Convergencia de la IA”, o un paradigma de IA con capacidades tan generales que está permitiendo la explosión de múltiples industrias simultáneamente (desde la RA hasta la robótica).

Introducción

Partiendo de nuestra serie sobre la historia de los LLM, hoy queremos contarles la fascinante historia de los “inviernos de la IA”: períodos de menor financiación e interés en la investigación de la IA. Verán cómo la emoción y la decepción se van alternando, pero la investigación importante siempre persevera. Únase a nosotros mientras exploramos la naturaleza evolutiva de la inteligencia artificial en esta cronología más completa de los inviernos de la IA. (Si no tienen tiempo ahora, ¡asegúrense de guardar el artículo para más adelante! Vale la pena leerlo porque hay algunas lecciones que aprender).

Qué bueno que es verano porque nos estamos sumergiendo en:

1. Invierno n.° 1 de 1966: Fallo de la traducción automática
2. Invierno n.° 2, 1969: Los conexionistas y el eclipse de la investigación en redes neuronales
3. Invierno n.° 3, 1974: Brecha de comunicación entre los investigadores de IA y sus patrocinadores
4. Invierno n.° 4, 1987: Colapso del mercado de máquinas LISP
5. Invierno n.° 5, 1988: Sin inteligencia artificial de alto nivel, no hay dinero

Invierno nº 1, 1966: Traducción automática

Como se explicó en la primera edición de esta serie, la investigación en PNL tiene sus orígenes a principios de la década de 1930 y comienza con el trabajo sobre traducción automática (TA). Sin embargo, comenzaron a surgir avances y aplicaciones importantes después de la publicación del influyente memorando de Warren Weaver en 1949.

El memorándum generó un gran entusiasmo en la comunidad de investigadores. En los años siguientes se produjeron acontecimientos notables: IBM se embarcó en el desarrollo de la primera máquina, el MIT nombró a su primer profesor de tiempo completo en traducción automática y se celebraron varias conferencias dedicadas a la traducción automática. El punto culminante llegó con la demostración pública de la máquina IBM-Georgetown, que obtuvo una amplia atención en periódicos respetados en 1954.

Yehoshua Bar-Hillel, el primer profesor a tiempo completo en traducción automática

La primera demostración pública de un sistema MT utilizando la máquina de Georgetown

Otro factor que impulsó el campo de la traducción automática fue el interés mostrado por la Agencia Central de Inteligencia (CIA) . Durante ese período, la CIA creía firmemente en la importancia de desarrollar capacidades de traducción automática y apoyaba este tipo de iniciativas. También reconocía que este programa tenía implicaciones que se extendían más allá de los intereses de la CIA y la comunidad de inteligencia.

Escépticos

Al igual que todos los booms de la IA que han sido seguidos por desesperados inviernos de IA, los medios de comunicación tendieron a exagerar la importancia de estos avances. Los titulares sobre el experimento de IBM-Georgetown proclamaban frases como ” El cerebro electrónico traduce el ruso “, “La máquina bilingüe”, “El cerebro del robot traduce el ruso al inglés del rey” y ” Una creación políglota “. Sin embargo, la demostración real implicó la traducción de un conjunto seleccionado de solo 49 oraciones rusas al inglés, con el vocabulario de la máquina limitado a solo 250 palabras . Para poner las cosas en perspectiva, este estudio descubrió que los humanos necesitan un vocabulario de alrededor de 8.000 a 9.000 familias de palabras para comprender textos escritos con un 98% de precisión.

Norbert Wiener (1894-1964) realizó importantes contribuciones a los procesos estocásticos, la ingeniería electrónica y los sistemas de control. Fue el creador de la cibernética y teorizó que los mecanismos de retroalimentación conducen a un comportamiento inteligente, sentando las bases para la IA moderna.

Esta demostración causó un gran revuelo, pero también hubo escépticos, como el profesor Norbert Wiener, considerado uno de los pioneros en sentar las bases teóricas para la investigación en IA. Incluso antes de la publicación del memorando de Weaver y, por supuesto, antes de la demostración, Wiener expresó sus dudas en una carta a Weaver en 1947, en la que afirmaba:

Sinceramente, me temo que los límites entre las palabras en diferentes idiomas son demasiado vagos y las connotaciones emocionales e internacionales son demasiado amplias para que cualquier esquema de traducción cuasi-mecánica sea muy alentador. […] En la actualidad, la mecanización del lenguaje, más allá de una etapa como el diseño de oportunidades de lectura fotoeléctrica para los ciegos, parece muy prematura.

Los partidarios y la financiación del MT

Sin embargo, parece que los escépticos eran minoría, ya que los soñadores hicieron caso omiso de sus preocupaciones y consiguieron con éxito la financiación necesaria. Cinco agencias gubernamentales desempeñaron un papel en el patrocinio de la investigación: la National Science Foundation (NSF) fue el principal contribuyente, junto con la Agencia Central de Inteligencia (CIA), el Ejército, la Marina y la Fuerza Aérea. En 1960, estas organizaciones habían invertido colectivamente casi 5 millones de dólares en proyectos relacionados con la traducción mecánica.

En 1954, la investigación sobre traducción mecánica había despertado suficiente interés como para recibir el reconocimiento de la National Science Foundation (NSF), que concedió una subvención al Massachusetts Institute of Technology (MIT). La CIA y la NSF iniciaron negociaciones que dieron lugar a un intercambio de correspondencia entre los dos directores a principios de 1956. La NSF aceptó administrar cualquier programa de investigación deseable en traducción automática que fuera acordado por todas las partes implicadas. Según el testimonio de la National Science Foundation en 1960, 11 grupos de Estados Unidos participaban en diversos aspectos de la investigación sobre traducción mecánica con el apoyo del Gobierno Federal. También hubo un gran interés por parte de la Fuerza Aérea, el Ejército de Estados Unidos y la Marina de Estados Unidos.

Diseño de IA

Al año siguiente de la demostración pública de la máquina IBM-Georgetown, McCarthy acuñó el término “IA” en la propuesta para la Conferencia de Verano de Dartmouth, publicada en 1955. Este acontecimiento desató una nueva ola de sueños y esperanzas, que reforzaron aún más el entusiasmo existente.

Surgieron nuevos centros de investigación, equipados con mayor potencia informática y mayor capacidad de memoria. Simultáneamente, se produjo el desarrollo de lenguajes de programación de alto nivel. Estos avances fueron posibles, en parte, gracias a importantes inversiones del Departamento de Defensa, uno de los principales promotores de la investigación en PNL.

Los avances en lingüística, en particular en el campo de los modelos de gramática formal propuestos por Chomsky, inspiraron varios proyectos de traducción. Estos avances parecían prometer una mejora significativa de las capacidades de traducción.

Como escribe John Hutchins en ” La historia de la traducción automática en pocas palabras “, hubo numerosas predicciones de “avances inminentes”. Sin embargo, los investigadores pronto se encontraron con “barreras semánticas” que presentaban desafíos complejos sin soluciones sencillas, lo que llevó a una creciente sensación de desilusión.

Desilusión

En ” El whisky era invisible “, John Hutchins cita un ejemplo muy conocido: se menciona la historia de un sistema de traducción automática que convirtió el dicho bíblico “El espíritu está dispuesto, pero la carne es débil” al ruso, que luego se tradujo de nuevo como “El whisky es fuerte, pero la carne está podrida” . Si bien la precisión de esta anécdota es cuestionable, e Isidore Pinchuk incluso dice que la historia puede ser apócrifa, Elaine Rich la utilizó para demostrar la incapacidad de los primeros sistemas de traducción automática para lidiar con los modismos. En general, este ejemplo ilustra los problemas de los sistemas de traducción automática relacionados con la semántica de las palabras.

Dicho bíblico “El espíritu está dispuesto, pero la carne es débil”

Traducido por el sistema MT como “El whisky es fuerte, pero la carne está podrida”

Un ejemplo muy usado que podría ser apócrifo.

El principal impacto se debe a los hallazgos del grupo ALPAC, encargado por el gobierno de los Estados Unidos y encabezado por el Dr. Leland Haworth, Director de la Fundación Nacional de la Ciencia, que apoya la idea subyacente que se ilustra. En su informe, se compara la traducción automática con la traducción humana de los diversos textos de física y ciencias de la tierra. La conclusión: los resultados de la traducción automática fueron menos precisos, más lentos, más costosos y menos completos que la traducción humana en todos los ejemplos analizados.

En 1966, el Consejo Nacional de Investigación de Estados Unidos suspendió abruptamente todo apoyo a la investigación sobre traducción automática. Tras el uso exitoso de computadoras para descifrar códigos secretos alemanes en Inglaterra, los científicos creyeron erróneamente que traducir texto escrito entre idiomas no sería más difícil que descifrar códigos. Sin embargo, las complejidades del procesamiento del “lenguaje natural” resultaron mucho más formidables de lo previsto. Los intentos de automatizar la búsqueda en diccionarios y aplicar reglas gramaticales arrojaron resultados absurdos. Después de dos décadas y veinte millones de dólares invertidos, no había ninguna solución a la vista, lo que llevó al comité del Consejo Nacional de Investigación a dar por finalizada la investigación.

La desilusión surgió debido a las altas expectativas de aplicaciones prácticas en el campo, a pesar de la falta de suficientes fundamentos teóricos en lingüística. Los investigadores se centraron más en los aspectos teóricos que en las implementaciones prácticas. Además, la disponibilidad limitada de hardware y la inmadurez de las soluciones tecnológicas plantearon desafíos adicionales.

Invierno n.° 2, 1969: Los conexionistas y el eclipse de la investigación en redes neuronales

La segunda ola de desilusión llegó poco después de la primera y sirvió como advertencia para los investigadores de IA sobre los peligros de las afirmaciones exageradas. Sin embargo, antes de profundizar en los problemas que siguieron, es necesario contar con cierta información de fondo.

En la década de 1940, McCulloch y Walter Pitts se embarcaron en la comprensión de los principios fundamentales de la mente y desarrollaron versiones tempranas de redes neuronales artificiales, inspirándose en la estructura de las redes neuronales biológicas.

Aproximadamente una década después, en los años 50, la ciencia cognitiva surgió como una disciplina independiente, conocida como la “revolución cognitiva”. Muchos de los primeros modelos de IA se vieron influenciados por el funcionamiento del cerebro humano. Un ejemplo notable es el sistema SNARC de Marvin Minsky, la primera red neuronal artificial computarizada que simulaba una rata navegando por un laberinto.

Gregory visitó a Marvin Minsky y le preguntó qué había pasado con su computadora para resolver laberintos. Minsky respondió que se la habían prestado a unos estudiantes de Dartmouth y que estaba desmontada. Sin embargo, le quedaba una “neurona” y Gregory le tomó una foto.

Sin embargo, a finales de la década de 1950, estos enfoques fueron abandonados en gran medida, ya que los investigadores centraron su atención en el razonamiento simbólico como clave para la inteligencia. El éxito de programas como Logic Theorist (1956), considerado el primer programa de IA, y General Problem Solver (1957), diseñado como una máquina universal de resolución de problemas por Allen Newell, Herbert A. Simon y Cliff Shaw de la Rand Corporation, jugó un papel en este cambio.

Un tipo de trabajo conexionista continuó: el estudio de los perceptrones, defendido por Frank Rosenblatt con un entusiasmo inquebrantable. Rosenblatt inicialmente simuló perceptrones en una computadora IBM 704 en el Laboratorio Aeronáutico de Cornell en 1957. Sin embargo, esta línea de investigación se detuvo abruptamente en 1969 con la publicación del libro Perceptrons de Marvin Minsky y Seymour Papert, que delineaba las limitaciones percibidas de los perceptrones.

Como escribió Daniel Crevier:

Poco después de la aparición de los perceptrones, un trágico suceso ralentizó aún más la investigación en este campo: Frank Rosenblatt, que según los rumores ya estaba destrozado, se ahogó en un accidente de barco. Tras perder a su promotor más convincente, la investigación sobre redes neuronales entró en un eclipse que duró quince años.

Durante esta época, se seguían produciendo avances importantes en la investigación conexionista, aunque a menor escala. La introducción de la retropropagación por parte de Paul Werbos en 1974, un algoritmo crucial para el entrenamiento de redes neuronales, siguió avanzando, aunque con recursos limitados. La obtención de financiación importante para proyectos conexionistas siguió siendo un reto, lo que llevó a un declive de su actividad.

No fue hasta mediados de los años 1980 que se produjo un punto de inflexión. El invierno llegó a su fin cuando investigadores destacados como John Hopfield, David Rumelhart y otros reavivaron un renovado y generalizado interés en las redes neuronales. Su trabajo reavivó el entusiasmo por los enfoques conexionistas y allanó el camino para el resurgimiento de la investigación y el desarrollo a gran escala en el campo de las redes neuronales.

Invierno n.° 3, 1974: Brecha de comunicación entre los investigadores de IA y sus patrocinadores

Las expectativas elevadas y las pretensiones ambiciosas suelen ser un camino directo a la decepción. A finales de los años 1960 y principios de los 1970, Minsky y Papert dirigieron el proyecto Micro Worlds en el MIT, donde desarrollaron modelos simplificados llamados micromundos. Definieron el objetivo general del proyecto como:

Creemos que [los micromundos] son ​​tan importantes que estamos destinando gran parte de nuestro esfuerzo a desarrollar una colección de estos micromundos y a encontrar cómo utilizar los poderes sugestivos y predictivos de los modelos sin dejarnos vencer por su incompatibilidad con la verdad literal.

Los defensores de los micromundos no tardaron en darse cuenta de que ni siquiera los aspectos más específicos del uso humano podían definirse sin tener en cuenta el contexto más amplio de la cultura humana. Por ejemplo, las técnicas utilizadas en la SHRDLU se limitaban a dominios específicos de la experiencia. El enfoque de los micromundos no condujo a una solución gradual para la inteligencia general. Minsky, Papert y sus estudiantes no podían generalizar progresivamente un micromundo a un universo mayor o simplemente combinar varios micromundos en un conjunto mayor.

En otros laboratorios de inteligencia artificial del país se enfrentaron dificultades similares para cumplir las expectativas. El proyecto del robot Shakey en Stanford, por ejemplo, no logró cumplir las expectativas de convertirse en un dispositivo de espionaje automatizado. Los investigadores se vieron atrapados en un ciclo de exageración creciente, en el que prometían más de lo que podían cumplir en sus propuestas. Los resultados finales a menudo no estaban a la altura de las promesas iniciales.

DARPA, la agencia del Departamento de Defensa que financia muchos de estos proyectos, comenzó a reevaluar su enfoque y a exigir expectativas más realistas de los investigadores.

1971–75: Recortes de DARPA

A principios de los años 70, el programa de investigación de comprensión del habla (SUR) de la DARPA tenía como objetivo desarrollar sistemas informáticos capaces de comprender órdenes verbales y datos para la interacción sin intervención en escenarios de combate. Después de cinco años y una inversión de quince millones de dólares, la DARPA dio por finalizado abruptamente el proyecto, aunque las razones exactas siguen sin estar claras. Instituciones prominentes como Stanford, MIT y Carnegie Mellon vieron sus contratos multimillonarios reducidos a casi la insignificancia.

Daniel Crevier escribe en su libro sobre la filosofía de financiación de DARPA en ese momento:

La filosofía de DARPA en aquel entonces era: “¡Financiar a personas, no a proyectos!”. Minsky había sido alumno de Licklider en Harvard y lo conocía bien. Como me dijo Minsky, “Licklider nos dio el dinero en un solo pago” y no le interesaban demasiado los detalles.

Varios contratistas de renombre, entre ellos Bolt, Beranek y Newman, Inc. (BBN) y Carnegie Mellon, produjeron sistemas notables durante esos cinco años. Entre estos sistemas se encuentran SPEECHLESS, HIM, HEARSAY-I, DRAGON, HARPY y HEARSAY-II, que lograron avances significativos en la comprensión del habla conectada y el procesamiento de oraciones de varios hablantes con un vocabulario de mil palabras.

Estos sistemas tenían limitaciones para comprender la entrada sin restricciones , lo que hacía que los usuarios adivinaran qué comandos se les aplicaban debido a la gramática restringida. A pesar de la decepción en este aspecto, los investigadores de IA consideraban estos proyectos con orgullo. Por ejemplo, HEARSAY-II, conocido por integrar múltiples fuentes de conocimiento utilizando un dispositivo de “pizarra”, fue aclamado como uno de los programas de IA más influyentes jamás escritos.

Pero en este punto, la brecha de comunicación entre los investigadores de IA y sus patrocinadores sobre las expectativas se volvió demasiado grande.

1973: gran disminución de la investigación sobre IA en el Reino Unido en respuesta al informe Lighthill

El descenso de la investigación en IA no fue exclusivo de los investigadores estadounidenses. En Inglaterra, un informe de Sir James Lighthill, una figura destacada en dinámica de fluidos y ex titular de la Cátedra Lucasiana de Matemáticas Aplicadas de la Universidad de Cambridge, asestó un golpe devastador al estado de la investigación en IA. Lighthill clasificó su investigación en tres partes, a las que se refiere como “El ABC del tema”.

La “A” representa la automatización avanzada, cuyo objetivo es reemplazar a los humanos por máquinas diseñadas específicamente para ese fin. La “C” indica la investigación del sistema nervioso central (SNC) basada en computadoras. Por último, la “B” simboliza la inteligencia artificial en sí misma, que sirve como puente entre las categorías A y C.

Mientras que las categorías A y C experimentaron períodos alternos de éxito y fracaso, Lighthill enfatizó el sentido generalizado y profundo de desánimo que rodeó la Actividad Puente prevista de la categoría B. Como él dice: “ Esto plantea dudas sobre si todo el concepto de IA como un campo integrado de investigación es válido ” .

El informe desató un acalorado debate que se transmitió en la serie “Controversy” de la BBC en 1973. Titulado “El robot de propósito general es un espejismo”, el debate tuvo lugar en la Royal Institution, con Sir James Lighthill enfrentándose a Donald Michie, John McCarthy y Richard Gregory.

Lamentablemente, las repercusiones del informe fueron graves y llevaron al desmantelamiento total de la investigación en IA en Inglaterra. Solo un puñado de universidades, a saber, Edimburgo, Essex y Sussex, continuaron con sus esfuerzos de investigación en IA. No fue hasta 1983 que la investigación en IA experimentó un resurgimiento a mayor escala. Este resurgimiento fue impulsado por la iniciativa de financiación del gobierno británico llamada Alvey, que asignó 350 millones de libras a la investigación en IA en respuesta al Proyecto de Quinta Generación japonés.

Invierno n.° 4, 1987: Colapso del mercado de máquinas LISP

Durante el período conocido como el invierno conexionista, los sistemas simbólicos como el Logical Theorist (1956) y el General Problem Solver (1957) continuaron progresando a pesar de las limitaciones de hardware. Estos sistemas solo podían manejar ejemplos de juguete debido a las limitadas capacidades de los ordenadores en ese momento. Esto es lo que dijo Herbert Simon sobre la situación en los años 1950-1960:

La gente se alejaba de las tareas que hacían del conocimiento el centro de las cosas porque no podíamos construir grandes bases de datos con los ordenadores que teníamos entonces. Nuestro primer programa de ajedrez y el Logic Theorist se hicieron en un ordenador que tenía un núcleo de 64 a 100 palabras y un tambor de borrador con 10.000 palabras de espacio utilizable. Así que la semántica no era el nombre del juego. Recuerdo a un estudiante que tenía que quería hacer una tesis sobre cómo se extraía información de una gran tienda. Le dije: “¡De ninguna manera! Sólo puedes hacer esa tesis sobre un ejemplo de juguete, y no tendremos ninguna evidencia de cómo se escala. Será mejor que encuentres otra cosa que hacer”. Así que la gente se alejó de los problemas en los que el conocimiento era la cuestión esencial.

Alrededor de 1960, McCarthy y Minsky, del MIT, desarrollaron LISP , un lenguaje de programación basado en funciones recursivas. LISP se volvió tan importante debido a sus capacidades de procesamiento simbólico y flexibilidad para gestionar tareas complejas, algo crucial para el desarrollo temprano de la IA. Fue uno de los primeros lenguajes utilizados en la investigación de la IA. Sin embargo, no fue hasta principios de la década de 1970, con la llegada de computadoras con importantes capacidades de memoria, que los programadores pudieron implementar aplicaciones que requerían un uso intensivo de conocimientos.

Estos sistemas formaron la base de los “sistemas expertos”, cuyo objetivo era incorporar la experiencia humana y reemplazar a los humanos en ciertas tareas. La década de 1980 marcó el auge de los sistemas expertos, transformando la IA de un campo académico a aplicaciones prácticas, y LISP se convirtió en el lenguaje de programación preferido para eso. LISP “supuso un cambio radical respecto de los lenguajes existentes” e introdujo nueve ideas innovadoras, según el ensayo de Paul Graham, programador informático y cofundador de Y Combinator y Hacker News.

El desarrollo de sistemas expertos representó un hito importante en el campo de la IA, cerrando la brecha entre la investigación académica y las aplicaciones prácticas. John McDermott, de la Universidad Carnegie Mellon, propuso el primer sistema experto llamado XCON (eXpert CONfigurer) en enero de 1980. XCON fue empleado por Digital Equipment Corporation (DEC) para agilizar el proceso de configuración de sus computadoras VAX. En 1987, XCON procesó una cantidad significativa de pedidos, lo que demostró su impacto y eficacia.

En 1981, CMU comenzó a trabajar en un nuevo sistema llamado Xsel. Posteriormente, DEC se hizo cargo del desarrollo y las pruebas de campo comenzaron en octubre de 1982. Si bien Xcon y Xsel recibieron una publicidad significativa, todavía estaban en la etapa de prototipo. Bruce Macdonald, entonces gerente del programa Xsel, comenzó a protestar porque la publicidad superaba con creces los logros, pero el vicepresidente de ventas no estaba dispuesto a detenerse. De hecho, Macdonald recuerda la reunión con ejecutivos de alto nivel en la que el vicepresidente de ventas lo miró y dijo: “Llevas tres años trabajando en esto. ¿No está listo?”

A principios de los años 1980 se produjo una avalancha de historias de éxito de sistemas expertos, lo que llevó a la formación de grupos de IA en muchas grandes empresas. El auge de las computadoras personales, la popularidad de las películas de La guerra de las galaxias y revistas como Discover y High Technology contribuyeron a la fascinación del público por la IA. El auge de la biotecnología de mil millones de dólares a finales de los años 1970 impulsó el interés inversor en alta tecnología, lo que impulsó a los principales expertos en IA a embarcarse en nuevas empresas :

• Edward Feigenbaum, a menudo llamado el “padre de los sistemas expertos”, junto con algunos de sus colegas de Stanford, formó Teknowledge, Inc.
• Investigadores de Carnegie Mellon incorporaron el Grupo Carnegie.
• Hubo suficientes empresas derivadas del MIT como para crear una franja en Cambridge, Massachusetts, conocida como AI Alley. Entre estas empresas emergentes se encontraban Symbolics, Lisp Machines, Inc. y Thinking Machines Corporation.
• El investigador Larry Harris dejó Dartmouth para formar Artificial Intelligence Corporation.
• Roger Schank, en Yale, supervisó la formación de Cognitive Systems, Inc.

Las empresas que aparecieron en esa época se podrían dividir en tres grandes áreas enumeradas desde la de mayores ventas hasta la de menores ventas:

1. Hardware y software relacionados con IA, específicamente microcomputadoras llamadas máquinas LISP, dedicadas a ejecutar programas LISP a velocidades cercanas a las de un mainframe
2. Las grandes corporaciones utilizaban programas informáticos denominados “herramientas de desarrollo de sistemas expertos”, o “shells”, para desarrollar sus propios sistemas expertos internos.
3. Aplicaciones actuales de los sistemas expertos

En 1985, 150 empresas gastaron 1.000 millones de dólares en grupos internos de IA . En 1986, las ventas de hardware y software relacionados con la IA en Estados Unidos alcanzaron los 425 millones de dólares, con la formación de 40 nuevas empresas e inversiones totales de 300 millones de dólares.

El crecimiento explosivo trajo consigo desafíos, ya que el mundo académico se sintió abarrotado por la afluencia de periodistas, capitalistas de riesgo, cazatalentos de la industria y empresarios. La reunión inaugural de la Asociación Estadounidense de Inteligencia Artificial en 1980 atrajo a unos mil investigadores , mientras que en 1985, una reunión conjunta de la AAAI y la IJCAI vio una asistencia cercana a los seis mil . La atmósfera pasó de la vestimenta informal a la vestimenta formal.

En 1984, en la reunión anual de AAAI, Roger Schank y Marvin Minsky advirtieron sobre el inminente “invierno de la IA”, prediciendo un estallido inminente de la burbuja de la IA, lo que ocurrió tres años después y el mercado de hardware de IA especializado basado en LISP colapsó .

Sun Microsystems y empresas como Lucid ofrecían potentes estaciones de trabajo y entornos LISP como alternativas. Las estaciones de trabajo de uso general plantearon desafíos para las máquinas LISP, lo que impulsó a empresas como Lucid y Franz LISP a desarrollar versiones cada vez más potentes y portátiles de LISP para sistemas UNIX. Más tarde, surgieron computadoras de escritorio de Apple e IBM con arquitecturas más simples para ejecutar aplicaciones LISP. En 1987, estas alternativas igualaban el rendimiento de las costosas máquinas LISP, lo que hizo que las máquinas especializadas quedaran obsoletas. La industria, que valía 500 millones de dólares, fue rápidamente reemplazada en un solo año.

La década de 1990: Resistencia a la implementación y mantenimiento de nuevos sistemas expertos

Tras el colapso del mercado de las máquinas LISP, su lugar fue ocupado por máquinas más avanzadas, pero finalmente corrieron la misma suerte. A principios de los años 90, la mayoría de las empresas comerciales de LISP, incluidas Symbolics y Lucid Inc., habían fracasado. Texas Instruments y Xerox también se retiraron del sector. Algunas empresas clientes continuaron manteniendo sistemas basados ​​en LISP, pero esto requería trabajo de soporte.

En la década de 1990 y después, el término “sistema experto” y el concepto de sistemas de IA independientes desaparecieron en gran medida del léxico de TI. Hay dos interpretaciones de esto. Una perspectiva es que “los sistemas expertos fracasaron” porque no pudieron cumplir su promesa exagerada, lo que llevó al mundo de TI a seguir adelante. La otra perspectiva es que los sistemas expertos fueron víctimas de su éxito. A medida que los profesionales de TI adoptaron conceptos como los motores de reglas, estas herramientas pasaron de ser herramientas independientes para desarrollar sistemas expertos especializados a convertirse en herramientas estándar para muchos.

Invierno n.° 5, 1988: Sin inteligencia artificial de alto nivel, no hay dinero

En 1981, los japoneses dieron a conocer su ambicioso plan para el proyecto de computadoras de quinta generación, lo que provocó preocupación en todo el mundo. Estados Unidos, con su historial de financiación del Departamento de Defensa para la investigación en IA y la experiencia técnica, respondió lanzando la Iniciativa de Computación Estratégica (SCI, por sus siglas en inglés) en 1983. La SCI tenía como objetivo desarrollar hardware informático avanzado e IA en un plazo de diez años. Los autores de Computación Estratégica : DARPA y la búsqueda de inteligencia artificial, 1983-1993 describen “la máquina imaginada por la SCI”:

Ejecutaría diez mil millones de instrucciones por segundo para ver, oír, hablar y pensar como un ser humano. El grado de integración requerido rivalizaría con el alcanzado por el cerebro humano, el instrumento más complejo conocido por el hombre.

Un proyecto notable de la Strategic Computing Initiative (SCI) fue el proyecto “Smart Truck” o vehículo terrestre autónomo (ALV) . Recibió una parte importante del presupuesto anual de la SCI y su objetivo era desarrollar un robot versátil para diversas misiones, entre ellas la entrega de armas, el reconocimiento, el manejo de municiones y el reabastecimiento en la retaguardia. El objetivo era crear un vehículo que pudiera desplazarse por terrenos accidentados, superar obstáculos y utilizar el camuflaje. Inicialmente, los prototipos con ruedas se limitaban a carreteras y terrenos planos, pero el producto final estaba previsto para atravesar cualquier terreno con patas mecánicas.

A finales de los años 1980, se hizo evidente que el proyecto estaba lejos de alcanzar los niveles deseados de inteligencia artificial. El principal desafío surgió de la falta de una estructura de gestión eficaz y estable que pudiera coordinar los diferentes aspectos del programa y avanzarlos colectivamente hacia el objetivo de la inteligencia artificial. Se hicieron varios intentos de imponer esquemas de gestión en SCI, pero ninguno tuvo éxito. Además, los ambiciosos objetivos de SCI, como la capacidad de conducción autónoma del proyecto ALV, excedían lo que se podía lograr en ese momento y se parecían a los sistemas de IA multimodales contemporáneos y al elusivo concepto de AGI (Inteligencia General Artificial).

Bajo el liderazgo de Jack Schwarz, quien asumió el control de la Oficina de Tecnología de Procesamiento de Información (IPTO) en 1987, se redujo la financiación para la investigación de IA dentro de DARPA . En Machines Who Think: A Personal Inquiry into the History and Prospects of Artificial Intelligence , Pamela McCorduck describe la actitud de Schwarz hacia la Strategic Computing Initiative y el papel de la IA:

Schwartz creía que la DARPA estaba utilizando un modelo de natación: se fijaba un objetivo y remaba hacia él sin importar las corrientes o las tormentas. En cambio, la DARPA debería utilizar un modelo de surfista: esperar la gran ola, que le permitiría a sus relativamente modestos fondos surfear con gracia y éxito hacia ese mismo objetivo. A largo plazo, la IA era posible y prometedora, pero la ola aún no había llegado.

A pesar de no haber alcanzado un alto nivel de inteligencia artificial, el SCI logró ciertos hitos técnicos. Por ejemplo, en 1987, el ALV había demostrado capacidades de conducción autónoma en carreteras de dos carriles, de evasión de obstáculos y de conducción todoterreno en diferentes condiciones. El uso de cámaras de vídeo, escáneres láser y unidades de navegación inercial, que fueron pioneros en el programa ALV del SCI, sentó las bases para los desarrollos actuales de vehículos comerciales sin conductor.

El Departamento de Defensa invirtió 1.000.417.775,68 dólares en el SCI entre 1983 y 1993, como se indica en Strategic Computing: DARPA and the Quest for Machine Intelligence, 1983-1993 . El proyecto fue finalmente reemplazado por la Accelerated Strategic Computing Initiative en la década de 1990 y, más tarde, por el Advanced Simulation and Computing Program.

Conclusión

¡Qué frío! Los inviernos de la IA no eran precisamente divertidos, pero parte de la investigación que hizo posible los recientes avances con los modelos de lenguaje de gran tamaño (LLM) se realizó en esa época. Durante el auge de los sistemas expertos simbólicos, los investigadores conexionistas continuaron su trabajo en redes neuronales, aunque a menor escala. El descubrimiento de Paul Werbos de la retropropagación, un algoritmo crucial para el entrenamiento de redes neuronales, fue crucial para seguir avanzando.

A mediados de los años 1980, el “invierno conexionista” llegó a su fin cuando investigadores como Hopfield, Rumelhart, Williams, Hinton y otros demostraron la eficacia de la retropropagación en redes neuronales y su capacidad para representar distribuciones complejas. Este resurgimiento se produjo simultáneamente con el declive de los sistemas expertos simbólicos.

Después de este período, la investigación sobre redes neuronales floreció sin más contratiempos, lo que llevó al desarrollo de numerosos modelos nuevos, allanando el camino para el surgimiento de los LLM modernos. En la próxima edición, profundizaremos en este fructífero período de investigación sobre redes neuronales.

Fuente: https://substack.com/@fwmba