La trampa de los grandes modelos de lenguaje: ver conciencia donde solo hay palabras

Setenta y cuatro/Shutterstock

Reflexiones críticas sobre la atribución de conciencia a los grandes modelos de lenguaje de inteligencia artificial generativa tipo ChatGpt.

por Ramón López de Mántaras, Instituto de Investigación en Inteligencia Artificial (IIIA – CSIC)

La irrupción de los modelos de lenguaje de gran escala (LLM, por sus siglas en inglés), como ChatGPT, ha desatado un debate apasionado en torno a su posible naturaleza consciente.

No son pocos los usuarios –entre ellos personas con formación científica o humanística– que aseguran haber percibido signos de vida interior, emociones e incluso voluntad en estos sistemas. Sostienen que ciertos intercambios verbales revelan emociones complejas, empatía, autoconciencia e incluso sufrimiento.

Esta ilusión ha sido descrita por el científico y filósofo estadounidense Douglas Richard Hofstadter como una peligrosa confusión entre el uso sofisticado del lenguaje y la vivencia subjetiva de una conciencia real. Su crítica apunta a la forma en que muchos entusiastas interpretan la complejidad verbal como una señal de interioridad, sin reparar en la diferencia crucial entre generar lenguaje y tener experiencias. Es precisamente esta distinción –entre producción textual y subjetividad vivida– la que permite cuestionar la idea de que un sistema lingüístico pueda, por sí solo, alcanzar conciencia.

La ilusión de conciencia y el efecto ELIZA

Este fenómeno no es nuevo. En 1966, el científico informático Joseph Weizenbaum desarrolló Eliza, un sencillo programa que imitaba a un terapeuta. A pesar de su simplicidad, muchos usuarios llegaron a creer que el sistema los comprendía. Esta reacción preocupó profundamente al creador del programa, quien advirtió en su influyente libro Computer Power and Human Reason (1976) de los riesgos éticos y epistemológicos de atribuir vida mental a un software.

Los modelos de lenguaje como ChatGPT no comprenden

Hoy, sesenta años más tarde, con la capacidad verbal de los LLM, el efecto Eliza ha regresado amplificado. Los sistemas actuales no solo reformulan preguntas, sino que generan textos con coherencia narrativa, referencias filosóficas, giros estilísticos e incluso formas de humor. Sin embargo, esta competencia verbal no implica interioridad ni comprensión.

Los LLM no comprenden los conceptos que enuncian ni tienen experiencia de aquello que describen. El efecto Eliza consiste en proyectar conciencia allí donde solo hay estructuras lingüísticas generadas estadísticamente. Es fruto de sofisticadas técnicas que maximizan la probabilidad de la siguiente palabra en función de patrones extraídos de enormes corpus lingüísticos.

La fluidez de los modelos de lenguaje

Una de las grandes trampas epistémicas de los LLM es su fluidez. Su capacidad para construir discursos con cohesión y elegancia gramatical los vuelve extremadamente persuasivos. El científico y filósofo estadounidense Douglas Hofstadter (2007) ha llamado a esta habilidad “fluidez superficial”. Es decir, la capacidad de combinar términos y frases sin que ello implique reflexión o conciencia real. Lo que parece pensamiento profundo es, en realidad, un sofisticado espejismo verbal.

Se trata, en términos del filósofo Luciano Floridi (2019), de una “inteligencia artificial sin semántica”. O, en términos del filósofo de la ciencia Daniel Dennett (2018), de “habilidades sin comprensión”.

¿Cómo es ser un murciélago?

Para comprender por qué la fluidez verbal no equivale a conciencia, conviene volver a la filosofía. El filósofo Thomas Nagel, en su célebre ensayo What Is It Like to Be a Bat? (1974) (¿Cómo es ser un murciélago?), sostiene que la conciencia implica un punto de vista subjetivo, una cualidad fenomenológica que escapa a la descripción objetiva.

Esta opacidad de la experiencia subjetiva –llamada qualia– define para Nagel la conciencia como algo radicalmente distinto de cualquier simulación computacional. Por más que comprendamos el funcionamiento del cerebro de un murciélago, nunca sabremos qué se siente al ser uno.

Los modelos de lenguaje no tienen experiencias internas. Generan frases que “hablan” del amor, el miedo o la muerte, pero no sienten amor, miedo ni saben lo que significa morir. Carecen de lo que el filósofo Thomas Metzinger (2003)  llama “modelos de sí mismos con acceso consciente”. Son máquinas sin punto de vista.

Un sistema sin cuerpo

Para profundizar en esta distinción, la fenomenología del filósofo francés Maurice Merleau-Ponty resulta especialmente reveladora. Merleau-Ponty argumenta que la conciencia no es un mero proceso mental ni un conjunto de datos simbólicos, sino que está inseparablemente ligada al cuerpo y a la experiencia encarnada del mundo. En su Fenomenología de la percepción (1945), describe la conciencia como una experiencia donde el cuerpo no es solo un objeto, sino el sujeto primordial a través del cual se percibe y se habita el mundo.

Pretender que un sistema sin cuerpo, sin mundo vivido y sin temporalidad interna pueda experimentar conciencia equivale a despojarla de sus condiciones esenciales.

Los LLM pueden articular frases sobre el sufrimiento o la belleza, pero no pueden habitarlas, ya que carecen totalmente de las experiencias sensorio-motoras que según Merleau-Ponty son condición sine qua non para la conciencia genuina.

La habitación china

En una línea similar, el filósofo John Searle (1980) ilustra esta ausencia de comprensión mediante su experimento mental de la habitación china. Una persona sin conocimientos de chino puede perfectamente responder a preguntas en ese idioma si dispone de un manual con reglas sintácticas precisas. A los ojos de un observador externo, parecería que comprende. Pero no hay comprensión real, solo manipulación sintáctica.

Así funcionan, para Searle, los sistemas computacionales: pueden simular comprensión, pero no poseen intencionalidad ni experiencia consciente. Esta analogía aplica directamente a los LLM: producen textos verosímiles sin comprensión semántica ni intención comunicativa.

La crítica del filósofo Hubert Dreyfus complementa esta perspectiva. En What Computers Can’t Do (Lo que los ordenadores no pueden hacer, 1972), insiste en que la inteligencia humana emerge de una relación práctica y encarnada con el mundo, una habilidad para navegar contextos complejos que los algoritmos no poseen. Así, aunque los LLM puedan generar textos coherentes y sofisticados, carecen de la comprensión experiencial y situacional que fundamenta la conciencia y la inteligencia humana.

La ilusión de conciencia en los LLM es un espejismo que nace de proyectar experiencias humanas en máquinas que carecen de cuerpo y experiencia.

La trampa del espejo

La clave del problema no reside en las máquinas, sino en los humanos. Lo que ocurre en muchos casos es que proyectamos sobre las máquinas nuestros propios esquemas cognitivos. Es lo que Hofstadter llama “la trampa del espejo”: creemos ver una mente donde solo hay palabras. Vemos conciencia porque queremos verla, porque en el fondo anhelamos encontrar un reflejo de nuestra interioridad. Como explica la socióloga Sherry Turkle (2011), no buscamos máquinas conscientes, sino relaciones significativas –aunque sean ilusorias– con entidades que nos devuelvan “la mirada”.

Esta proyección puede tener consecuencias importantes. A nivel afectivo, corremos el riesgo de desarrollar vínculos con entes que no pueden corresponderlos. A nivel epistemológico, confundimos apariencia con realidad. A nivel social, podríamos legitimar decisiones automatizadas que simulan empatía sin tenerla y ello podría debilitar nuestra comprensión de lo humano al confundir simulación con experiencia. A nivel legal podría incluso conducir a otorgar derechos y responsabilidades a sistemas que no pueden experimentarlos.

Si no aprendemos a distinguir entre lenguaje y experiencia, entre forma y fondo, entre simulacro y sujeto, corremos el riesgo de caer en una nueva forma de animismo tecnocientífico.

Antes de proclamar que las máquinas han despertado, quizá deberíamos despertar nosotros de nuestra fascinación por sus reflejos.

Fuente: https://theconversation.com/la-trampa-de-los-grandes-modelos-de-lenguaje-ver-conciencia-donde-solo-hay-palabras-261278

---

La inteligencia artificial y el “problema difícil” de la conciencia

¿Por qué los humanos, a pesar de compartir una biología similar, tenemos percepciones del mundo tan diferentes? Este enigma, que se conoce como la “brecha explicativa” o, en palabras de David Chalmers, “el problema difícil” de la conciencia , ha generado numerosos debates y especulaciones.

por Ramón López de Mántaras, Profesor de investigación del CSIC, Instituto de Investigación en Inteligencia Artificial (IIIA – CSIC)

La inmensa mayoría de los neurocientíficos piensa que el cerebro es la única causa de la mente. Pero a pesar de los avances en neurociencia y psicología, aún estamos muy lejos de cerrar la brecha explicativa.

Desde tiempos inmemoriales, la conciencia ha sido uno de los mayores misterios que ha cautivado a filósofos, científicos y pensadores. ¿Cómo es posible que procesos electroquímicos que tienen lugar en nuestro cerebro generen experiencias subjetivas?

El enfoque pragmático: parte por parte

Neurocientíficos volcados en el tema, como Anil Seth , profesor de neurociencia cognitiva y computacional en la Universidad de Sussex (Reino Unido), proponen un enfoque pragmático: en lugar de intentar resolver el problema en su totalidad, se centran en entender cómo ciertos procesos cerebrales específicos generan experiencias conscientes particulares.

De hecho, prácticamente todos los experimentos sobre la conciencia tienen en común que buscan, ya menudo encuentran, correlatos neuronales de la conciencia . Pero los correlatos no explican las preguntas de por qué y cómo la actividad física del cerebro da lugar a una experiencia subjetiva completa. Para explicarlo se necesita encontrar la cadena de relaciones causa-efecto que vinculan la actividad neuronal con la conciencia y otros procesos cognitivos de alto nivel.

Este enfoque pragmático define la conciencia, de manera minimalista, como “cualquier tipo de experiencia subjetiva, desde el placer hasta el dolor, desde el miedo hasta la alegría”. Por lo tanto, la conciencia es la capacidad de sentir y experimentar.

El neurocientífico Michael Gazzaniga , profesor de psicología en la Universidad de California, en Santa Bárbara, muy reconocido por sus estudios sobre la conciencia, la define, de manera similar, como “la sensación subjetiva de un número de instintos y/o recuerdos desarrollándose en el tiempo dentro de un organismo”.

Las “alucinaciones controladas”

Estos enfoques de la conciencia la vinculan estrechamente con nuestra condición de seres vivos, en contraposición a las posturas dualistas que la consideran una entidad separada del cuerpo oa las ideas panpsiquistas que la atribuyen a toda la materia, desde objetos inanimados hasta computadoras. La conciencia es, por tanto, un proceso biológico que nos hace ser algo más que objetos biológicos. Es lo que nos hace sentir vivos.

En el caso de los trabajos de Seth, uno de los conceptos más interesantes que propone es el de las “ alucinaciones controladas ”. Se basa en que, aunque existe una realidad objetiva, no podemos experimentarla tal como es: nuestros cerebros construyen una interpretación de la realidad a partir de multitud de señales sensoriales, generando una percepción subjetiva. Nuestros cerebros han evolucionado para que estas alucinaciones controladas, estas interpretaciones que surgen del cerebro, sean bastante cercanas a la realidad, de modo que nos resultan útiles para sobrevivir.

El ejemplo más claro de esto es el color. En realidad, los colores no existen de manera objetiva. Son creaciones de nuestro cerebro basadas en cómo los objetos reflejan la luz. Estas interpretaciones son lo que experimentamos como color. Es una perspectiva que desafía la noción común de que percibimos el mundo “tal como es” y nos obliga a aceptar que nuestra experiencia de la realidad es, en esencia, una construcción cerebral.

Las investigaciones en neurociencia han demostrado que la percepción es el resultado de un equilibrio entre los datos sensoriales externos y las predicciones internas del cerebro. Este proceso se conoce como “ codificación predictiva ”, donde el cerebro genera hipótesis constantes sobre el mundo y las ajusta según la información recibida. Cuando este mecanismo falla, pueden aparecer distorsiones perceptivas, como las ilusiones ópticas o los sueños o, incluso, trastornos como la esquizofrenia.

Los límites de la inteligencia artificial.

Con los últimos avances en inteligencia artificial generativa, algunos han afirmado que las máquinas podrían alcanzar pronto una inteligencia artificial fuerte, es decir, que no simule tener estados mentales, sino que los tenga realmente y, por lo tanto, sea consciente. Personalmente, comparto con Anil Seth un alto grado de escepticismo sobre esta posibilidad. No hay ninguna evidencia científica que indique que una inteligencia artificial pueda llegar a ser consciente.

Es bien sabido que los humanos tenemos una tendencia natural a ser antropocéntricos, es decir, a ver el mundo desde nuestra propia perspectiva ya proyectar características humanas en otras entidades, en particular la capacidad de conciencia.

Un ejemplo claro son los grandes modelos de lenguaje de la inteligencia artificial. Están diseñados con el fin de producir una ilusión de inteligencia y personalidad. Su capacidad para generar lenguaje gramaticalmente correcto y su discurso persuasivo nos lleva a ver comprensión, intencionalidad y conciencia donde solo hay un proceso estadístico.

Es esta fuerte tendencia antropocéntrica la que lleva a muchos a cometer el error de sobrevalorar las capacidades de los sistemas de inteligencia artificial oa creer que desarrollarán conciencia. Las inteligencias artificiales muestran habilidades sin comprensión, en el sentido de Daniel Dennett . Por muy sofisticadas e impresionantes que sean estas habilidades para resolver problemas, nunca tendrán experiencias subjetivas ni sensación de existencia propia por el hecho indiscutible de que no son seres vivos.

Procesadores de símbolos

En mi opinión, la Hipótesis del Sistema de Símbolos Físicos (SSF, por sus siglas en inglés) de Allen Newell y Herbert Simon es falsa. Esta hipótesis postula que todo sistema capaz de procesar símbolos posee los medios necesarios y suficientes para ser inteligente en el sentido fuerte del término.

Aunque estrictamente la hipótesis SSF se formuló en 1975, ya estaba implícita en las ideas de los pioneros de la IA en la década de 1950, e incluso en las ideas de Alan Turing en sus escritos sobre la posibilidad de la existencia de futuras máquinas inteligentes a finales de los años 40.

Conviene aclarar a qué se referían Newell y Simon cuando hablaban de Símbolos Físicos. Un SSF consiste en un conjunto de entidades llamadas símbolos que, mediante relaciones, pueden combinarse formando estructuras más grandes, como los átomos que se combinan formando moléculas, y que pueden ser transformados aplicando un conjunto de procesos. Estos procesos pueden introducir nuevos símbolos, crear y modificar relaciones entre ellos, almacenarlos, comparar si dos símbolos son iguales o diferentes, etc. Son símbolos físicos en tanto que tienen un sustrato electrónico (en el caso de los ordenadores) o biológico (en el caso de los seres humanos).

En definitiva, de acuerdo con esta hipótesis, la naturaleza del sustrato (circuitos electrónicos o redes neuronales) es indiferente a la hora de sustentar inteligencia, siempre y cuando este sustrato permita procesar símbolos. En el caso de los ordenadores, los procesadores de símbolos son lo que conocemos como programas.

La idea de la hipótesis SSF tiene sus raíces en la Teoría Computacional de la Mente , que sostiene que la mente humana es un sistema de procesamiento de información y que la cognición y la conciencia, en conjunto, son una forma de computación. De hecho, John von Neumann , un matemático considerado uno de los padres de la informática, a mediados de los años 1940 ya comparaba el cerebro con el ordenador. En la década de 1960, Hilary Putman y Jerry Fodor defendían que la relación mente-cerebro era comparable con la relación software – hardware .

Sin embargo, esta analogía no es sostenible si tenemos en cuenta que la cognición no es como un programa de ordenador que se ejecuta en el cerebro, sino el resultado de millones de años de evolución. No se puede efectuar un cambio en la cognición sin modificar el cerebro, pero en cambio se puede cambiar el software sin modificar para nada el hardware . Se trata de una diferencia fundamental, aunque, obviamente, no es la única.

¿Conciencia sin biología?

Otra gran diferencia es que, al contrario de un ordenador, la mayor parte de la información en el cerebro está construida en vez de almacenada. El cerebro, al revés que un ordenador, necesita almacenar poca información porque es capaz de focalizarse en lo esencial e inferir el resto con el fin de dar sentido a las cosas. Son estas construcciones las que probablemente dan lugar al sentido de identidad ya la conciencia.

Considerar cierta hipótesis SSF implica creer que una inteligencia artificial igual o superior a la humana es posible. Contrariamente a esta creencia, estoy convencido de que la conciencia está profundamente arraigada en la biología. Dicho de otra manera, el sustrato no sólo no es indiferente, sino que es definitivo. No podemos hablar de una auténtica comprensión del mundo y del lenguaje sin hablar de conciencia.

Una consecuencia importante es que las inteligencias artificiales, incluso las corpóreas, al no tener conciencia por el hecho de no ser seres vivos, no pueden comprender realmente ni el mundo ni el lenguaje, por mucho que nos parezca que los comprenden inducidos por nuestra tendencia a proyectar características humanas donde no las hay.

En conclusión, la conciencia sigue siendo un gran enigma. Su estudio es importante, no para construir inteligencias artificiales conscientes –ya que esto ni siquiera parece posible– sino porque, como dice Anil Seth, nos permitiría entender mejor nuestra propia naturaleza y mejorar la sociedad.

El simple hecho de reconocer que todos experimentamos el mundo de manera diferente podría ayudar a mejorar la empatía y la comunicación entre las personas. Entender que todo lo que percibimos es una construcción es una lección de humildad ante nuestras experiencias y creencias. A medida que avanzamos en los estudios sobre la conciencia, es posible que descubramos no solo qué nos hace conscientes, sino también qué nos hace humanos.

Fuente: https://theconversation.com/la-inteligencia-artificial-y-el-problema-dificil-de-la-conciencia-253488