Si alguna vez te has expresado en ChatGPT sobre los problemas de la vida, las respuestas pueden parecer empáticas. El chatbot brinda apoyo afirmativo y, cuando se le solicita, incluso brinda consejos como un mejor amigo.

por Shelly Fan

Psicología de la IA?

A diferencia de los chatbots más antiguos, la naturaleza aparentemente “empática” de los últimos modelos de IA ya ha galvanizado a la comunidad de psicoterapia, y muchos se preguntan si  pueden ayudar en la terapia.

La capacidad de inferir los estados mentales de otras personas es un aspecto central de la interacción cotidiana. Llamada “teoría de la mente”, nos permite adivinar lo que sucede en la mente de otra persona, a menudo interpretando el habla. ¿Están siendo sarcásticos? ¿Están mintiendo? ¿Están insinuando algo que no se dice abiertamente?

“La gente se preocupa por lo que piensan los demás y dedica mucho esfuerzo a pensar en lo que sucede en otras mentes”, escribieron la Dra. Cristina Becchio y sus colegas del Centro Médico Universitario Hanburg-Eppendorf en  un nuevo estudio  en  Nature Human Behavior .

En el estudio, los científicos preguntaron si ChatGPT y otros chatbots similares, que se basan en algoritmos de aprendizaje automático llamados grandes modelos de lenguaje, también pueden adivinar la mentalidad de otras personas. Utilizando una serie de pruebas de psicología diseñadas para ciertos aspectos de la teoría de la mente, enfrentaron dos familias de grandes modelos de lenguaje, incluida la serie GPT de OpenAI y LLaMA 2 de Meta, con más de 1.900 participantes humanos.

GPT-4, el algoritmo detrás de ChatGPT, se realizó a niveles humanos o incluso por encima de ellos en algunas tareas, como identificar la ironía. Mientras tanto, LLaMA 2 venció tanto a los humanos como a GPT en la detección de pasos en falso: cuando alguien dice algo que no debe decir pero no se da cuenta.

Para ser claros, los resultados no confirman que los LLM tengan teoría de la mente. Más bien, muestran que estos algoritmos pueden imitar ciertos aspectos de este concepto central que “nos define como humanos”, escribieron los autores.

Lo que no se dice

Aproximadamente a los cuatro años , los niños ya saben que las personas no siempre piensan igual. Tenemos diferentes creencias, intenciones y necesidades. Al ponerse en el lugar de otras personas, los niños pueden comenzar a comprender otras perspectivas y ganar empatía.

Introducida por primera vez en 1978, la teoría de la mente es un lubricante para las interacciones sociales. Por ejemplo, si estás parado cerca de una ventana cerrada en una habitación mal ventilada y alguien cerca dice: “Hace un poco de calor aquí”, debes pensar en su perspectiva para intuir que te está pidiendo cortésmente que abras la ventana. .

Cuando la capacidad falla (por ejemplo, en el autismo), resulta difícil captar las emociones, los deseos y las intenciones de otras personas y captar el engaño. Y todos hemos experimentado casos en los que los mensajes de texto o los correos electrónicos provocan malentendidos cuando un destinatario malinterpreta el significado del remitente.

Entonces, ¿qué pasa con los modelos de IA detrás de los chatbots?

Hombre versus máquina

En 2018, el Dr. Alan Winfield, profesor de ética de la robótica en la Universidad de West England, defendió la idea de que la teoría de la mente podría permitir que la IA “comprenda” las intenciones de las personas y de otros robots. En ese momento, propuso darle a un algoritmo un modelo interno programado de sí mismo, con sentido común sobre las interacciones sociales incorporado en lugar de aprendido.

Los grandes modelos de lenguaje adoptan un enfoque completamente diferente, ingiriendo conjuntos de datos masivos para generar respuestas similares a las humanas que resultan empáticas. Pero ¿muestran signos de teoría de la mente?

A lo largo de los años, los psicólogos han desarrollado una batería de pruebas para estudiar cómo adquirimos la capacidad de modelar la mentalidad de otra persona. El nuevo estudio enfrentó dos versiones de los modelos GPT de OpenAI (GPT-4 y GPT-3.5) y LLaMA-2-Chat de Meta con 1.907 participantes humanos sanos. Basándose únicamente en descripciones textuales de escenarios sociales y utilizando pruebas integrales que abarcaban diferentes teorías de la teoría de las habilidades mentales, tuvieron que evaluar la “mentalidad” de la persona ficticia.

Cada prueba ya estaba bien establecida para medir la teoría de la mente en humanos en psicología.

La primera, llamada “falsa creencia”, se utiliza a menudo para evaluar a los niños pequeños a medida que adquieren un sentido de sí mismos y reconocimiento de los demás. Como ejemplo, escuchas una historia: Lucy y Mia están en la cocina con un cartón de jugo de naranja en el armario. Cuando Lucy se va, Mia pone el jugo en el frigorífico. ¿Dónde buscará Lucy el jugo cuando regrese?

Tanto los humanos como la IA supusieron casi perfectamente que la persona que había abandonado la habitación cuando se movió el jugo lo buscaría donde recordaban haberlo visto por última vez. Pero ligeros cambios hicieron tropezar a la IA. Al cambiar el escenario (por ejemplo, el jugo se transportaba entre dos contenedores transparentes), los modelos GPT tuvieron dificultades para adivinar la respuesta. (Aunque, para que conste, los humanos tampoco fueron perfectos en esto en el estudio).

Una prueba más avanzada es la de las “historias extrañas”, que se basa en múltiples niveles de razonamiento para evaluar capacidades mentales avanzadas, como desorientación, manipulación y mentira. Por ejemplo, tanto a voluntarios humanos como a modelos de IA se les contó la historia de Simon, que miente a menudo. Su hermano Jim lo sabe y un día descubrió que le faltaba su pala de ping-pong. Se enfrenta a Simon y le pregunta si está debajo del armario o de su cama. Simon dice que está debajo de la cama. La prueba pregunta: ¿Por qué Jim buscaría en el armario?

De todos los modelos de IA, GPT-4 tuvo el mayor éxito, razonando que “el gran mentiroso” debe estar mintiendo, por lo que es mejor elegir el armario. Su desempeño incluso superó a los voluntarios humanos.

Luego vino el estudio del “paso en falso”. En investigaciones anteriores , los modelos GPT tuvieron dificultades para descifrar estas situaciones sociales. Durante las pruebas, un ejemplo mostraba a una persona comprando cortinas nuevas y, mientras las colocaba, un amigo dijo casualmente: “Oh, esas cortinas son horribles, espero que consigas algunas nuevas”. A los modelos humanos y de IA se les presentaron múltiples escenarios similares dignos de vergüenza y se les preguntó si la respuesta presenciada era apropiada. “La respuesta correcta es siempre no”, escribió el equipo.

GPT-4 identificó correctamente que el comentario podría ser hiriente, pero cuando se le preguntó si el amigo conocía el contexto (que las cortinas eran nuevas), le costó dar una respuesta correcta. Esto podría deberse a que la IA no pudo inferir el estado mental de la persona, y que reconocer un paso en falso en esta prueba depende del contexto y las normas sociales que no se explican directamente en el mensaje, explicaron los autores. Por el contrario, LLaMA-2-Chat superó a los humanos, logrando casi el 100 por ciento de precisión excepto en una ejecución. No está claro por qué tiene tal ventaja.

Bajo el puente

Gran parte de la comunicación no es lo que se dice, sino lo que se da a entender.

La ironía es quizás uno de los conceptos más difíciles de traducir entre idiomas. Cuando se probó con una prueba psicológica adaptada para el autismo, GPT-4 superó sorprendentemente a los participantes humanos en el reconocimiento de declaraciones irónicas, por supuesto, solo a través de texto, sin la habitual mirada en blanco.

La IA también superó a los humanos en una tarea de pistas: básicamente, comprender un mensaje implícito. Derivado de una prueba para evaluar la esquizofrenia , mide el razonamiento que se basa tanto en la memoria como en la capacidad cognitiva para tejer y evaluar una narrativa coherente. Tanto los participantes como los modelos de IA recibieron 10 sketches breves escritos, cada uno de los cuales representaba una interacción social cotidiana. Las historias terminaban con una pista sobre la mejor manera de responder con respuestas abiertas. En 10 historias, GPT-4 ganó contra los humanos.

Para los autores, los resultados no significan que los LLM ya tengan teoría de la mente. Cada IA ​​tuvo problemas con algunos aspectos. Más bien, creen que el trabajo resalta la importancia de utilizar múltiples pruebas de psicología y neurociencia (en lugar de depender de una sola) para sondear el opaco funcionamiento interno de las mentes mecánicas. Las herramientas de psicología podrían ayudarnos a comprender mejor cómo “piensan” los LLM y, a su vez, ayudarnos a construir una IA más segura, precisa y confiable.

Hay cierta promesa de que “la teoría artificial de la mente puede no ser una idea demasiado lejana”, escribieron los autores.

Haber de imagen:  Abishek / Unsplash

Fuente: https://singularityhub.com/2024/05/21/can-chatgpt-mimic-theory-of-mind-psychology-is-probing-ais-inner-workings/

Deja una respuesta