La llamada “teoría de la mente” es un rasgo distintivo de la inteligencia emocional y social que permite inferir las intenciones de otras personas. Ahora, un nuevo experimento demuestra que grandes modelos de lenguaje podrían ser tan buenos como los humanos, o incluso mejor, para rastrear algunos estados mentales.
Los autores de este estudio publicado en la revista Nature Human Behaviour advierten, no obstante, de que el hecho de que los grandes modelos de lenguaje (LLM) muestren un rendimiento similar al de los humanos en estas tareas “no equivale a capacidades similares a las de los humanos y no significa que posean una teoría de la mente”.
Los experimentos, liderados por investigadores del Centro Médico Universitario Hamburgo-Eppendorf (Alemania), se realizaron con los modelos ChatGPT-3.5 y GPT-4 de OpenAI y Llama 2 de Meta.
“Los dos tipos de LLM tienen un rendimiento similar al de los humanos e incluso superior en determinadas situaciones, en tareas que ponen a prueba la capacidad de seguir los estados mentales de los demás -como sus intenciones-, lo que se conoce como teoría de la mente”, resume la revista.
La IA capaz de tomar decisiones complejas
Esta teoría es fundamental para las interacciones sociales humanas y resulta esencial para la comunicación y la empatía. Investigaciones anteriores habían demostrado que los LLM, un tipo de inteligencia artificial, son capaces de resolver tareas cognitivas complejas, como la toma de decisiones de elección múltiple.
Sin embargo, aún no está claro si los grandes modelos de lenguaje también pueden alcanzar un rendimiento similar en tareas de teoría de la mente, una capacidad que se cree que es exclusivamente humana.
“En el núcleo de lo que nos define como humanos está el concepto de teoría de la mente: la capacidad de seguir los estados mentales de otras personas”, escriben los autores en su artículo.
El reciente desarrollo de grandes modelos lingüísticos como ChatGPT ha dado lugar a ‘un intenso’ debate sobre la posibilidad de que estos muestren un comportamiento indistinguible del humano en tareas de teoría de la mente.
Pruebas para comparar a humanos con la IA
James Strachan y su equipo seleccionaron una serie tareas que ponen a prueba distintos aspectos de la citada teoría y compararon las capacidades de 1.907 humanos y las dos populares familias de LLM.
El equipo realizó varios tipos de pruebas, entre ellas la tarea de insinuación que está diseñada para medir la capacidad de una persona para deducir las verdaderas intenciones de otra a través de comentarios indirectos.
Asimismo, implementó otra prueba para medir la capacidad de reconocer cuándo alguien está cometiendo un paso en falso, otra para comprobar la comprensión de la ironía y el test de falsas creencias.
Los autores descubrieron que los modelos GPT se situaban en la media humana, o incluso la superaban, en la identificación de peticiones indirectas, falsas creencias y desorientación, mientras que los modelos LLama 2 se situaban por debajo de los niveles humanos.
En la detección de pasos en falso, LLama 2 superó a los humanos, mientras que GPT tuvo problemas.