¿Puede la IA leer pensamientos? Los modelos LLM dominan la teoría de la mente

La investigación ha revelado que los grandes modelos de lenguaje pueden imitar la capacidad de comprender el estado mental de otras personas, conocida como teoría de la mente. Este descubrimiento fue realizado por un equipo de científicos del Centro Médico de Hamburgo-Eppendorf en Alemania.

Los científicos realizaron pruebas exhaustivas de varios modelos de lenguaje, incluyendo GPT-4 de OpenAI y Llama 2-70b de Meta*, así como de 1,907 personas. Las pruebas incluían cinco tareas típicas de la teoría de la mente:

Comprensión de insinuaciones: A los participantes se les presentaron situaciones en las que debían reconocer significados ocultos o mensajes implícitos. Ironía: Los participantes debían determinar cuándo lo dicho implicaba un significado opuesto. Errores sociales: Las tareas incluían situaciones en las que alguien cometía un error social accidentalmente, y se debía determinar si lo había notado. Creencias falsas: Las pruebas evaluaban si los participantes podían entender que una persona podía tener una percepción incorrecta de una situación (por ejemplo, dónde alguien buscaba un objeto que había sido movido en su ausencia). Historias complejas: Los participantes analizaban historias con situaciones complicadas donde los personajes mentían, manipulaban o no se entendían entre sí. GPT-4 mostró resultados comparables a los humanos en las pruebas de creencias falsas e incluso superó a los humanos en tareas de ironía, insinuaciones e historias complejas. Sin embargo, no se desempeñó tan bien en la prueba de errores sociales.

El modelo Llama-2, por otro lado, mostró buenos resultados en las pruebas de creencias falsas, pero tuvo un desempeño inferior en las tareas de ironía, insinuaciones e historias complejas, mientras que tuvo un mejor desempeño en los errores sociales.

Los investigadores enfatizan que los resultados no prueban la existencia de la teoría de la mente en los modelos de lenguaje. Simplemente, muestran que los modelos pueden exhibir un comportamiento similar al humano en tales tareas. Algunos expertos llaman a interpretar los resultados con cautela y advierten sobre posibles riesgos y conclusiones erróneas.

Cabe recordar que el cofundador de Ethereum, Vitalik Buterin, afirmó que GPT-4 superó con éxito la prueba de Turing. Según el estudio, las personas confundieron a GPT-4 con un ser humano en el 56% de los casos. Buterin destacó la importancia del logro, señalando que superar la prueba de Turing es un hito significativo que confirma los avances en el campo de la IA.

Además, recientemente, los científicos han declarado que existen muchas teorías contradictorias sobre cómo y dónde surge la conciencia en el cerebro. Están considerando la posibilidad de combinar diversas teorías, sugiriendo que la conciencia puede explicarse a través de conexiones neuronales locales y globales.