Un aspirante a doctorado en IA desafía al mundo científico

Un equipo internacional de investigadores ha creado un sistema capaz de realizar experimentos científicos de forma autónoma. Este "científico de IA", como lo han apodado sus desarrolladores, demuestra un nivel de conocimientos y habilidades comparable al de un estudiante de doctorado en sus primeros años.

Kong Lu, de la Universidad de Columbia Británica, quien lideró el proyecto, comentó sobre los inesperados resultados del experimento. Según él, el sistema mostró una creatividad sorprendente al generar hipótesis científicas. Sin embargo, al igual que con un joven investigador, la mayoría de las ideas resultaron inviables. Los desarrolladores enfrentaron varios desafíos al crear el modelo. La IA tuvo dificultades para redactar artículos científicos coherentes y, en ocasiones, interpretó incorrectamente los resultados obtenidos.

Un motivo de especial preocupación fue la tendencia del sistema a "alucinar", es decir, generar información falsa. A pesar de las instrucciones claras de usar solo datos verificados, la IA aún inventaba hechos. Los investigadores estimaron que la frecuencia de tales casos fue inferior al 10%, pero consideran que incluso este nivel es inaceptable para la labor científica.

El proyecto reunió los esfuerzos de académicos y especialistas de la startup tokiota Sakana AI. El equipo publicó los resultados preliminares de la investigación en el servidor ArXiv. En el artículo, describieron su creación como "el inicio de una nueva era de descubrimientos científicos" y "el primer sistema integral para investigaciones científicas completamente automatizadas".

La idea de utilizar IA para la investigación científica no es nueva: se remonta a 2020, cuando la empresa Google DeepMind presentó AlphaFold, un sistema que sorprendió a los biólogos con su capacidad para predecir las estructuras tridimensionales de las proteínas con una precisión sin precedentes. Desde entonces, muchas grandes corporaciones han seguido esta tendencia.

Los investigadores probaron las capacidades de su sistema en el campo de las ciencias de la computación. La IA se dedicó a estudiar grandes modelos de lenguaje, que son la base de chatbots como ChatGPT, así como modelos de difusión utilizados en generadores de imágenes como DALL-E.

El proceso de trabajo del científico de IA incluye varios pasos. Primero, el sistema genera hipótesis, evaluándolas según criterios de interés, novedad y viabilidad. Luego, verifica la originalidad de las ideas a través de la base de datos Semantic Scholar. Después de esto, la IA utiliza un asistente de programación, Aider, para llevar a cabo experimentos y registrar los resultados. Con base en los datos obtenidos, el sistema puede generar ideas para experimentos posteriores, lo que le permite desarrollar la investigación en la dirección adecuada.

En la siguiente etapa, el modelo redacta un artículo científico siguiendo un formato basado en los requisitos de las conferencias científicas. Dado que es complicado crear un texto coherente de nueve páginas, los investigadores desglosaron el proceso en muchos pasos. El programa escribe una sección a la vez, verificando la repetición y contradicción entre ellas. Luego, vuelve a consultar a Semantic Scholar para encontrar citas y elaborar la bibliografía.

Una característica interesante es el módulo de revisión incorporado. Evalúa los artículos generados según criterios similares a los exigidos por la conferencia líder en IA, NeurIPS. Según Lu, este módulo resultó ser incluso más estricto que los revisores humanos.

A pesar de los impresionantes resultados, el proyecto ha sido objeto de críticas por parte de algunos científicos. Por ejemplo, Jennifer Listgarten, profesora de biología computacional en la Universidad de California, Berkeley, destacó que, a diferencia del procesamiento del lenguaje natural y la visión por computadora, la mayoría de las áreas científicas no disponen de suficientes datos para entrenar modelos de IA.

La antropóloga Lisa Messeri de la Universidad de Yale y el psicólogo M.J. Crockett de Princeton advirtieron sobre el entusiasmo excesivo con la idea de "investigadores de IA autónomos". Temen que esto pueda reducir el espectro de preguntas científicas a aquellas que sean aptas para la IA, privando a la ciencia de la diversidad de perspectivas necesaria para verdaderas innovaciones.

Por otro lado, Tarek Besold, investigador principal de SonyAI, ve en el proyecto un paso importante hacia delante. Cree que el desarrollo puede convertirse en uno de los primeros prototipos que demuestran el potencial de la IA en los descubrimientos científicos. El equipo de Lu planea continuar mejorando su científico de IA. Según los investigadores, herramientas como estas serán especialmente útiles en las primeras etapas de los proyectos de investigación, ayudando a los científicos a evaluar diferentes direcciones de trabajo.