Tus secretos ahora aparecen en el segundo resultado de búsqueda: analizamos la «seguridad» de los chatbots modernos

Las conversaciones de los usuarios con el chatbot Claude aparecieron inesperadamente en acceso público a través de la búsqueda de Google. Cientos de diálogos se podían encontrar tan fácilmente como páginas web normales. Más tarde desaparecieron de los resultados, pero la situación ya generó preguntas para los desarrolladores y los motores de búsqueda.

La empresa Anthropic se convirtió en el tercer desarrollador de sistemas de inteligencia artificial cuyas conversaciones de usuarios con el bot aparecieron en los resultados de búsqueda. Antes ocurrieron casos similares con ChatGPT y Grok. Se trata de diálogos que los usuarios compartían mediante la función integrada «compartir». El servicio creaba una página separada con la conversación, a la que se podía enviar un enlace a otras personas.

Anthropic afirma que esas páginas estaban bloqueadas para la indexación por los robots de Google y de otros sistemas. A pesar de ello, el buscador descubrió y agregó a su índice casi 600 diálogos. Entre ellos había solicitudes de empleados de la propia compañía para crear aplicaciones, juegos e incluso un «simulador de oficina» en tono de broma de Anthropic. Otros usuarios pedían al bot escribir libros, ayudar con programación y realizar tareas laborales. En varios casos en el texto aparecían nombres de personas y direcciones de correo electrónico, y a veces otros datos que permiten identificar a una persona.

El representante de Anthropic, Gabby Curtis, dijo a Forbes que las páginas solo se volvieron visibles en la búsqueda porque los propios usuarios publicaron enlaces a las conversaciones en internet o en redes sociales. Según él, la compañía no publica catálogos de tales páginas ni se los entrega a los motores de búsqueda, y además prohíbe explícitamente su rastreo en la configuración interna del sitio.

Al mismo tiempo, uno de los usuarios cuya correspondencia laboral con el bot quedó accesible a través de la búsqueda dijo a los periodistas que no había publicado el enlace a ese diálogo en ningún sitio. Solicitó que no se revelara su nombre por restricciones laborales.

En Google respondieron que los motores de búsqueda no deciden qué páginas hacer públicas. Eso lo determinan los propietarios de los sitios. Si una página está disponible en la red y no está cerrada con restricciones técnicas, puede entrar en el índice. A comienzos de la semana los enlaces a los diálogos de Claude desaparecieron de los resultados de búsqueda.

Fugas similares ya habían ocurrido antes. En verano los usuarios descubrieron que muchos diálogos «compartidos» de ChatGPT se hicieron accesibles a través de la búsqueda, tras lo cual el desarrollador ofreció disculpas. Posteriormente se encontraron cientos de miles de conversaciones accesibles con el bot Grok. Entre ellas había materiales extremadamente sensibles, incluidas instrucciones para fabricar drogas y dispositivos explosivos. Tras el incidente, el desarrollador de ChatGPT llegó a desactivar por completo la función de intercambio público de diálogos, admitiendo que fue un experimento fallido.

Anthropic subrayó que incluso en los diálogos públicos los archivos subidos por los usuarios permanecieron cerrados. Sin embargo, las respuestas del bot a veces contenían citas de esos documentos y se mostraban en la página de la conversación.

La situación resulta especialmente notable ante las reclamaciones contra la propia Anthropic por la recopilación de datos en la red. Los propietarios de sitios web habían denunciado previamente el comportamiento agresivo de sus robots de búsqueda y la desatención de prohibiciones internas de rastreo. La red social Reddit incluso presentó una demanda contra la compañía. Además, recientemente el desarrollador firmó un acuerdo por 1.500 millones de dólares en un caso presentado por autores de libros que le acusaron de usar ilegalmente textos para entrenar modelos.

Recientemente la compañía también actualizó la política de privacidad. Ahora la correspondencia con Claude puede utilizarse para entrenar sistemas de inteligencia artificial, a menos que el usuario haya rechazado eso previamente en la configuración.