Venganza porno e impotencia de la moderación: X falló otra prueba

Un nuevo estudio reveló deficiencias inesperadas en el sistema para combatir la distribución no autorizada de imágenes íntimas en la plataforma X (anteriormente Twitter). Un grupo de científicos de la Universidad de Michigan llevó a cabo un experimento cuyos resultados hacen cuestionar la efectividad de los mecanismos actuales para proteger a los usuarios, especialmente en casos de "venganza porno".

La venganza porno es la distribución intencionada de fotos o videos íntimos de una persona sin su consentimiento, generalmente con el objetivo de humillarla, vengarse o dañar su reputación. Esto ocurre con mayor frecuencia después de una ruptura, cuando una de las partes, movida por la venganza, publica el material privado en línea o lo comparte con otros. Estas acciones violan el derecho a la privacidad y pueden causar graves consecuencias psicológicas para la víctima, además de estar penadas por la ley en varios países. Sin embargo, como hemos visto, no todo es tan sencillo.

Para realizar el experimento, los especialistas crearon dos grupos de cuentas en X. Con ellas, publicaron y luego denunciaron 50 imágenes de mujeres desnudas generadas por inteligencia artificial. La mitad del contenido fue marcado como violación de la política de X sobre desnudez sin consentimiento, y para la otra mitad se utilizó el mecanismo de eliminación basado en la Ley de Derechos de Autor (DMCA).

Los resultados del experimento fueron sorprendentes. Todas las 25 imágenes denunciadas bajo la DMCA fueron eliminadas en un plazo de 24 horas, y las cuentas que las publicaron fueron bloqueadas temporalmente. Sin embargo, las denuncias a través del mecanismo interno de X no dieron lugar a ninguna acción: ninguna de las imágenes fue eliminada, incluso después de tres semanas.

Los investigadores señalaron que no todas las víctimas de venganza porno pueden utilizar el mecanismo DMCA. Este método solo está disponible en situaciones donde la víctima es la autora del contenido y puede demostrarlo. Sin embargo, en muchos casos, los videos o fotos comprometedoras pueden ser creados por otra persona o obtenidos sin el conocimiento de la víctima. Además, cada vez más a menudo se utilizan deepfakes para estos fines.

La situación se agrava porque, incluso para quienes tienen la posibilidad, el proceso de denuncia a través de la DMCA es demasiado complicado y costoso.

En realidad, la difusión de imágenes íntimas sin consentimiento causa el mayor daño en los primeros dos días tras su publicación. Al mismo tiempo, la magnitud del problema es alarmante: según los datos presentados, uno de cada ocho adultos en Estados Unidos es víctima de esta práctica o enfrenta amenazas al respecto.

La situación se vuelve aún más preocupante con el desarrollo de tecnologías de generación de imágenes basadas en inteligencia artificial. Ahora, cualquier persona que haya publicado una foto suya en Internet corre el riesgo de convertirse en víctima de difamación. El FBI ya advirtió sobre esto el año pasado.

Los científicos concluyen que es necesario un cambio serio en el enfoque para abordar este problema. En lugar de confiar en la buena voluntad de las plataformas para combatir la distribución de imágenes íntimas sin consentimiento, proponen la creación de una ley federal específica. Esta debería ser tan efectiva como la DMCA, obligando a las plataformas a eliminar rápidamente cualquier contenido dañino y previendo sanciones para los infractores.

Actualmente, las redes sociales no tienen incentivos legales para eliminar materiales comprometedores. La creación de una ley especial no solo protegería a las víctimas, sino que también resolvería el problema señalado por algunos abogados: el uso de leyes de derechos de autor para proteger la privacidad sexual puede "distorsionar el sistema de propiedad intelectual".

Es importante destacar que el equipo de investigadores abordó cuidadosamente los aspectos éticos de su experimento. Eligieron X como plataforma para el estudio, creyendo que allí no había moderadores voluntarios, y el impacto en los empleados permanentes sería mínimo. Además, se tomaron medidas para garantizar que las imágenes generadas por IA no tuvieran similitudes con personas reales.

Cada imagen fue verificada utilizando un software de reconocimiento facial y varios servicios de búsqueda inversa de imágenes. Solo se incluyeron en el estudio las imágenes confirmadas por todos los programas. Los materiales se publicaron con hashtags populares, pero su alcance también fue limitado.

Según el informe de transparencia de X, en la primera mitad de 2024, la plataforma eliminó más de 150,000 publicaciones que violaban su política sobre la distribución de imágenes íntimas sin consentimiento. Más de 50,000 cuentas fueron bloqueadas, y el número total de quejas sobre este tipo de contenido ascendió a 38,736. La mayor parte de los bloqueos y eliminaciones de contenido fueron realizadas por moderadores humanos, y solo una pequeña parte fue gestionada automáticamente.

Los especialistas no descartan que la reducción del equipo de seguridad de X tras la compra de la plataforma por parte de Elon Musk haya influido en estos resultados. Sin embargo, el año pasado X comenzó a reconstituir su equipo, y a principios de este año anunció la creación de un nuevo "centro de excelencia" en confianza y seguridad. Esto ocurrió tras el escándalo de las imágenes pornográficas generadas por IA de Taylor Swift.