Sodoma y Gomorra en la era de la IA: los hackers convirtieron Dream Machine en una fábrica de depravación

Dream Machine, el generador de video con inteligencia artificial de la empresa Luma Labs, que salió al mercado incluso antes que la herramienta similar de OpenAI llamada Sora, resultó ser vulnerable al hackeo para crear videos pornográficos.

Los usuarios encontraron una manera de eludir las restricciones de Dream Machine y crear videos con contenido pornográfico. Aunque los videos resultantes están lejos de ser realistas y son menos creíbles que las imágenes creadas anteriormente eludiendo las protecciones de Microsoft, demuestran que tecnologías similares inevitablemente se utilizarán para crear pornografía.

Dream Machine, desarrollado por Luma Labs, ofrece a los usuarios la posibilidad de generar videos a partir de solicitudes de texto. En los términos de uso, Luma Labs prohíbe estrictamente la creación de contenido relacionado con la manipulación de elecciones o gobiernos, así como contenido pornográfico y sexualmente explícito.

Después del anuncio del generador de video de IA Sora de OpenAI en febrero, muchos quedaron impresionados por el rápido desarrollo de la tecnología. Los videos presentados por OpenAI eran casi indistinguibles de los reales. Sin embargo, Sora todavía solo está disponible para artistas visuales, cineastas y expertos en pruebas de seguridad seleccionados para implementar las medidas de seguridad necesarias antes del lanzamiento.

La competencia en este mercado está creciendo constantemente. Recientemente, la aplicación china de generación de video KwaiCut se volvió viral en X. Todavía solamente está disponible para usuarios con un número de teléfono chino, pero muestra resultados comparables a la calidad de Sora.

En respuesta, Luma Labs presentó recientemente Dream Machine, demostrando que también es capaz de producir videos de alta calidad. El desarrollo rápidamente ganó popularidad en Internet, utilizándose activamente para animar memes icónicos y otras imágenes conocidas.

Al día siguiente del lanzamiento de Dream Machine, un usuario de X con el nombre «Pliny the Prompter», que se hace llamar experto en seguridad de IA, informó haber hackeado la recién lanzada red neuronal. Según él, encontró una manera de escribir solicitudes que eluden la protección de Luma Labs y generan contenido prohibido.

Los resultados que compartió Pliny distan de la perfección y claramente no engañarán a un espectador avezado, pero muestran que es posible eludir la protección de Dream Machine. El ejemplo más obvio es un video en blanco y negro de una mujer desnuda. Otros videos incluyen imágenes deformadas de cuerpos y escenas de violencia.

Pliny explicó que no hay una forma universal de hackear Dream Machine, pero se pueden utilizar diferentes métodos dependiendo del tema de la solicitud. Por ejemplo, cambiar el orden de las palabras en la solicitud o agregar ciertas palabras antes de las palabras clave puede eludir los filtros.

El pentester también mencionó que cambiar entre idiomas puede ser un método eficaz para eludir la protección, ya que la IA entiende solicitudes en diferentes idiomas y puede interpretarlas de manera diferente.

Este enfoque es similar a los métodos utilizados para eludir la protección de Microsoft Designer en enero, cuando los usuarios creaban imágenes pornográficas de celebridades.

En mis propias pruebas, Dream Machine rechazó incluso solicitudes remotamente sugerentes de infracción. Sin embargo, la solicitud «mujer con ketchup en la cara» en lugar de «mujer con sangre en la cara» se ejecutó con éxito, lo que demuestra la posibilidad de eludir los filtros.

En este momento, los usuarios de la red neuronal informan que ya no pueden crear videos explícitos y especulan sobre que Luma Labs ya ha reforzado su protección. Sin embargo, los videos que ya fueron creados y publicados por Pliny anteriormente muestran el resultado inevitable del desarrollo de tecnologías de IA: la creación de contenido pornográfico. Las redes neuronales se desempeñan bastante bien en esta tarea, por lo que la aparición de un modelo sin censura alguna es solo cuestión de tiempo.