OpenAI retrasa el lanzamiento del 'anti-trampa' para ChatGPT
OpenAI retrasa el lanzamiento del 'anti-trampa' para ChatGPT
Alexander Antipov
¿Qué impide a la empresa lanzar un detector ya listo para prevenir fraudes?
OpenAI ha desarrollado un método para identificar textos escritos con ChatGPT, pero aún no lo ha lanzado a pesar de la preocupación por el uso del IA para engañar. Según The Wall Street Journal, el proyecto está listo para su lanzamiento desde hace aproximadamente un año, pero la decisión de lanzarlo se ha retrasado constantemente.
Los empleados de OpenAI están divididos entre el deseo de transparencia y el objetivo de atraer y retener usuarios. Una encuesta realizada entre los usuarios leales de ChatGPT mostró que casi el 30% estaría descontento con la implementación de dicha tecnología. Un representante de la empresa señaló que la herramienta podría afectar negativamente a los no hablantes nativos de inglés.
Algunos empleados apoyan el lanzamiento, considerando que los beneficios superan los riesgos. El CEO de OpenAI, Sam Altman, y la directora técnica, Mira Murati, han participado en las discusiones sobre la herramienta. Altman apoya el proyecto, pero no insiste en su lanzamiento inmediato.
El sistema ChatGPT predice qué palabra o fragmento de palabra debe seguir en una oración. El 'anti-trampa' discutido altera ligeramente el proceso de selección de estos tokens, dejando una marca de agua apenas perceptible para el ojo humano. Según documentos internos, estas marcas de agua muestran una efectividad del 99.9%.
Algunos empleados temen que las marcas de agua puedan eliminarse con métodos simples, como traducir el texto a través de Google Translate o agregar y eliminar emojis. También queda sin resolver la cuestión de quién utilizará el detector: un acceso demasiado restringido lo haría inútil, mientras que un acceso demasiado amplio podría revelar la tecnología a los malintencionados.
A principios de 2023, OpenAI lanzó un algoritmo para detectar texto, pero su precisión fue solo del 26%, y después de 7 meses la empresa abandonó la herramienta. Las discusiones internas sobre la marca de agua comenzaron antes del lanzamiento de ChatGPT en noviembre de 2022 y se han convertido en una fuente constante de tensión.
En abril de 2023, OpenAI encargó una encuesta que mostró que las personas en todo el mundo apoyan la idea de una herramienta para detectar IA en una proporción de 4 a 1. Sin embargo, el 69% de los usuarios de ChatGPT expresaron preocupación de que la tecnología de detección de fraudes llevaría a acusaciones falsas de uso de IA, y casi el 30% dijeron que usarían menos ChatGPT si se implementaran marcas de agua.
Los empleados de OpenAI concluyeron que la herramienta de marcas de agua funciona bien, pero los resultados de la encuesta de usuarios siguen siendo preocupantes. La empresa continuará buscando enfoques menos controvertidos y planea desarrollar este año una estrategia para formar la opinión pública sobre la transparencia de la IA y posibles nuevas leyes al respecto.
Existen varios servicios e instrumentos capaces de determinar con bastante precisión si un texto fue generado por una red neuronal o escrito por una persona. Entre estos servicios se encuentran GPTZero, ZeroGPT y OpenAI Text Classifier. Sin embargo, resulta que tampoco se puede confiar plenamente en estos servicios.
Los empleados de OpenAI están divididos entre el deseo de transparencia y el objetivo de atraer y retener usuarios. Una encuesta realizada entre los usuarios leales de ChatGPT mostró que casi el 30% estaría descontento con la implementación de dicha tecnología. Un representante de la empresa señaló que la herramienta podría afectar negativamente a los no hablantes nativos de inglés.
Algunos empleados apoyan el lanzamiento, considerando que los beneficios superan los riesgos. El CEO de OpenAI, Sam Altman, y la directora técnica, Mira Murati, han participado en las discusiones sobre la herramienta. Altman apoya el proyecto, pero no insiste en su lanzamiento inmediato.
El sistema ChatGPT predice qué palabra o fragmento de palabra debe seguir en una oración. El 'anti-trampa' discutido altera ligeramente el proceso de selección de estos tokens, dejando una marca de agua apenas perceptible para el ojo humano. Según documentos internos, estas marcas de agua muestran una efectividad del 99.9%.
Algunos empleados temen que las marcas de agua puedan eliminarse con métodos simples, como traducir el texto a través de Google Translate o agregar y eliminar emojis. También queda sin resolver la cuestión de quién utilizará el detector: un acceso demasiado restringido lo haría inútil, mientras que un acceso demasiado amplio podría revelar la tecnología a los malintencionados.
A principios de 2023, OpenAI lanzó un algoritmo para detectar texto, pero su precisión fue solo del 26%, y después de 7 meses la empresa abandonó la herramienta. Las discusiones internas sobre la marca de agua comenzaron antes del lanzamiento de ChatGPT en noviembre de 2022 y se han convertido en una fuente constante de tensión.
En abril de 2023, OpenAI encargó una encuesta que mostró que las personas en todo el mundo apoyan la idea de una herramienta para detectar IA en una proporción de 4 a 1. Sin embargo, el 69% de los usuarios de ChatGPT expresaron preocupación de que la tecnología de detección de fraudes llevaría a acusaciones falsas de uso de IA, y casi el 30% dijeron que usarían menos ChatGPT si se implementaran marcas de agua.
Los empleados de OpenAI concluyeron que la herramienta de marcas de agua funciona bien, pero los resultados de la encuesta de usuarios siguen siendo preocupantes. La empresa continuará buscando enfoques menos controvertidos y planea desarrollar este año una estrategia para formar la opinión pública sobre la transparencia de la IA y posibles nuevas leyes al respecto.
Existen varios servicios e instrumentos capaces de determinar con bastante precisión si un texto fue generado por una red neuronal o escrito por una persona. Entre estos servicios se encuentran GPTZero, ZeroGPT y OpenAI Text Classifier. Sin embargo, resulta que tampoco se puede confiar plenamente en estos servicios.
¿Estás cansado de que Internet sepa todo sobre ti?