El chatbot en el servicio de soporte "deshonró" a la empresa que desarrolló el popular software

La empresa Cursor, desarrolladora del popular editor de código con soporte de IA, se vio envuelta en un escándalo después de que su asistente automático llamado Sam inventara una regla inexistente sobre los términos de uso del software, provocando una oleada de descontento entre los usuarios y cancelaciones de suscripciones.

Todo comenzó cuando un desarrollador notó que, al cambiar de dispositivo con Cursor abierto, se producía un cierre de sesión automático, lo que interrumpía su flujo de trabajo habitual. Al contactar con el soporte técnico, recibió una respuesta con apariencia oficial: Cursor solo puede usarse en un dispositivo, y para un segundo es necesaria una suscripción adicional. A primera vista, una práctica común en muchos productos por suscripción. El problema es que dicha regla nunca existió y el mensaje fue inventado por el chatbot.

En los foros de Reddit y Hacker News pronto comenzaron a aparecer publicaciones indignadas, en las que los desarrolladores anunciaban la cancelación de sus suscripciones a Cursor y criticaban a la empresa por limitar el acceso multiplataforma. La posibilidad de trabajar desde varios dispositivos seguidos es la base del flujo de trabajo para muchos programadores.

La respuesta del chatbot "Sam" fue tan convincente que los usuarios la tomaron como una posición oficial de la empresa. En realidad, fue una manifestación del fenómeno conocido como “alucinación”, cuando la IA, al no saber la respuesta exacta, inventa información que parece verosímil.

Como resultado, comenzaron a aparecer comentarios bajo la publicación en Reddit anunciando cancelaciones de suscripciones, y el autor original incluso indicó que su empresa abandonó por completo Cursor. Horas después, un representante de Cursor intentó enmendar la situación escribiendo en el mismo foro que no existe ninguna política de restricción en cuanto a la cantidad de dispositivos, y que el mensaje fue generado por IA sin revisión humana.

No es la primera vez que la IA en el servicio al cliente causa problemas. A principios de 2024, la aerolínea Air Canada también se enfrentó a un proceso judicial después de que su chatbot inventara una política de reembolsos que no existía. En aquel momento, la compañía intentó eximirse de responsabilidad alegando que el bot actuaba como una "entidad legal separada", pero el tribunal la declaró culpable.

A diferencia de Air Canada, Cursor reconoció su error. Uno de los fundadores de la empresa, Michael Truell, se disculpó por el incidente y explicó que el problema de cierre de sesión estaba relacionado con una actualización del sistema de seguridad backend. Al usuario que recibió la política ficticia se le devolvió el dinero de la suscripción.

Sin embargo, esta medida no detuvo el debate. Muchos usuarios quedaron insatisfechos por el hecho de que la respuesta de la IA no estuviera claramente identificada como automática. Algunos destacaron que el uso de un nombre y estilo de comunicación humano crea la impresión de estar hablando con un empleado real, lo que se percibe como un intento deliberado de engañar. Por ello, la empresa decidió ahora etiquetar todos los mensajes generados por IA para evitar confusiones.

El incidente se convirtió en un ejemplo evidente de lo fácilmente que la IA puede causar daños reales a un negocio, especialmente si se utiliza en la primera línea de comunicación con los clientes. En el caso de Cursor, la ironía radica en que la propia empresa desarrolla herramientas basadas en IA, lo que la hace especialmente vulnerable a errores relacionados con “alucinaciones” del modelo.