La última controversia en torno a Grok ha reavivado importantes interrogantes aún sin resolver, como quién debe ser considerado responsable del contenido dañino e ilegal generado por IA, y si las empresas de inteligencia artificial como xAI actúan como editoras o intermediarias.
Días después de que el gobierno indio solicitara detalles técnicos a X, propiedad de Elon Musk, en relación con el uso indebido de Grok, la plataforma de redes sociales ha advertido a los usuarios que no utilicen el chatbot de IA integrado para generar contenido ilegal.
“Cualquiera que use o incite a Grok a crear contenido ilegal sufrirá las mismas consecuencias que si subiera contenido ilegal”, dijo la cuenta oficial del equipo de seguridad de X en una publicación el domingo 4 de enero. Musk reiteró esto en su respuesta a una publicación que decía que Grok no puede ser considerado responsable de las indicaciones de los usuarios.
Durante la semana pasada, varios usuarios de X han estado comentando imágenes de personas, generalmente mujeres, etiquetando a Grok y pidiéndole al chatbot que “la ponga en bikini” o “le quite el vestido”.
El chatbot de IA, que responde automáticamente cuando se le etiqueta, cumplió con estas solicitudes de los usuarios y generó imágenes sexuales no consensuales de celebridades y personas no famosas, incluidas algunas que parecían ser niños pequeños.
“Tomamos medidas contra el contenido ilegal en X, incluido el material de abuso sexual infantil (CSAM), eliminándolo, suspendiendo permanentemente las cuentas y colaborando con los gobiernos locales y las fuerzas del orden según sea necesario”, dijo el equipo de seguridad de la plataforma. xAI, la startup de IA de Musk que ha desarrollado Grok, también prohíbe la sexualización de niños en su política de uso aceptable.
Esta no es la primera vez que Grok se ve envuelto en una controversia. El modo “desenfrenado” del chatbot de IA “anti-woke” provocó el caos en la India el año pasado, cuando respondió a las publicaciones de los usuarios con palabrotas e insultos misóginos en jerga hindi. También ha elogiado anteriormente a Adolf Hitler, ha compartido teorías conspirativas y ha hecho comentarios inapropiados en respuesta a las publicaciones de los usuarios en X.
Sin embargo, esta parece ser la primera vez que se hace un uso indebido a gran escala de las capacidades de generación de imágenes de Grok. El incidente va más allá de Grok y subraya cómo la IA generativa continúa reduciendo las barreras para crear imágenes sexualmente explícitas no consensuales y material de abuso sexual infantil (CSAM).
Esto también plantea preguntas más profundas y sin resolver sobre quién debe ser responsable del contenido dañino o ilegal generado por IA, si las empresas de IA como xAI son editoras o intermediarias, y cómo planean los reguladores controlar las numerosas plataformas clandestinas de creación de imágenes de desnudos falsas, que podrían ser más difíciles de controlar que los chatbots y herramientas de IA convencionales.
Notificación del gobierno a X.
Tras constatar el uso indebido de Grok para generar imágenes y videos ofensivos de mujeres sin su consentimiento, el Ministerio de Tecnologías de la Información (TI) informó que ha enviado una directiva a X, acusando a la plataforma de redes sociales de no cumplir con las leyes del país y señalando su “grave incumplimiento” en la aplicación de medidas de seguridad.
“La IA Grok, desarrollada por ustedes e integrada y disponible en la plataforma X, está siendo utilizada indebidamente por los usuarios para crear cuentas falsas con el fin de alojar, generar, publicar o compartir imágenes o videos obscenos de mujeres de manera despectiva o vulgar, para denigrarlas indebidamente”, declaró el Ministerio de TI en la notificación enviada al director de cumplimiento normativo de la empresa de redes sociales el viernes 2 de enero.
El Ministerio de TI ordenó a X que presentara un informe detallado de las medidas adoptadas en un plazo de 72 horas, que incluyera las medidas técnicas y organizativas específicas implementadas por X en relación con Grok AI, el papel y la supervisión ejercida por su director de cumplimiento normativo en India, y las acciones tomadas por la empresa contra el contenido, los usuarios y las cuentas infractoras.
También ordenó a la empresa que realizara una revisión exhaustiva a nivel técnico, de procedimiento y de gobernanza de Grok AI, incluyendo el procesamiento de las indicaciones, la generación de resultados y el manejo de imágenes y las medidas de seguridad, “para garantizar que la aplicación no genere, promueva ni facilite contenido que contenga desnudez, sexualización, contenido sexualmente explícito o cualquier otro contenido ilegal”.
La intervención del Ministerio de TI se produjo días después de que la diputada del Shiv Sena (UBT), Priyanka Chaturvedi, declarara haber enviado una carta al Ministro de Electrónica y Tecnologías de la Información, Ashwini Vaishnaw, sobre el uso indebido de Grok para generar este tipo de imágenes de mujeres.
“Es necesario implementar medidas de seguridad en funciones como Grok para que no violen la dignidad de las mujeres. Las grandes empresas tecnológicas deben asumir la responsabilidad. Esto no se limita a compartir fotos a través de cuentas falsas, sino que también se dirige a mujeres que publican sus propias fotos. Esto es inaceptable y un grave abuso de una función de IA”, escribió Chaturvedi en su carta.
