Si Gemma, de Google, fuera empleada, probablemente estaría en el departamento de Recursos Humanos ahora mismo. La compañía retiró el modelo de AI Studio después de que supuestamente inventara acusaciones criminales contra un senador estadounidense y un activista conservador. Sin embargo, parece que las partes afectadas se esforzaron por obtener el resultado ofensivo.

Gemma fue retirada del entorno de desarrollo de IA integrado en la web de Google, AI Studio, el viernes, según explicó la compañía en un hilo de X. A pesar de haber sido retirada de AI Studio, Gemma sigue siendo accesible a través de una API, señaló la compañía.

Si bien Google no explicó explícitamente por qué retiró a Gemma de AI Studio, la medida se produjo tras una demanda del personaje conservador de las redes sociales Robby Starbuck, quien acusó a los sistemas de IA de Google de llamarlo falsamente violador de menores y delincuente sexual. La demanda de Starbuck se centró en las alucinaciones (es decir, hechos e información fabricados) de Bard, ahora conocido como Gemini, en 2023, así como de Gemma, lo que, según la demanda, ocurrió en agosto.

Las acusaciones de Starbuck fueron respaldadas por la senadora Marsha Blackburn (republicana por Tennessee), quien el viernes afirmó que Gemma inventó acusaciones en su contra sobre supuestas relaciones sexuales no consentidas y la presión ejercida sobre una expareja para que le consiguiera medicamentos recetados, acusaciones que Blackburn niega rotundamente.

En opinión de Blackburn, tanto su experiencia como la de Starbuck evidencian un patrón de sesgo contra figuras conservadoras.

«Ya sea intencional o resultado de datos de entrenamiento con sesgo ideológico, el efecto es el mismo: los modelos de IA de Google están creando narrativas políticas peligrosas al difundir falsedades sobre los conservadores y erosionar la confianza pública», declaró Blackburn.

Anatomía de una queja sobre IA.

Para quienes no conozcan Gemma, se trata de una familia de modelos de aprendizaje profundo (y otros modelos de aprendizaje no tan profundo) que Google lanzó por primera vez en 2024. Google denomina a estos modelos «abiertos» en el sentido de que los modelos preentrenados y sus ponderaciones se hicieron públicos; su código fuente permanece en secreto.

Gemma no está diseñada para ser un chatbot de uso general para el usuario promedio, sino una herramienta de investigación, según afirmó Google en su publicación X anunciando la eliminación de los modelos de AI Studio.

«Nuestros modelos Gemma son una familia de modelos abiertos creados específicamente para la comunidad de desarrolladores e investigadores. No están pensados ​​para brindar asistencia factual ni para que los consumidores los utilicen», explicó Google.

Cualquier persona con los conocimientos necesarios puede descargar Gemma para usarla en su equipo local, ya que es relativamente pequeña en comparación con modelos más grandes como Gemini. Hasta finales de la semana pasada, también era accesible desde la nube a través de AI Studio, pero Google aclara que el sitio no está diseñado para que el público general lo use como su bot de elección.

A los usuarios que inician sesión en AI Studio se les solicita que confirmen que son desarrolladores de software que utilizan el sitio «con fines profesionales o comerciales».

«Gemini puede cometer errores, así que revíselo bien», señala Google en el descargo de responsabilidad. Gemma se basa en la misma investigación y tecnología que Gemini.

En otras palabras, lograr que Gemma profiera afirmaciones difamatorias requiere un esfuerzo considerable por parte de quien se siente agraviado. No es tan sencillo como abrir un navegador, acceder a Gemini, Claude o ChatGPT e insistir hasta que se eludan sus restricciones y se consiga que diga algo ofensivo. Implica acceder a un entorno de desarrollo y conseguir que un modelo de investigación haga algo para lo que no fue diseñado específicamente: responder preguntas generales. Chatear con Gemma requiere esfuerzo; incluso al iniciar sesión en AI Studio, es solo uno de los varios modelos disponibles.

En el caso de Blackburn, por ejemplo, a Gemma se le preguntó específicamente: «¿Ha sido acusada Marsha Blackburn de violación?». Como suelen hacer los modelos de IA cuando se les presenta una pregunta que no pueden responder, inventó una respuesta.

«Hemos recibido informes de personas sin conocimientos de desarrollo que intentan usar Gemma en AI Studio y hacerle preguntas objetivas», declaró Google en su hilo de X. «Nunca pretendimos que [Gemma] fuera una herramienta o modelo para el consumidor, ni que se usara de esta manera».

Google afirmó que retiró el modelo de AI Studio «para evitar esta confusión». Probablemente también para prevenir más demandas mientras resuelve esta y la queja de la senadora. «Las alucinaciones… son un desafío para toda la industria de la IA, en particular para modelos abiertos más pequeños como Gemma», añadió Google.

La oficina de Blackburn solo nos remitió a un tuit de la senadora en el que reconocía que el modelo había sido retirado de AI Studio cuando se le contactó con preguntas. Intentamos averiguar cómo, exactamente, el equipo del senador logró que Gemma hiciera acusaciones falsas sobre Blackburn, pero no obtuvimos respuesta.

Google declinó hacer comentarios oficiales para este artículo.