Una nueva herramienta de detección de IA de Meta, presentada esta semana junto con el lanzamiento de su modelo de generación de imágenes Muse Image, no logró identificar algunas de sus propias imágenes generadas por IA una vez que fueron recortadas, según un análisis de Reuters.

Este hallazgo pone de relieve los desafíos que implica verificar imágenes generadas por IA tras sufrir alteraciones comunes; se trata de una limitación que podría dificultar la identificación de “deepfakes” en línea durante un año electoral intenso que incluye las elecciones de mitad de mandato en Estados Unidos.

En un análisis de 40 imágenes creadas con Muse Image, Reuters descubrió que la herramienta de detección validaba todas las imágenes originales generadas por IA, pero no lograba identificar el 55% de esas mismas imágenes después de haber sido recortadas a un tamaño de entre un tercio y la mitad del original.

En su sitio web, Meta afirma que la herramienta de detección preliminar puede identificar sus propias imágenes generadas por IA, incluso si están recortadas, gracias a un sistema de marca de agua invisible llamado Content Seal; esta marca está integrada en cada imagen creada por Muse Image y diseñada para ayudar a los usuarios a verificar si la imagen fue generada por los modelos de IA de Meta.

Al ser consultada sobre los resultados del análisis de Reuters, Meta señaló que la herramienta se encontraba en fase de prueba preliminar. La compañía explicó que la marca de agua está diseñada para permanecer intacta tras ediciones habituales, pero que la señal puede perderse si la imagen sufre un recorte drástico.

Empresas tecnológicas rivales, como Google y OpenAI, han advertido que sus propias herramientas de detección no son infalibles frente a las técnicas de alteración de imágenes.

En marzo, la Junta de Supervisión de Meta —un organismo de expertos que toma decisiones vinculantes y emite recomendaciones sobre contenidos en las plataformas de redes sociales de la empresa— instó a la compañía a tomar más medidas para combatir la «proliferación de contenido engañoso generado por IA» en sus plataformas e invertir en herramientas de detección más robustas.

Siwei Lyu, profesor de informática de la Universidad Estatal de Nueva York en Buffalo y especialista en análisis forense de imágenes generadas por IA, declaró que, si bien no había evaluado la herramienta de Meta, los sistemas basados ​​en marcas de agua presentan limitaciones. «Los métodos basados ​​en marcas de agua pueden ser muy eficaces cuando la marca permanece intacta, pero cualquier modificación que elimine o debilite la señal incrustada —como el recorte, el cambio de tamaño, una compresión intensa o la edición— puede reducir su eficacia, dependiendo de cómo esté diseñada la marca», señaló Lyu.

Sarah Barrington, investigadora de IA y candidata a doctorado en la Escuela de Información de la UC Berkeley, afirmó que el uso de marcas de agua es prometedor para el futuro del contenido generado por IA, aunque tiene limitaciones.

«Al igual que muchas medidas preventivas de ciberseguridad o seguridad física, puede que no sea un sistema totalmente infalible; sin embargo, aunque solo detectemos el 90% de los casos, sigue siendo un gran avance respecto al cero por ciento», comentó.

Información de Hardik Vyas desde Bengaluru y Seana Davis desde Barcelona; información adicional de B Carmel Jaeslin y Josh Salisbury; edición a cargo de Stephanie Burnett, Ken Li y Nia Williams.