Un equipo de investigación de la Universidad de Nankai en Tianjin ha logrado importantes avances en la detección de texto generado por inteligencia artificial, desarrollando un sistema que reduce significativamente los falsos positivos y negativos, un problema que ha afectado a muchas herramientas existentes.

El artículo de investigación del equipo sobre el sistema ha sido aceptado en ACM Multimedia 2025, una de las conferencias de informática más importantes del mundo. Su función de detección ahora está integrada en Paper-Mate, un asistente de investigación de IA desarrollado por los profesores de Nankai Li Zhongyi y Guo Chunle, y está disponible de forma gratuita.

El sistema cuenta con más de 1.000 usuarios activos mensuales, incluyendo profesores y estudiantes de varias universidades como la Universidad de Beijing, la Universidad de Zhejiang y la Universidad Sun Yat-sen, afirmó Fu Jiachen, miembro del equipo.

«Muchos usuarios han enviado comentarios que indican que PaperMate supera a herramientas similares del mercado en cuanto a falsos positivos y negativos, ofreciendo resultados de detección más precisos y fiables», afirmó Fu.

Las herramientas actuales de detección de IA para artículos académicos suelen acusar falsamente a los autores. Por ejemplo, mi estudiante de último año, mientras escribía su tesis, utilizó herramientas de detección de IA existentes y descubrió que parte de su contenido original se había marcado erróneamente como generado por IA. Al explicar las razones de las identificaciones erróneas de los métodos actuales de detección de texto con IA, Fu afirmó: «Si comparamos la detección de texto con un examen, los datos de entrenamiento del detector son similares a las preguntas de práctica diaria. Los métodos de detección existentes tienden a memorizar mecánicamente rutinas fijas para responder preguntas, y su precisión disminuye significativamente al enfrentarse a problemas completamente nuevos.

En teoría, para lograr una detección universal, necesitaríamos entrenar con datos de todos los modelos principales, lo cual es casi imposible dada la rápida iteración de estos modelos en la actualidad».

Mejorar la capacidad de generalización de la detección y permitir que el detector aplique principios en diversos escenarios es crucial para mejorar el rendimiento de la detección de texto con IA.

El Laboratorio de Computación de Medios de la Facultad de Ciencias de la Computación de la Universidad de Nankai no solo ha revelado las limitaciones de rendimiento de los métodos de detección con IA existentes desde una perspectiva de evaluación, sino que también ha propuesto una estrategia de optimización de «Aprendizaje Directo por Discrepancia».

Esta estrategia enseña a la IA a discernir entre texto generado por humanos y por máquinas, logrando un avance significativo en el rendimiento de la detección.

En esencia, mejoramos la precisión del algoritmo de detección para reducir los errores «Tasa positiva», dijo Fu.

También presentó MIRAGE, el conjunto de datos de referencia del equipo.

«Recopilamos textos escritos por personas y luego hicimos que modelos grandes de IA los refinaran, lo que resultó en un conjunto de textos originales y generados por IA. Al aplicar tanto los algoritmos existentes como el nuestro a estos textos, MIRAGE registra la precisión de detección», explicó.

Los resultados de las pruebas del conjunto de datos muestran que la precisión de los detectores existentes se redujo del 90% a aproximadamente el 60%, mientras que los detectores entrenados con Aprendizaje Directo por Discrepancia mantuvieron una precisión superior al 85%. En comparación con DetectGPT de la Universidad de Stanford, el rendimiento mejoró en más del 70%, afirmó.

Li Zhongyi, director del Laboratorio de Computación de Medios de la Facultad de Ciencias de la Computación de la Universidad de Nankai, afirmó que los hallazgos resaltan fallas fundamentales en muchos sistemas de detección actuales y ofrecen un camino práctico a seguir.

«Dado el rápido desarrollo del contenido generado por IA, seguiremos iterando nuestra tecnología y nuestro punto de referencia para lograr una detección más rápida, precisa y rentable», afirmó Li. «Nuestro objetivo es utilizar la propia IA para que cada trabajo sea excepcional».