Crean un modelo de IA para detectar textos sintéticos con 98% de éxito

Con la masificación de las herramientas de generación de contenido, la detección de textos redactados por inteligencia artificial se convirtió en un desafío constante, especialmente en ámbitos como el educativo y el periodístico. En este contexto, el investigador Jochen Madler presentó los resultados de su trabajo titulado SlopShape, donde expone un sistema capaz de identificar textos sintéticos con una métrica macro F1 de entre el 97% y el 98%.

A diferencia de las herramientas tradicionales que suelen fallar al evaluar únicamente la probabilidad de cada palabra, el desarrollo de Madler no se limita a leer el texto para emitir un veredicto inmediato. La clave de su propuesta radica en analizar la arquitectura del discurso y la forma en que se estructuran las ideas.

Cómo funciona la metodología de SlopShape

El sistema ideado por Madler utiliza un modelo de lenguaje que responde un cuestionario de más de 200 preguntas sobre la construcción de cada publicación evaluada. Entre los puntos clave que contempla el análisis se encuentran:

  • El orden en el que se presentan las ideas a lo largo del escrito.
  • Si el artículo anticipa su estructura por adelantado o incluye listas de puntos iniciales.
  • La ubicación de la tesis principal dentro del texto.
  • La manera en que se presentan las fuentes y la orientación práctica del contenido.
  • Si la redacción concluye repitiendo o reformulando el cierre de forma previsible.

El experimento y los resultados obtenidos

Para poner a prueba la herramienta, se reunieron 2.250 publicaciones de blogs pertenecientes a 268 empresas de comunicación, todas ellas difundidas antes del lanzamiento de ChatGPT y recuperadas a través de Wayback Machine. A partir de resúmenes de esos textos originales, se le solicitó a cinco modelos distintos de inteligencia artificial (GPT-5.4, Claude Sonnet 4.6, Gemini 3 Flash, DeepSeek V3.2 y Kimi K2.5) que generaran sus propias versiones.

En total se evaluaron 11.250 versiones creadas artificialmente, aplicando diferentes niveles de reescritura. En las pruebas, el sistema mantuvo un nivel de efectividad cercano al 98% de macro F1, una métrica que combina precisión y cobertura tanto para contenidos humanos como sintéticos. Dicho indicador sólo sufrió una baja significativa, alcanzando un 88,1%, cuando se alteraron de manera profunda las características de estilo.

Asimismo, los ensayos mostraron que en un 79% de los casos el sistema fue capaz de identificar qué modelo específico había generado el texto, detectando los patrones y modismos particulares de cada plataforma.