Pangram señala que una novela premiada fue escrita con IA en un 99%
Un análisis reveló que 'Donde el agua trabaja', de David Silva Rojas, contiene un 99% de texto generado por IA. La obra ganó un premio de 20.000 euros.
La novela Donde el agua trabaja, del autor peruano David Silva Rojas, quedó envuelta en una controversia internacional tras la publicación de un análisis periodístico que señala que el 99% de su contenido habría sido generado mediante inteligencia artificial. El escrito había obtenido en julio el primer Premio Internacional de Novela Breve Almadía Ventosa-Arrufat, un galardón dotado con 20.000 euros que prohibía expresamente el uso parcial o total de herramientas de IA en sus bases.
El hallazgo fue revelado por el diario español El País, que pasó la obra completa por el clasificador Pangram luego de que el libro fuera publicado en septiembre y presentado en España. La situación salpicó tanto al escritor como a la editorial y al jurado del certamen, que en su momento había destacado la construcción de la obra y el uso de sus silencios entre más de 2.200 manuscritos participantes provenientes de 22 países.
Qué es Pangram y cómo evalúa los textos
Pangram es un clasificador de texto basado en redes neuronales diseñado para distinguir entre redacciones humanas y fragmentos generados por modelos de lenguaje. Según la empresa desarrolladora, Pangram Labs, el sistema cuenta con un entrenamiento orientado a minimizar los errores y ofrece una tasa estimada de 0,0041% de falsos positivos y 0,34% de falsos negativos. Además, analiza el contenido por secciones y utiliza técnicas que evitan perjudicar a hablantes no nativos del idioma inglés.
Un estudio independiente realizado por la Universidad de Chicago respaldó la precisión de esta herramienta al concluir que es menos propensa que otros detectores comerciales a etiquetar erróneamente textos creados por personas. Sin embargo, los analistas recuerdan que ningún sistema de este tipo resulta infalible.
El experimento con libros superventas y textos de control
El análisis sobre la novela de Silva Rojas formó parte de un trabajo más amplio coordinado por el especialista en datos Kiko Llaneras. En total, se sometieron 175 obras de éxito a la evaluación de Pangram, revelando que cuatro de cada diez superventas autopublicados en Amazon contienen al menos un 25% de texto generado por inteligencia artificial.
Para comprobar la fiabilidad del detector, se establecieron tres grupos de control:
- Se evaluaron 56 libros publicados entre 2019 y 2020, previo a la masificación de ChatGPT, los cuales dieron un 0% de presencia de IA.
- Se ingresaron textos sintéticos creados deliberadamente con IA, los cuales el detector identificó de forma correcta.
- Se probaron obras de autores consagrados como Javier Cercas, Isabel Allende y Antonio Muñoz Molina, obteniendo en todos los casos un 0% de texto artificial.
Los límites de la detección de IA
Pese a los resultados de Pangram, los especialistas remarcan que la tecnología de detección aún presenta margen de error. En pruebas donde un ensayo humano fue modificado sustancialmente mediante una inteligencia artificial de consumo, el sistema catalogó la muestra como humana en un 41% de las ocasiones.
A esto se suma la vulnerabilidad de las herramientas ante pequeñas alteraciones. Según expuso Ángel L. Fernández Recuero en Jot Down, un detalle tan simple como agregar un espacio adicional dentro de un texto puede alterar el veredicto del clasificador. La propia compañía OpenAI había retirado anteriormente su propio detector al reconocer su baja tasa de acierto, lo que evidencia las dificultades técnicas que persisten en la materia.