Premio Internacional de Novela Breve: David Silva Rojas gana con obra detectada como 99 % IA

La novela Donde el agua trabaja ganó el primer Premio Internacional de Novela Breve Almadía Ventosa‑Arrufat en julio, superando a más de 2.200 obras de 22 países y recibiendo 20.000 euros. El concurso exigía que los autores declararan que su texto no había sido escrito, ni parcial ni totalmente, con herramientas de IA. Si se detectaba alguna sospecha, la obra quedaba descalificada sin importar la fase del proceso.

El autor peruano David Silva Rojas, la editorial y el jurado del concurso, que aplaudieron la construcción y los silencios de la obra, se vieron envueltos en un escándalo cuando El País reveló que, tras pasar la novela por el detector Pangram, el 99 % del texto estaba generado por una IA.

Pangram: ¿qué es y cómo funciona?

Pangram es un clasificador de texto basado en redes neuronales que intenta distinguir si un texto proviene de un humano o de un modelo de lenguaje. Su algoritmo emplea prompts espejo y analiza secciones, con la intención de reducir los falsos positivos. Pangram Labs, la empresa detrás del detector, afirma que su tasa de falsos positivos es de 0,0041 % y la de falsos negativos 0,34 %.

Un estudio independiente de la Universidad de Chicago comparó Pangram con otros detectores comerciales y concluyó que es menos propenso a clasificar textos humanos como generados por IA.

El experimento de El País y sus resultados

El País no se limitó a analizar Donde el agua trabaja. Según Kiko Llaneras, ingeniero de datos y coautor del artículo, se pasaron 175 obras por Pangram. Los resultados fueron sorprendentes: 4 de cada 10 superventas autopublicados en Amazon tenían al menos un 25 % de texto generado por IA.

El método de control incluyó 56 libros de 2019‑2020, antes de la aparición de ChatGPT, que mostraron 0 % de IA. También se analizaron textos sintéticos creados con IA, que el detector identificó correctamente, y obras de autores consagrados como Javier Cercas, Isabel Allende y Antonio Muñoz Molina, que también dieron 0 %.

Limitaciones y dudas sobre el detector

Aunque Pangram promete alta precisión, el propio periódico reconoce que no es infalible. Un ensayo humano que pasa por una IA de consumo y se modifica sustancialmente puede ser etiquetado como humano en el 41 % de los casos.

OpenAI retiró su detector tras reconocer su baja tasa de acierto, y aunque tiene otro que supuestamente es muy bueno, no lo lanza al mercado. Además, cualquier usuario puede introducir pequeñas alteraciones en un texto y cambiar el veredicto, como demostró Ángel L. Fernández Recuero al añadir un espacio.

El arquitecto y divulgador Pedro Torrijos también probó el detector con una novela francófona de moda, logrando que el sistema lo clasificara como humano a partir de un texto sencillo escrito a mano.

El debate sobre la autoría y el uso de IA

Un porcentaje, incluso del 99 %, no constituye una prueba definitiva de autoría. Los sistemas de detección estiman la probabilidad de que un texto haya sido generado por IA, pero no revelan el papel exacto de la persona y la máquina. Una obra puede haber sido redactada o corregida por IA, o la IA puede haber aportado tramas o personajes.

El caso de las memorias de Agassi, escritas por el periodista J. R. Moehringer tras 250 horas de entrevistas en tres años, muestra que la autoría humana puede coexistir con la colaboración de otros.

Las bases del concurso dejan claro que no se permite el uso de IA. La cuestión no es solo si hay IA, sino cuánta y cómo se ha usado. El hecho de que una IA determine si una obra está hecha con IA plantea un dilema: un falso positivo puede destruir una reputación, mientras que un falso negativo no cuesta nada.

En definitiva, el caso de Donde el agua trabaja subraya la necesidad de criterios claros y de herramientas fiables para abordar el creciente uso de la IA en la literatura. La comunidad editorial y los jurados deberán decidir cómo equilibrar la innovación tecnológica con la integridad creativa.