Pangram, el algoritmo que decide si un texto es obra humana o de IA

El 23 de octubre El País informó que el detector Pangram había atribuido a una inteligencia artificial el 99 % de la obra *Donde el agua trabaja*, ganadora de un premio que prohibía el uso de IA. El autor, que niega la intervención de la máquina, y la editorial suspendieron las presentaciones mientras revisan el caso. La polémica se repite con la novela de David Silva Roja, que, elegida entre 2 204 manuscritos de 22 países, también ha visto canceladas sus presentaciones y se ha retirado el premio de 20 000 € que buscaba.

Pangram: el algoritmo que se ha convertido en juez de la autoría

Pangram es un clasificador de redes neuronales entrenado con textos humanos y generados por modelos. Su función es puntuar fragmentos y devolver un porcentaje que indica cuán parecido es un texto a uno escrito por una máquina. La propia empresa afirma que Pangram 4 detecta el 99,66 % de los textos de IA y marca por error el 0,0041 % de los humanos, un fallo cada 24 000 documentos. Un estudio de la Universidad de Chicago lo sitúa por encima de GPTZero y Originality.ai, y El País comprobó que daba 0 % en libros anteriores a ChatGPT.

La versión 4.1, lanzada el 19 de octubre, se utilizó en el análisis del 23 de octubre. Con 29 103 pares de textos con ediciones mínimas, los cambios de veredicto no deseados bajan del 1,08 % al 0,15 %. Además, devuelve la probabilidad de cada etiqueta (humano, asistido por IA o generado por IA) y muestra menos certeza en textos inferiores a 150 palabras. La empresa cifra sus falsos positivos en un 0,009 % en inglés y un 0,0026 % en español, pero los mide sobre texto web, no sobre novelas. Los falsos negativos suben ligeramente, del 0,34 % al 0,37 %.

Limitaciones y controversias en la detección

Nature recoge que, cuando una IA modifica sustancialmente ensayos humanos, Pangram los etiqueta como humanos el 41 % de las veces. Jot Down mostró cómo un espacio añadido cambia el veredicto. Un preprint reciente sostiene que, tras pasar por un “humanizador”, los falsos negativos superan el 96 %, justo lo contrario de lo que anuncia la empresa (98,83 % de detección frente a 13 humanizadores). Los estudios nunca coinciden. El CEO de Pangram explica que la tasa de falsos positivos se mide con millones de textos anteriores a 2022, pero muchos escritores podrían haber aprendido a introducir la IA en sus artículos y esconderla mejor. Un porcentaje no revela quién hizo qué: si la IA redactó, corrigió o solo sugirió tramas. Un falso positivo puede destruir una reputación y un falso negativo no cuesta nada.

El negocio detrás del detector

Pangram Labs, fundada por dos colegas de Brooklyn, ha visto crecer sus ingresos en un 35 % en un año y sus usuarios mensuales pasar de 2 700 a 120 000 entre junio de 2025 y junio de 2026. La empresa se beneficia de la desconfianza, pero su éxito depende de la “intervalo de confianza” que, al bajar, parece aumentar su popularidad. Tim Requarth señala que ninguno de sus modelos es capaz de entender las capas y capas por las que pasa un texto real. El estudio de Chicago es independiente, financiado por la universidad y un programa de Google Cloud, y GPTZero asegura que, con el mismo banco de pruebas, ahora supera a Pangram.

El papel de los detectores en el ámbito legal

Hasta la fecha no existe ninguna sentencia española sobre el valor probatorio de estos detectores. En el proceso penal, la admisibilidad depende de la pertinencia y el juez valora la prueba libremente. Un informe de Pangram tendría que entrar como dictamen pericial, con un experto capaz de explicar el método, el margen de error y someterse a contrainterrogatorio. La caja negra neuronal no explica por qué marca una frase; la tasa de error la declara el fabricante; y sus modelos cambian, lo que complica reproducir un veredicto meses después. Lo más probable es que sirva de indicio para pedir borradores, no como prueba de cargo por sí sola.

Qué se necesita de un árbitro fiable

Para que un detector sea útil en la justicia debería ser fiable, auditado, tener validez legal y ser neutral. Pangram es hoy el detector mejor valorado, pero está lejos de ser infalible. Sus auditorías pertenecen al terreno académico y no están sostenidas por auditoría pública y recurrente con acceso al modelo. Ninguna norma reconoce su validez legal y hay conflicto de intereses, ya que la propia empresa defiende su herramienta. Europa avanza con el AI Act, que obliga a los proveedores de IA generativa a marcar sus resultados en formato legible por máquina, y la Comisión publicó un código de buenas prácticas el 10 de junio. Sin embargo, una marca de agua no prueba nada por sí sola y no cubre texto de modelos abiertos ni reescrito. Falta un auditor independiente, público y europeo que mida estos detectores con pruebas abiertas y comparables. Lo que tenemos ni se acerca a eso.