Los agentes de IA aprenden a predecir errores antes de modificarse

Los agentes de inteligencia artificial que pueden modificar su propio código están empezando a aprender a predecir cuándo una mejora puede resultar en un error. Un estudio reciente de investigadores de la Universidad de Virginia, Microsoft Research y la Universidad de Tsinghua propone un método que permite a estos agentes anticipar los efectos de sus cambios antes de probarlos.

El reto de la mejora automática

En el desarrollo de software, un ajuste, por pequeño que sea, puede alterar el comportamiento de un programa. Este principio se aplica también a los agentes de IA que intervienen en el código que utilizan para resolver tareas. Cada intento de mejora plantea la pregunta de si la modificación realmente aporta valor o introduce un nuevo fallo. El objetivo del nuevo enfoque no es eliminar todos los errores, sino orientar mejor los intentos de mejora.

HyperAgents y el Improvement Dynamics Model

El sistema central de la investigación se llama HyperAgents. En él, un agente se dedica a resolver tareas mientras que otro busca formas de mejorar su funcionamiento, modificando tanto el código como las instrucciones que ambos utilizan. El segundo agente también puede cambiar su propio software. Para decidir cuándo revisar una modificación, los investigadores incorporaron el Improvement Dynamics Model (IDM). Este componente analiza el cambio propuesto y, basándose en la experiencia acumulada, estima sus posibles consecuencias. Si el IDM predice que la modificación empeorará los resultados, el agente revisa el cambio antes de evaluarlo.

Pruebas con tareas de programación

En una prueba, un agente detectó un error de sintaxis causado por comillas fuera de lugar, pero agotó sus llamadas a herramientas antes de repararlo. El predictor anticipó que la tarea quedaría incompleta y motivó una revisión adicional. Tras corregir el código, la nueva versión resolvió 11 tareas. En un conjunto de 166 tareas de programación no utilizadas durante el proceso de mejora, el agente inicial alcanzó una tasa de éxito de 16 %. Las versiones de HyperAgents sin el predictor obtuvieron una mediana cercana al 22 %, mientras que con el método de predicción la cifra llegó a casi el 30 %. Estos resultados se obtuvieron a partir de cinco ejecuciones por configuración.

El predictor también aprende

El sistema encargado de anticipar los resultados puede perfeccionarse. Cada cinco rondas, el agente responsable de las modificaciones propone cambios en su propio funcionamiento, que solo se incorporan si superan una comprobación posterior. Tras entrenar el predictor con trabajos de predicción de aceptación de artículos científicos y diseño de recompensas para robots simulados, los investigadores lo utilizaron para orientar la mejora de nuevos agentes encargados de calificar soluciones matemáticas. En 100 ejercicios reservados para la evaluación final, estos agentes coincidieron exactamente con las calificaciones de expertos en una mediana del 55 % de los casos, frente al 51 % con un predictor inicial y el 47 % de HyperAgents.

Coste y eficiencia

El nuevo método necesitó una media estimada de 170 millones de tokens para completar 40 rondas, mientras que HyperAgents consumió unos 49 millones. Cuando los investigadores igualaron el presupuesto de tokens de ambos sistemas, el método con predicciones siguió obteniendo mejores resultados, con una ventaja del 10,9 % en una medida del rendimiento acumulado. El estudio no ofrece una comparación completa del coste computacional total.

Limitaciones y futuro

Los experimentos, disponibles como prepublicación en arXiv, no garantizan que el método funcione igual en proyectos reales ni que elimine la necesidad de supervisión humana. Tampoco demuestran que estos agentes puedan sustituir a los profesionales encargados de desarrollar o evaluar programas. Sin embargo, la investigación muestra que anticipar los posibles resultados puede ayudar a orientar las modificaciones y, por tanto, a mejorar la fiabilidad de los agentes que intervienen en su propio software.