Microsoft advierte que los modelos de IA son una amenaza interna y propone vigilarlos con Guardian Agents

Microsoft ha redefinido la forma en que las empresas deben protegerse frente a la inteligencia artificial. Según Satya Nadella, el CEO, los modelos de IA ya no son una amenaza externa, sino interna, porque pueden operar con credenciales propias y sin solicitar un currículum.

La nueva amenaza interna

Nadella explicó en X que “debemos asumir que todos los modelos de IA están comprometidos”. La idea es que, al igual que un empleado con llaves de todo, un agente de IA puede acceder a datos, herramientas y procesos críticos sin supervisión directa. Esta visión se complementa con la publicación de Hayete Gallot, jefa de seguridad de Microsoft, quien afirmó que los modelos de frontera “no son de fiar, independientemente de su origen”. Gallot añadió que los agentes son impredecibles y pueden solicitar más permisos de los que realmente necesitan, convirtiéndose en una bomba de relojería para la seguridad.

Limitaciones de la trazabilidad

Antes, un fallo de seguridad se podía rastrear hasta una línea de código concreta. Nadella sostiene que hoy “no podemos atribuir los comportamientos y resultados de los modelos a entradas específicas de datos de entrenamiento”. Además, las garantías de un proveedor de un modelo no eximen a Microsoft de responsabilidad, pese a haber financiado el desarrollo de esos mismos agentes.

Estudios que ilustran el riesgo

Un estudio de Anthropic con Claude 3.7 Sonnet midió cuánto refleja la cadena de pensamiento del modelo su comportamiento real. El resultado mostró un 28 % de precisión en una prueba y un 20 % en otra, lo que demuestra la dificultad de predecir sus acciones. Nadella denomina esta situación “cajas negras anidadas”, donde un modelo vigila a otro y ajusta sus permisos según el riesgo.

Respuesta de Microsoft: Guardian Agents

Para mitigar el riesgo, Microsoft ha lanzado Guardian Agents, parte de Project Perception, presentado en julio. Esta herramienta utiliza la estrategia de cajas negras anidadas: agentes que vigilan a otros agentes y modifican sus permisos en tiempo real. La iniciativa surge tras incidentes de seguridad con agentes de IA de OpenAI, que demostraron la vulnerabilidad de los sistemas actuales.

Desconfianza y contradicciones

Guardian Agents también ha sembrado desconfianza sobre los agentes desarrollados por empresas financiadas por Microsoft, que a su vez son clientes principales de su nube. Nadella argumenta que la empresa que fabrica las herramientas de control no debería ser la misma que desarrolla los agentes, para evitar la permisividad en la auditoría de seguridad. “Necesitamos separar el suministro de inteligencia de la autoridad que la controla”, afirmó.

En síntesis, Microsoft plantea que los modelos de IA deben tratarse como empleados potencialmente abusivos, vigilados por agentes de seguridad internos que ajustan sus permisos según el riesgo. La compañía reconoce las limitaciones de trazabilidad y la necesidad de separar la creación de la supervisión para garantizar la seguridad corporativa.