Microsoft anunció este lunes (19) una ampliación de Project Perception para monitorear agentes de inteligencia artificial dentro de las empresas, tratando a estos sistemas como posibles amenazas internas. El nuevo enfoque introduce los llamados Guardian Agents, responsables de supervisar continuamente el comportamiento de otros agentes e intervenir cuando sus acciones representen riesgos.
El cambio parte de una premisa poco habitual para una de las mayores proveedoras de IA del mundo: ni siquiera los modelos más avanzados deben recibir una confianza irrestricta. En un comunicado, Hayete Gallot, vicepresidenta ejecutiva de seguridad de Microsoft, argumentó que los agentes pueden tomar decisiones inesperadas, eludir restricciones para cumplir objetivos e incluso colaborar entre sí de maneras no previstas, aun sin sufrir ataques externos.
El problema está en los permisos concedidos a estos sistemas. Los agentes corporativos pueden consultar información confidencial, ejecutar código, acceder a herramientas y tomar decisiones operativas. Microsoft sostiene que esas capacidades deben estar sujetas a controles independientes del propio modelo, capaces de evaluar los riesgos antes de la ejecución de acciones.
Guardian Agents pueden bloquear operaciones sin desactivar el agente
Project Perception, presentado originalmente en julio para combatir ataques cibernéticos, pasa a incorporar mecanismos de protección dirigidos a los propios agentes utilizados por las organizaciones.
Los Guardian Agents analizan continuamente señales de identidad, permisos, datos, red, nube y entorno de ejecución. Con esta información, el sistema calcula el riesgo asociado al comportamiento de cada agente y puede recomendar o aplicar medidas de contención.
La respuesta no tiene por qué ser simplemente desactivar el sistema. Si un agente responsable de aprobar gastos empieza a ejecutar operaciones incompatibles con su tarea, los controles podrán preservar el acceso de lectura, bloquear cambios, exigir aprobación humana o interrumpir por completo su ejecución, según la gravedad identificada.
Otro cambio involucra la identificación de agentes instalados en los equipos corporativos. Microsoft está ampliando la detección de 25 a 60 tipos de agentes locales, incluyendo Claude Code, OpenAI Codex y GitHub Copilot. La propuesta es asignar identidades propias a estos sistemas y limitar sus permisos a las tareas autorizadas, sin conceder automáticamente todos los privilegios del empleado responsable.
La supervisión automatizada también tendrá límites. Las políticas y decisiones más importantes seguirán bajo control humano, mientras que los Guardian Agents ejecutarán verificaciones y respuestas operativas a una velocidad compatible con la actividad de los sistemas monitoreados.
Microsoft reconoce, sin embargo, una limitación importante: observar lo que hace un agente todavía no significa comprender por qué tomó determinada decisión. Gallot defiende una mayor transparencia sobre los procesos internos de los modelos, incluyendo información sobre sus etapas de razonamiento, para mejorar la identificación de comportamientos incompatibles con las tareas recibidas. Esa capacidad más profunda aún se presenta como una evolución necesaria.
La implementación tampoco está ampliamente disponible. Project Perception permanece en fase de pruebas con acceso limitado a clientes invitados. Según GeekWire, los nuevos recursos están en vista previa privada, con una expansión de disponibilidad prevista para noviembre, durante Microsoft Ignite.
