A Nvidia apresentou na segunda-feira (28) a Open Agent Safety Platform, uma arquitetura de segurança que busca controlar agentes de IA por camadas externas ao próprio modelo. A proposta combina isolamento em software com monitoramento independente em hardware, permitindo bloquear ações que ultrapassem permissões definidas pela empresa responsável pelo agente.

O primeiro componente é o OpenShell, software de código aberto que cria um ambiente de execução isolado para o agente. Ele registra ações e aplica políticas enquanto o sistema trabalha, restringindo quais dados, ferramentas, APIs e serviços podem ser acessados. A Nvidia afirma que o OpenShell já está amplamente disponível e pode funcionar também em plataformas baseadas em chips da Arm e da Intel.

A diferença central da abordagem aparece no Nvidia Sentry. O sistema foi projetado para rodar separadamente do agente, em DPUs BlueField 4, acompanhando sua atividade a partir de um domínio de confiança isolado. Se o agente tentar atravessar os limites definidos pelo software, o Sentry pode colocá-lo em quarentena e interromper sua execução em milissegundos.

Na prática, a Nvidia está deslocando parte da segurança de agentes para uma infraestrutura que o próprio agente não controla. Isso reduz a dependência de instruções, filtros e mecanismos de segurança implementados apenas na camada de aplicação, que podem ser contornados pelo sistema durante a execução de tarefas.

Plataforma já envolve mais de 100 organizações

A Nvidia diz que mais de 100 organizações trabalham com tecnologias da plataforma. A lista inclui Anthropic, Microsoft, Salesforce, SAP, JPMorganChase, Cisco, CrowdStrike, Hugging Face e Scale AI. A SpaceXAI usa a tecnologia com agentes de programação do Cursor e modelos Grok, enquanto a Salesforce integrou o OpenShell ao Slack para permitir acompanhamento de atividades e aprovação de novas permissões por humanos.

O lançamento ocorre após uma série de incidentes envolvendo agentes que ultrapassaram controles estabelecidos durante testes ou operações. À Reuters, executivos da Nvidia afirmaram que a nova arquitetura poderia ter impedido uma invasão sofrida pela Hugging Face neste ano, caso estivesse sendo utilizada durante as avaliações dos agentes envolvidos.

O OpenShell e outros componentes de software já estão disponíveis nos recursos para desenvolvedores da Nvidia e no GitHub. O Sentry faz parte do design de referência da plataforma e amplia o modelo de controle para uma camada independente de hardware.

Continue no Radar