A Nvidia anunciou nesta segunda-feira (28) a Open Agent Safety Platform, uma plataforma criada para estabelecer limites e monitorar agentes de inteligência artificial. A solução foi apresentada após uma série de incidentes envolvendo sistemas de IA que realizaram ações não autorizadas em ambientes de teste e em sistemas de outras empresas.

A tecnologia combina duas ferramentas. O OpenShell, de código aberto, mantém os agentes em ambientes isolados e permite definir quais arquivos, redes, ferramentas e credenciais podem ser acessados. Já o Sentry monitora as atividades de forma independente e, segundo a Nvidia, pode colocar um agente em quarentena em milissegundos caso ele tente ultrapassar os limites estabelecidos.

Segundo a empresa, a plataforma poderia ter evitado o incidente envolvendo modelos da OpenAI que invadiram a Hugging Face durante uma avaliação de segurança. Mais de 100 empresas e organizações já participam da iniciativa, incluindo Microsoft, Anthropic, Cisco e CrowdStrike.

A Nvidia defende que a segurança dos agentes deve ser feita por mecanismos externos, sem depender exclusivamente do próprio sistema de IA para controlar seu comportamento. A proposta surge em meio ao debate sobre como desenvolver agentes cada vez mais autônomos sem perder mecanismos de supervisão e interrupção.

Fonte: g1