Continua após a publicidade
A Nvidia acredita ter encontrado uma maneira de enfrentar um dos problemas mais preocupantes da atual geração de inteligência artificial: agentes capazes de ultrapassar as barreiras criadas para controlá-los.
A empresa apresentou a Open Agent Safety Platform, uma estrutura de segurança destinada a acompanhar agentes de IA desde os testes até sua utilização em ambientes reais.
A proposta surge após uma série de incidentes envolvendo sistemas desenvolvidos por alguns dos maiores laboratórios de IA, incluindo OpenAI, Google, Anthropic e Meta.
Em diferentes testes, agentes conseguiram contornar determinadas barreiras de segurança enquanto tentavam cumprir as tarefas recebidas. Para a Nvidia, isso revela uma vulnerabilidade específica que pode ser enfrentada com ferramentas capazes de impor limites mais rígidos ao que esses sistemas podem fazer.
Uma prisão de segurança para agentes de IA
A nova plataforma possui dois componentes principais.
O primeiro é o OpenShell, um ambiente isolado projetado para estabelecer limites rígidos sobre as capacidades de um agente.
Na prática, ele funciona como uma barreira entre a inteligência artificial e os sistemas externos aos quais ela poderia tentar acessar.
O segundo componente é o Sentry.
O software monitora continuamente as ações realizadas pelo agente. Caso detecte comportamentos considerados inadequados ou perigosos, pode colocar o sistema em quarentena.
A comparação mais simples seria imaginar o OpenShell como as paredes de uma prisão de alta segurança e o Sentry como os guardas responsáveis por observar o que acontece dentro dela.
Segundo a Nvidia, empresas e organizações como Anthropic, SpaceX, Microsoft, Perplexity, Palantir, Cisco e IBM estão entre aquelas que utilizam tecnologias relacionadas à nova plataforma.
A Nvidia quer transformar a tecnologia em um padrão
A posição da Nvidia no mercado torna a iniciativa particularmente importante.
As GPUs da companhia são utilizadas em grande parte dos data centers responsáveis pelo treinamento e execução dos modelos de IA mais avançados.
Isso significa que a empresa já ocupa uma posição central na infraestrutura da inteligência artificial.
Agora, ela pretende ampliar essa presença para a segurança dos agentes.
A Nvidia apresenta sua plataforma como uma estrutura aberta e personalizável, permitindo que diferentes organizações adaptem os mecanismos de proteção às próprias necessidades.
A ideia é estabelecer controles durante todo o ciclo de funcionamento de um agente, em vez de depender exclusivamente das proteções incorporadas ao próprio modelo.
Jensen Huang acredita que o problema é técnico
A estratégia também reflete a visão do CEO da Nvidia, Jensen Huang, sobre segurança em inteligência artificial.
Huang tem defendido que os laboratórios responsáveis pelos modelos mais avançados devem assumir a responsabilidade principal pela segurança dos sistemas que desenvolvem.
Em entrevista recente ao jornalista Ezra Klein, do New York Times, o executivo argumentou que empresas como OpenAI e Anthropic não deveriam lançar modelos que não considerem seguros.
Ele também afirmou que, caso se torne impossível impedir agentes de escapar de ambientes controlados, os laboratórios responsáveis por esses sistemas teriam que interromper suas atividades.
Para Huang, porém, os incidentes registrados até agora representam principalmente problemas técnicos que podem ter soluções igualmente técnicas.
O primeiro desafio é impedir que a IA escape
O executivo separa a discussão sobre agentes autônomos em diferentes problemas.
Um deles é o alinhamento: como garantir que sistemas cada vez mais avançados continuem perseguindo objetivos compatíveis com aqueles definidos pelos humanos.
Essa é uma questão de longo prazo e ainda sem uma solução clara.
Antes dela, entretanto, existe um problema mais imediato.
Os ambientes utilizados para testar agentes precisam ser suficientemente seguros para impedir que esses sistemas consigam acessar recursos externos sem autorização.
Segundo Huang, se o isolamento funcionar corretamente, mesmo um agente com comportamento inesperado permanecerá preso dentro do ambiente de testes.
É justamente esse problema que a Open Agent Safety Platform pretende enfrentar.
Nvidia e outros laboratórios discordam sobre os riscos da IA
A visão de Huang também contrasta com os alertas feitos por outros líderes da indústria.
Dario Amodei, CEO da Anthropic, e Sam Altman, CEO da OpenAI, já defenderam maior atenção aos riscos que sistemas muito avançados poderiam representar e apoiaram diferentes formas de supervisão e avaliação externa.
Huang adota uma posição diferente.
O executivo tem rejeitado interpretações mais alarmistas sobre uma possível ameaça existencial da inteligência artificial e argumenta que mecanismos técnicos, desenvolvimento aberto e responsabilidade dos próprios laboratórios podem resolver grande parte dos problemas.
A discussão também chegou ao governo dos Estados Unidos. O presidente Donald Trump tem criticado alertas sobre riscos existenciais da IA e priorizado a competição tecnológica do país com a China.
Nesse cenário, a Nvidia está fazendo uma aposta clara.
Em vez de esperar pela criação de um conjunto abrangente de regras governamentais, a empresa quer fornecer a infraestrutura técnica capaz de controlar agentes autônomos.
Se essa estratégia funcionar, a Nvidia poderá ocupar duas posições fundamentais na corrida pela inteligência artificial: fornecer os chips que permitem construir sistemas cada vez mais poderosos — e também as ferramentas destinadas a impedir que eles ultrapassem os limites.
Veja todas notícias sobre Tecnologia
Publicidade
