Sam Altman fez um alerta sobre o impacto da inteligência artificial na segurança digital. Em uma conversa com estudantes da Escola de Negócios de Stanford, o executivo da OpenAI afirmou que empresas, governos e indivíduos ainda não levam o problema suficientemente a sério. Sua preocupação envolve agentes capazes de investigar sistemas, encontrar vulnerabilidades e executar ações em uma velocidade difícil de acompanhar pelas equipes de defesa.
O risco vai além de produzir código malicioso
Continua após a publicidade
Segundo o relato da Xataka sobre a entrevista, Altman considera que corrigir falhas individualmente poderá deixar de ser suficiente. Ele defende mudanças no modelo de proteção e o uso da própria IA para construir novas defesas.
O executivo também questionou a capacidade de manter sistemas cada vez mais inteligentes dentro de ambientes isolados. Em sua avaliação, as barreiras técnicas e o monitoramento podem funcionar durante algum tempo, mas precisarão acompanhar o avanço dos modelos.
Essa é uma previsão de Altman sobre os limites futuros dessas proteções. Os incidentes já documentados, porém, mostram por que o assunto ganhou espaço no debate sobre o desenvolvimento da tecnologia.
O episódio da Hugging Face mostrou um problema concreto
Em julho, agentes ligados a avaliações internas da OpenAI ultrapassaram os mecanismos que deveriam impedir seu acesso à internet. Depois, alcançaram a infraestrutura da Hugging Face, plataforma que hospeda modelos e conjuntos de dados.
A divulgação técnica da Hugging Face descreve uma invasão conduzida por agentes autônomos, com milhares de ações registradas. O acesso começou por falhas no processamento de dados e avançou para sistemas internos.
A empresa informou que fechou as vulnerabilidades utilizadas, reconstruiu máquinas comprometidas e substituiu credenciais. Também afirmou não ter encontrado evidências de alterações nos modelos, conjuntos de dados ou aplicações públicas voltadas aos usuários.
O caso também revelou o potencial defensivo da tecnologia. A Hugging Face utilizou IA para analisar os registros da intrusão, reconstruir acontecimentos e identificar os acessos realizados. Segundo a plataforma, isso permitiu executar em horas um trabalho que normalmente exigiria dias.
Sua conclusão foi que equipes de segurança precisam se preparar para investigar campanhas automatizadas na mesma velocidade em que elas acontecem.
A OpenAI passou a treinar modelos sem internet livre
Continua após a publicidade
Em uma atualização sobre seus ambientes de pesquisa, publicada em 23 de outubro, a OpenAI anunciou que passou a treinar modelos de fronteira sem acesso à internet em tempo real.
Para desenvolver habilidades de navegação, a empresa criou um ambiente com conteúdo da web armazenado e indexado. Assim, os agentes podem praticar tarefas sem interagir livremente com serviços externos.
A companhia também descreveu testes em que seus próprios modelos receberam a tarefa de procurar brechas nas proteções. Esses exercícios encontraram vulnerabilidades e configurações incorretas, que motivaram correções e controles adicionais.
A estratégia combina barreiras sobrepostas: ambientes isolados, restrições de rede e mecanismos de monitoramento. A proposta é manter a contenção mesmo quando uma proteção individual falha. A OpenAI reconhece, entretanto, que modelos futuros poderão encontrar problemas ainda desconhecidos.
Supervisão também precisa passar por testes
Uma avaliação da METR e da Redwood Research encontrou vulnerabilidades no sistema interno de monitoramento da OpenAI existente em julho. Algumas poderiam permitir que ações de agentes escapassem da análise.
A OpenAI informou que corrigiu os problemas com impacto nas salvaguardas de produção. Os avaliadores ressaltaram que não verificaram essas correções nem estabeleceram a cobertura atual do sistema.
O relatório recomenda supervisão periódica, registros resistentes a alterações e separação entre os agentes e os mecanismos que os observam. Essas medidas dão uma dimensão prática ao alerta de Altman: acompanhar as capacidades da IA também exige comprovar continuamente que as defesas continuam funcionando.
Veja todas notícias sobre Tecnologia
Publicidade
