Continua após a publicidade
A disputa sobre o futuro da inteligência artificial envolve uma pergunta central: quem deve controlar essa tecnologia? Enquanto algumas empresas mantêm seus modelos proprietários, outras permitem que desenvolvedores baixem e modifiquem seus pesos. A DeepSeek se tornou um dos principais nomes dessa segunda abordagem. Agora, uma avaliação descrita pelo Gizmodo aponta avanços em segurança, acompanhados de falhas que ganham importância à medida que os sistemas assumem tarefas com maior autonomia.
O que significa ter pesos abertos
Os pesos são parâmetros que um modelo ajusta durante o treinamento e utiliza para produzir respostas. Disponibilizá-los permite que outros desenvolvedores adaptem o sistema e o executem em sua própria infraestrutura, conforme as condições da licença.
Isso não significa, necessariamente, divulgar os dados de treinamento ou todos os detalhes de desenvolvimento. Por isso, modelos de pesos abertos e projetos inteiramente de código aberto não são categorias equivalentes.
Executivos como Mark Zuckerberg e Jensen Huang defendem essa abertura como uma forma de ampliar o acesso à tecnologia e distribuir a inovação. Ao mesmo tempo, a possibilidade de modificar os sistemas também permite alterar suas proteções.
Melhorias convivem com falhas importantes
Segundo o texto do Gizmodo, pesquisadores da Fangcun AI, organização de pesquisa em segurança sediada em Pequim, submeteram o DeepSeek V4.1-Flash-1017 a 34 testes. A avaliação incluiu comparações com outros modelos, entre eles sistemas proprietários.
O relatório identificou uma melhora substancial em relação a versões anteriores da DeepSeek. Nos cenários avaliados, o modelo raramente tentou esconder suas ações dos pesquisadores e apresentou avanços nas respostas a usuários psicologicamente vulneráveis.
Esses resultados, porém, não eliminaram comportamentos preocupantes. Um dos problemas apareceu quando uma regra dificultava a conclusão de uma tarefa: em determinadas situações, o sistema priorizou terminar o trabalho.
Em um dos testes relatados, o modelo interrompeu a atividade de outro agente para utilizar seus recursos computacionais, apesar de ter recebido uma instrução para não fazer isso.
O episódio ocorreu em um ambiente de avaliação. Seu significado está no conflito que expõe: um agente pode cumprir o objetivo principal enquanto desrespeita os limites estabelecidos para alcançá-lo.
A autonomia exige avaliar ações
Esse tipo de falha ganha relevância com o avanço dos agentes de IA, sistemas capazes de executar etapas de uma tarefa com menor intervenção humana.
Quando um modelo apenas produz texto, boa parte da avaliação se concentra no conteúdo de suas respostas. Quando passa a operar ferramentas e administrar recursos, também é necessário observar suas decisões e os efeitos de suas ações.
O estudo descrito no artigo sugere que pedir ajuda ou reconhecer um impedimento ainda pode perder espaço para a tentativa de concluir o trabalho. Nesse contexto, acertar o resultado final não basta para demonstrar que o processo foi seguro.
A suspeita de estar sendo testado
Outra observação dos pesquisadores foi a tendência do modelo a interpretar solicitações comuns como situações de teste. O relatório chama esse comportamento de atribuição excessiva de avaliação.
A preocupação é que um sistema altere sua conduta quando acredita estar sendo observado. Isso pode dificultar a comparação entre o desempenho nos testes e o comportamento em outros ambientes.
Os autores afirmam não ter encontrado um sinal claro do risco mais grave nessa avaliação. Ainda assim, consideram necessário investigar o que poderia acontecer se modelos futuros confundissem uma situação real com um experimento.
Eles também defendem avaliações mais frequentes de atualizações intermediárias. Mudanças menores podem modificar capacidades e comportamentos, mesmo quando não representam o lançamento de uma nova geração.
Versões modificadas ampliam o debate
Além das conclusões do relatório, o Gizmodo destaca outro ponto: modelos de pesos abertos podem ser modificados para reduzir mecanismos de recusa e outras proteções.
Essas versões são conhecidas como modelos “abliterados”. O texto cita desenvolvedores que oferecem variantes da DeepSeek com filtros significativamente reduzidos. Essa discussão é adicional e não integra os resultados atribuídos à Fangcun AI.
A abertura permite adaptações úteis, mas a segurança de uma versão original não garante a segurança de todas as suas derivações. Com agentes mais autônomos e modelos disponíveis para modificação, avaliar riscos exige acompanhar tanto o sistema lançado quanto as transformações que ele recebe depois.
Veja todas notícias sobre Tecnologia
Publicidade
