Continua após a publicidade
Durante anos, uma das maiores preocupações envolvendo a inteligência artificial foi a dificuldade de compreender o que acontece dentro de seus modelos. Mesmo os cientistas responsáveis por desenvolvê-los reconhecem que muitos de seus mecanismos permanecem obscuros. Agora, um pesquisador que ajudou a popularizar essa visão está defendendo uma ideia inesperada: talvez as redes neurais sejam muito mais compreensíveis do que imaginávamos. A proposta reacendeu um debate fundamental sobre o futuro da tecnologia.
O pesquisador que ajudou a construir o mistério da inteligência artificial
Nick Cammarata, ex-pesquisador da OpenAI e atualmente integrante da Goodfire, publicou em 15 de outubro um ensaio de aproximadamente 26 mil palavras intitulado Neural Networks Are Already Clean.
O trabalho questiona uma das ideias mais difundidas sobre o funcionamento das redes neurais: a de que seus componentes internos são difíceis de interpretar individualmente.
A mudança chama atenção porque Cammarata participou de pesquisas que ajudaram a estabelecer essa percepção.
Em 2020, ele colaborou com Chris Olah no estudo Zoom In, que analisou neurônios artificiais de um modelo de visão computacional do Google.
Os pesquisadores encontraram unidades que aparentemente respondiam a elementos sem relação evidente, como rostos de gatos e partes dianteiras de automóveis.
Esse comportamento ficou conhecido como polissemântica, quando um mesmo neurônio parece representar diferentes conceitos.
A explicação mais conhecida envolve a chamada superposição: redes neurais armazenariam múltiplas características em combinações distribuídas, dificultando sua interpretação.
Entretanto, Cammarata agora acredita que muitos desses casos foram compreendidos de maneira equivocada.
O que parecia uma mistura de conceitos pode ter uma explicação mais simples
Segundo a nova interpretação, o neurônio associado a gatos e carros não estaria necessariamente identificando dois objetos completamente diferentes.
Na realidade, ele poderia responder a um padrão visual semelhante à letra V, presente tanto em determinadas características de rostos felinos quanto na dianteira de veículos.
Isso indicaria que algumas ativações aparentemente desconexas compartilham uma estrutura reconhecível.
Cammarata propõe um mecanismo chamado generalização recursiva.
A hipótese sugere que um neurônio pode aprender determinada característica e, durante o treinamento, ampliar gradualmente sua resposta para padrões relacionados.
Uma unidade inicialmente associada a uma sequência de letras, por exemplo, poderia passar a reconhecer palavras que contêm aquela combinação.
O pesquisador argumenta que muitas interpretações anteriores falharam por utilizar descrições inadequadas das funções dos neurônios.
Se essa hipótese estiver correta, parte da complexidade atribuída às redes neurais poderia resultar das ferramentas utilizadas para analisá-las.
Uma análise encontrou funções compreensíveis em até 90% dos neurônios
Os números apresentados por Cammarata representam a parte mais provocadora do ensaio.
Em uma pesquisa da OpenAI realizada em 2023, apenas aproximadamente 1,7% dos neurônios analisados receberam explicações consideradas satisfatórias.
Agora, em uma avaliação preliminar do modelo aberto Qwen3-32B, o pesquisador afirma que cerca de 90% dos neurônios apresentam uma função principal compreensível.
Outros 7% teriam duas funções relacionadas, enquanto aproximadamente 2% a 4% permaneceriam sem explicação.
Ele também relata que, no GPT-2 XL, a proporção de neurônios interpretáveis passou de menos de 2% para aproximadamente 70% após a reformulação das descrições utilizadas.
Entretanto, esses resultados ainda precisam ser avaliados com cautela.
A análise do Qwen3-32B é preliminar, e o estudo técnico completo que deveria sustentá-la ainda não foi publicado.
Além disso, identificar uma função aparente em um neurônio não equivale a compreender todas as decisões de um modelo.
Especialistas questionam se a descoberta realmente muda o entendimento da IA
A proposta recebeu reações diferentes entre pesquisadores.
Sam Altman, diretor executivo da OpenAI, demonstrou entusiasmo com a publicação.
Entretanto, Neel Nanda, responsável pela equipe de interpretabilidade mecanicista do Google DeepMind, argumentou que a superposição continua sendo um fenômeno real.
Ele também questionou se observações realizadas em modelos menores de visão computacional podem ser generalizadas para grandes modelos de linguagem.
Christopher Potts, da Universidade Stanford, considerou a proposta mais próxima de uma intuição que de uma demonstração conclusiva.
Já Jacob Hilton, do Alignment Research Center, estima que ainda compreendemos menos de 0,01% do funcionamento interno dos modelos mais avançados.
O próprio Cammarata reconhece que seu ensaio não passou por revisão científica por pares e descreve sua conclusão mais ampla como altamente especulativa.
Por que essa discussão pode mudar a segurança da inteligência artificial?
Compreender o funcionamento interno das redes neurais é uma das prioridades da pesquisa em segurança de IA.
Se os pesquisadores conseguirem identificar de maneira confiável o que diferentes componentes fazem, poderão desenvolver métodos melhores para investigar comportamentos indesejados.
Isso poderia ajudar a detectar problemas antes que sistemas avançados sejam utilizados em situações críticas.
Entretanto, a hipótese de Cammarata ainda está longe de demonstrar que a inteligência artificial deixou de ser uma caixa-preta.
O que ele propõe é que muitos neurônios talvez sejam mais interpretáveis do que se acreditava, desde que sejam analisados com ferramentas e explicações adequadas.
A confirmação dependerá de estudos independentes, métodos reproduzíveis e avaliações em modelos de diferentes tamanhos.
Por enquanto, o debate permanece aberto. Mas uma questão ganhou força: será que o maior obstáculo para compreender a inteligência artificial está dentro das redes neurais ou na maneira como tentamos interpretá-las?
Veja todas notícias sobre Tecnologia
Publicidade
