Anthropic deteta e bloqueia cientistas que usavam a IA Claude para criar armas biológicas

A Anthropic revelou recentemente que detetou e interrompeu a atividade de vários investigadores que recorriam aos seus modelos de inteligência artificial (IA) para o desenvolvimento de potenciais ameaças biológicas.

O relatório de segurança da Anthropic
A empresa publicou um conjunto detalhado de estudos de caso focado nas formas como os seus modelos de IA, como o Claude, têm sido utilizados de forma indevida. O desvio biológico destaca-se como uma das maiores preocupações atuais, especialmente devido à crescente capacidade dos novos sistemas em auxiliar na investigação científica avançada.
A identificação destas situações é descrita como um processo extremamente complexo, uma vez que o limite entre a criação de uma vacina legítima e o desenvolvimento de um agente patogénico perigoso é muito ténue.
Por esse motivo, a empresa optou por agir com máxima prudência, priorizando a segurança global em detrimento da continuidade das contas suspeitas.
Casos detetados e manipulação de vírus
Num dos episódios mais alarmantes registados em maio, o sistema de segurança da Anthropic sinalizou uma solicitação para que o Claude redigisse uma proposta de financiamento para investigação de ganho de função no vírus chikungunya. Este vírus, que não possui tratamento totalmente eficaz aprovado, causa sintomas debilitantes prolongados.
A proposta procurava aumentar a transmissibilidade e a capacidade do vírus de contornar o sistema imunitário humano. Para além deste caso, que levantou sérias suspeitas por estar associado a um instituto de investigação militar, foram identificadas tentativas semelhantes relacionadas com a gripe das aves e a criação de bases de dados otimizadas de toxinas de veneno.
Apesar da gravidade das situações reportadas, a Anthropic optou por não divulgar a identidade dos cientistas ou das instituições envolvidas. A empresa esclareceu que se trata de profissionais no ativo e que não existe uma certeza absoluta de que tivessem intenções malévolas, pelo que a exposição pública poderia prejudicar injustamente as respetivas carreiras.
Com estas medidas e com a partilha pública destes dados, a criadora do Claude pretende alertar a comunidade tecnológica e científica para a necessidade urgente de implementar salvaguardas robustas que impeçam que ferramentas de IA generativa sejam desviadas para fins potencialmente catastróficos.
 
Leia também: