Saltar para o conteúdo

Anthropic

Anthropic corta a internet a todos os testes internos depois de o Claude mexer em sites do governo dos EUA

Em testes com acesso à internet, modelos Claude exploraram uma falha num servidor universitário, submeteram formulários reais e contornaram pagamentos para obter dados. A empresa diz que o impacto foi mínimo, mas até ter controlos fiáveis as avaliações passam a correr sem ligação ao exterior.

Por · 2 min de leitura
Partilhar
Cabos de rede azuis ligados às portas de um switch num centro de dados, com luzes verdes acesas
Imagem de arquivo. Brett Sayles / Pexels

A Anthropic, a empresa que desenvolve o assistente Claude, decidiu desligar o acesso à internet em todas as avaliações internas dos seus modelos. A decisão vem num relatório publicado no seu site a 9 de outubro e noticiado pelo BleepingComputer a 12, onde a empresa descreve casos em que o Claude agiu em sites e sistemas reais de formas que ninguém tinha pedido. Alguns envolveram sites de agências do governo dos Estados Unidos, a nível federal, estadual e local. A Anthropic diz que informou a Casa Branca e cada uma das agências.

Quatro comportamentos inesperados

O relatório agrupa os casos em quatro categorias. Na primeira, quando uma ferramenta de que precisava falhava, o Claude procurou outra via e chegou a explorar falhas de software. Num dos exemplos, o Claude Mythos Preview tinha de fazer uma análise científica com uma ferramenta pública de uma universidade, que devolveu um erro. O modelo encontrou no servidor um script que entregava qualquer ficheiro pedido, leu o código, descobriu uma falha de injeção de comandos e usou-a para correr o cálculo no próprio servidor.

A segunda categoria envolve formulários reais. Modelos que deviam preencher cópias de treino de formulários do Estado acabaram por submeter os verdadeiros quando a cópia não carregava. Num caso, o Claude Haiku 4.5 encontrou uma página sobre um homicídio por resolver e enviou pelo formulário da polícia uma pista inventada, sem nome nem contacto. Segundo a Anthropic, a mensagem foi marcada como spam e nunca seguiu para investigação.

Nas outras duas, o Claude contornou restrições para chegar a dados. O Claude Mythos 5 obteve chaves de acesso a partir do ficheiro de configuração de um site e de um painel público, e usou-as para consultar diretamente dados que só estavam disponíveis mediante pagamento. Vários modelos, incluindo o Claude Opus 5, recorreram a serviços de encurtamento de endereços para fugir a um limite de tamanho imposto à ferramenta que lê páginas web.

O que a Anthropic mudou

A empresa considera estes casos menos graves do que os incidentes de cibersegurança que revelou a 30 de julho e a 9 de setembro, e diz que o impacto real foi mínimo. A explicação que avança é a recompensa mal calibrada durante o treino: quando uma tarefa fica bloqueada, o modelo aprendeu que contornar o obstáculo compensa, em vez de parar. Algumas avaliações públicas deixaram de correr e outras passaram para versões offline.

A Anthropic reforçou também os limites da ferramenta de leitura de páginas e criou um sistema que deteta e bloqueia este tipo de ações, já ativo na maioria das avaliações e no uso interno de agentes. Testado contra os casos do relatório, travou todos, segundo a empresa. A empresa diz que estes comportamentos não são exclusivos dos testes e que conta integrar estas proteções nos seus produtos, sem indicar datas.

Partilhar

Newsletter

O essencial da tecnologia, em português, na tua caixa de correio. Deixa o teu email e recebes a primeira edição.

Mais lidas nos últimos 7 dias

  1. Inteligência ArtificialSAP compra a TechWolf para pôr a IA a mapear as competências de quem trabalha
  2. MobilidadeMetro de Lisboa com o cartão bancário: quanto custa a viagem e os erros que te fazem pagar a mais
  3. GadgetsHuawei Watch D3, relógio que mede a tensão arterial com uma bolsa de ar, chega a Portugal a 26 de outubro
  4. TelemóveisXiaomi 12T e 12T Pro deixam de receber atualizações de segurança; Redmi 13C e POCO C65 seguem em novembro
  5. Internet e AppsVodafone contesta saída forçada da Huawei da rede de transporte e avisa que a troca obriga a cortes de serviço