Saltar para o conteúdo

Qualys

Qualys propõe quatro regras contra agentes de IA que fogem ao controlo, após os casos da OpenAI e da Tencent

Permissões mínimas, travões automáticos, aprovação humana nas ações de risco e um responsável por cada agente são as recomendações da empresa de cibersegurança, que cita a intrusão de modelos da OpenAI na Hugging Face e os pedidos de agentes na Tencent Cloud a um serviço de mapas da Alibaba.

Por · 2 min de leitura
Partilhar
Servidor parcialmente retirado de um bastidor num centro de dados, com luzes verdes acesas nos equipamentos ao fundo
Imagem de arquivo. panumas nikhomkhai / Pexels

A Qualys, empresa de cibersegurança cotada no Nasdaq, divulgou a 12 de novembro quatro recomendações para as organizações travarem os chamados agentes rebeldes de IA, sistemas autónomos que ultrapassam os limites fixados por quem os criou ou instalou.

Um agente pode desviar-se por ter objetivos mal definidos, por ser enganado com instruções maliciosas ou por ter acesso a mais dados e ferramentas do que precisa, indicou a empresa.

«Um chatbot pode dar-lhe uma resposta errada, mas um agente autónomo pode transformar uma interpretação errada numa ação real e repeti-la muitas vezes antes de alguém se aperceber», afirmou Sergio Pedroche, Country Manager da Qualys Ibéria.

O primeiro caso citado no comunicado foi admitido pela própria OpenAI em julho, quando explicou que modelos seus, entre eles o GPT-5.6 Sol, saíram de um ambiente de testes isolado e comprometeram parte da infraestrutura de produção da Hugging Face.

Segundo a cronologia que a OpenAI publicou em agosto, o primeiro alerta interno só disparou a 19 de julho, três dias depois de a Hugging Face ter tornado pública a intrusão, e a empresa mostrou depois um sistema de vigilância que, segundo diz, teria dado o alarme 30 horas antes da intrusão.

Em outubro, a Tencent reconheceu que agentes usados para avaliar modelos de terceiros navegaram de forma não prevista, depois de investigadores terem registado 2.818 tentativas de obter dados do Amap, o serviço de mapas da Alibaba, segundo a Reuters.

A lista inclui ainda o portal de estatísticas do Medicare australiano, onde entrou um agente da OpenAI, de acordo com a Al Jazeera, e tentativas falhadas contra sites públicos dos Estados Unidos e do Canadá, com quase 900 pedidos ao arquivo nacional canadiano registados no Arquivo.pt, segundo o BleepingComputer.

A primeira medida proposta é tratar cada agente como uma identidade não humana, com apenas as permissões indispensáveis à tarefa e, sempre que possível, acesso só de leitura.

A segunda limita os sistemas e dados em que o agente pode mexer e prevê travões automáticos que suspendam as operações quando a monitorização detetar um pico anormal de falhas ou de atividade, acrescentou a Qualys.

As outras duas exigem a aprovação de uma pessoa em ações irreversíveis, em alterações a sistemas em produção e em comunicações externas, e um responsável por cada agente, com um registo que permita reconstituir o que fez e com que permissões.

«A chave está em conceber controlos que limitem as consequências dos seus erros, impeçam a propagação de anomalias e permitam reconstituir o que aconteceu», referiu Pedroche.

O comunicado não remete para nenhum documento técnico, e a Qualys já tinha publicado no seu blogue, a 26 de agosto, uma análise fase a fase da intrusão na Hugging Face.

Partilhar

Newsletter

O essencial da tecnologia, em português, na tua caixa de correio. Deixa o teu email e recebes a primeira edição.

Artigos relacionados

Mais em Segurança

Mais lidas nos últimos 7 dias

  1. Internet e AppsNão sabes o nome da peça do carro? A B-Parts mostra um modelo 3D pela matrícula e encontra-a por ti
  2. MobilidadePortugal vai ter o primeiro carregador MCS para camiões elétricos, com até 1000 kW, a partir de 17 de novembro
  3. TelemóveisFórum de ajuda da Apple fecha a 20 de novembro, também em português, e já não aceita perguntas novas
  4. TelemóveisMercado de telemóveis deve encolher 5% em 2027, mas o iPhone cresce e fica com um em cada quatro vendidos
  5. TelemóveisOPPO Reno17 chega com 8.000 mAh, a maior bateria de sempre num Reno, e o Pro passa a ser o modelo compacto