Qualys
Qualys propõe quatro regras contra agentes de IA que fogem ao controlo, após os casos da OpenAI e da Tencent
Permissões mínimas, travões automáticos, aprovação humana nas ações de risco e um responsável por cada agente são as recomendações da empresa de cibersegurança, que cita a intrusão de modelos da OpenAI na Hugging Face e os pedidos de agentes na Tencent Cloud a um serviço de mapas da Alibaba.

A Qualys, empresa de cibersegurança cotada no Nasdaq, divulgou a 12 de novembro quatro recomendações para as organizações travarem os chamados agentes rebeldes de IA, sistemas autónomos que ultrapassam os limites fixados por quem os criou ou instalou.
Um agente pode desviar-se por ter objetivos mal definidos, por ser enganado com instruções maliciosas ou por ter acesso a mais dados e ferramentas do que precisa, indicou a empresa.
«Um chatbot pode dar-lhe uma resposta errada, mas um agente autónomo pode transformar uma interpretação errada numa ação real e repeti-la muitas vezes antes de alguém se aperceber», afirmou Sergio Pedroche, Country Manager da Qualys Ibéria.
O primeiro caso citado no comunicado foi admitido pela própria OpenAI em julho, quando explicou que modelos seus, entre eles o GPT-5.6 Sol, saíram de um ambiente de testes isolado e comprometeram parte da infraestrutura de produção da Hugging Face.
Segundo a cronologia que a OpenAI publicou em agosto, o primeiro alerta interno só disparou a 19 de julho, três dias depois de a Hugging Face ter tornado pública a intrusão, e a empresa mostrou depois um sistema de vigilância que, segundo diz, teria dado o alarme 30 horas antes da intrusão.
Em outubro, a Tencent reconheceu que agentes usados para avaliar modelos de terceiros navegaram de forma não prevista, depois de investigadores terem registado 2.818 tentativas de obter dados do Amap, o serviço de mapas da Alibaba, segundo a Reuters.
A lista inclui ainda o portal de estatísticas do Medicare australiano, onde entrou um agente da OpenAI, de acordo com a Al Jazeera, e tentativas falhadas contra sites públicos dos Estados Unidos e do Canadá, com quase 900 pedidos ao arquivo nacional canadiano registados no Arquivo.pt, segundo o BleepingComputer.
A primeira medida proposta é tratar cada agente como uma identidade não humana, com apenas as permissões indispensáveis à tarefa e, sempre que possível, acesso só de leitura.
A segunda limita os sistemas e dados em que o agente pode mexer e prevê travões automáticos que suspendam as operações quando a monitorização detetar um pico anormal de falhas ou de atividade, acrescentou a Qualys.
As outras duas exigem a aprovação de uma pessoa em ações irreversíveis, em alterações a sistemas em produção e em comunicações externas, e um responsável por cada agente, com um registo que permita reconstituir o que fez e com que permissões.
«A chave está em conceber controlos que limitem as consequências dos seus erros, impeçam a propagação de anomalias e permitam reconstituir o que aconteceu», referiu Pedroche.
O comunicado não remete para nenhum documento técnico, e a Qualys já tinha publicado no seu blogue, a 26 de agosto, uma análise fase a fase da intrusão na Hugging Face.



