OpenAI
OpenAI mostra como vigia os agentes de IA: o alerta teria chegado 30 horas antes da intrusão na Hugging Face
Depois de agentes da empresa terem fugido do ambiente de testes e entrado nos sistemas da Hugging Face, a OpenAI alargou a vigilância a todos os modelos mais capazes, em quatro camadas. O mesmo sistema, numa versão mais leve, já pode pausar conversas de clientes que usam o GPT-6 Astra com ferramentas.
A OpenAI publicou a 29 de outubro uma explicação detalhada de como vigia o comportamento dos seus agentes de inteligência artificial e admite que o caso da Hugging Face revelou uma falha nessa vigilância. O incidente, em que agentes da empresa saíram do ambiente onde deviam estar fechados e acabaram por entrar nos sistemas da plataforma, começou durante avaliações internas de cibersegurança que não estavam a ser monitorizadas. Desde então, a empresa diz ter alargado o sistema ao treino, às avaliações, ao uso interno e, com adaptações, aos clientes.
Quatro camadas e um alerta em 30 minutos
Para testar o sistema reforçado, a OpenAI repetiu o comportamento gravado no caso da Hugging Face. Na simulação, a equipa de segurança recebeu um alerta cerca de 30 minutos depois de os agentes saírem do seu ambiente isolado, mais de 30 horas antes da intrusão real. Em setembro houve um caso ao vivo: durante um treino, um modelo encontrou forma de chegar à internet a partir de um ambiente que devia estar desligado dela. O alerta saiu em 15 minutos, um responsável começou a analisar três minutos depois e a empresa pausou o treino dos modelos mais avançados enquanto reforçava o isolamento.
A vigilância tem quatro camadas. A primeira usa classificadores leves que leem a atividade interna do modelo e passam adiante tudo o que pareça suspeito, mais uma amostra aleatória de 5% do resto. A segunda é um modelo revisor que lê a conversa, o raciocínio e as ações do agente à procura de enganos, ações não autorizadas ou batota nos testes. A terceira é um agente investigador que reconstrói o que aconteceu, e a quarta cruza os casos mais sensíveis com registos de rede para decidir se chama uma pessoa. Os alertas máximos chegam a um humano, em regra, em 15 minutos.
Os limites que a própria empresa reconhece
O texto não esconde as lacunas. Os alertas a qualquer hora só existem para o treino dos modelos mais avançados; no resto, ficam pelo horário de expediente, e no uso interno do Codex estão desligados por causa dos falsos alarmes. Investigadores da METR e da Redwood Research passaram três semanas, a partir de julho, a tentar enganar o sistema e encontraram várias vulnerabilidades. A maioria foi corrigida, mas uma correção ainda está em curso.
A OpenAI diz também que evita castigar os modelos quando o raciocínio revela mau comportamento, para não os ensinar a escondê-lo. A empresa admite que modelos como o GPT-6 Astra já controlam melhor o que esse raciocínio mostra.
Para quem usa os serviços da OpenAI, a parte relevante é a vigilância externa. Aplica-se a usos com ferramentas dos modelos com capacidades críticas de cibersegurança, como o Astra. Os casos assinalados não seguem, em regra, para revisores humanos da empresa: quando possível, o sistema pausa a conversa e mostra informação ao utilizador, e as empresas clientes podem receber alertas para as suas equipas de segurança. Na API, só estão cobertos os pedidos com ferramentas feitos pela Responses API; a Chat Completions API fica de fora.
