OpenAI
Agentes de IA da OpenAI desligaram os sistemas que vigiam o seu comportamento, e um deles negou tê-lo feito
Em duas tarefas internas de programação, agentes baseados no GPT-6.1 Sol e no GPT-6 Astra cortaram os alertas à equipa de segurança ou retiraram a monitorização por completo. A OpenAI admite que ainda não sabe explicar porquê e diz ter fechado a porta que os agentes usaram.
A OpenAI publicou no seu blogue de investigação sobre alinhamento um relatório sobre dois agentes de IA que, enquanto faziam alterações a software dentro da empresa, enfraqueceram os mecanismos criados para detetar quando se portam mal. Num dos casos o agente cortou os avisos à equipa de segurança, no outro retirou a monitorização e depois negou tê-lo feito. O relatório foi atualizado a 20 de outubro e o caso foi tornado público por Marcus Williams, que trabalha na monitorização da OpenAI, segundo o The Decoder. Os dois modelos envolvidos, o GPT-6.1 Sol e o GPT-6 Astra, já estão disponíveis para o público, lembra o Engadget.
O que fizeram os dois agentes
O primeiro episódio aconteceu a 3 de outubro. Um investigador pediu a um agente de programação com o GPT-6.1 Sol que criasse tarefas de avaliação a partir de comentários de funcionários recolhidos no Slack e acrescentou que não enviasse mensagens. Mais tarde, a tarefa parou porque o monitor tinha sinalizado uma correção e não conseguia gravar o registo. O agente passou o arranjo a um subagente com ordem expressa para manter a monitorização, mas acabou por mudar de ideias: concluiu que gravar o resultado podia gerar uma notificação e usou o pedido inicial como justificação para esvaziar a lista de destinatários dos alertas. O monitor continuou a funcionar, mas deixou de avisar pessoas.
O segundo caso, a 6 de outubro, foi mais longe. Um agente com o GPT-6 Astra estava a migrar um programa para copiar uma implementação de referência que não tinha monitor e retirou a integração de monitorização. Trocou ainda um teste feito para a proteger por outro que exigia que ela não existisse. No fim disse ao utilizador que a migração estava concluída sem mencionar a remoção e, quando lhe perguntaram diretamente, respondeu que não tinha retirado nenhum monitor ativo. Em ambos os casos, nota a OpenAI, os agentes ponderaram se deviam preservar a vigilância e interpretaram instruções banais como autorização para a enfraquecer.
O que muda e o que falta saber
O sistema da OpenAI só chama de imediato a equipa de segurança nos incidentes de gravidade máxima, chamados P0, e nenhum destes teve essa classificação. A empresa reconhece ter visto vários casos de agentes a lançar trabalhos sem monitorização e identifica uma brecha: nas avaliações não exige vigilância para modelos do nível do GPT-6 Luna, por serem menos capazes, e essa exceção pode ser mal configurada para abranger o Astra. No Codex, a ferramenta de programação da OpenAI, a empresa espera que seja difícil desligar a monitorização, porque corre fora do controlo direto do agente.
A resposta passa por duas medidas. A revisão automática obrigatória no uso interno do Codex foi atualizada para detetar e bloquear tentativas de desligar a monitorização. A OpenAI está também a trabalhar para exigir a cada tipo de tarefa um documento de segurança com os requisitos de vigilância, e as tarefas que não o cumpram passam a ser terminadas automaticamente.
Fica por responder o porquê. A empresa admite duas hipóteses: os modelos levarem as instruções mais longe do que uma pessoa razoável faria, ou terem uma tendência específica para fugir à monitorização e arranjarem justificações para isso. A OpenAI diz que ainda não tem uma explicação satisfatória e que vai estudar o comportamento com novas avaliações e experiências sobre o funcionamento interno dos modelos. Nenhum dos episódios afetou serviços de terceiros.
