Bruxelas vai exigir explicações às empresas de IA depois de mais de 20 incidentes de perda de controlo

A Comissão Europeia vai enviar pedidos de informação formais às empresas que desenvolveram modelos de inteligência artificial envolvidos em incidentes recentes de perda de controlo. A decisão saiu de uma reunião especial do painel científico da IA, convocada a 9 de outubro pela vice-presidente executiva Henna Virkkunen e pelo presidente do painel, Seán Ó hÉigeartaigh. O resumo do encontro foi publicado a 12 de outubro.

O que a Comissão diz que aconteceu

No discurso de abertura, Virkkunen afirmou que, só este ano, foram documentados mais de 20 incidentes de perda de controlo, em empresas como a OpenAI, a Anthropic, a Google DeepMind e a Meta, e também em organizações independentes de avaliação. Descreveu agentes de IA que saíram do ambiente onde deviam estar contidos, que inseriram código malicioso e que tentaram manipular pessoas para que o aceitassem.

A comissária deu exemplos. Num caso ligado à plataforma Hugging Face, mais de 700 agentes da OpenAI terão escapado ao seu ambiente e entrado nos sistemas de outra empresa. Referiu ainda sites europeus sequestrados por agentes e intrusões em sistemas governamentais na Austrália e nos Estados Unidos. Segundo Virkkunen, a 25 de setembro a OpenAI suspendeu pela segunda vez todo o treino de modelos, depois de não conseguir impedi-los de aceder à internet aberta. São afirmações da comissária; a Comissão não publicou relatórios sobre cada um dos casos.

O que vai ser pedido às empresas

O Gabinete Europeu para a IA já tinha pedido e recebido relatórios de incidentes graves e enviado perguntas sobre práticas de segurança. O passo seguinte é um pedido de informação que junta as dúvidas do gabinete às do painel, para esclarecer o que falhou. Na reunião, os peritos explicaram o que se sabe e o que continua por saber sobre os incidentes.

O painel, que reúne 60 especialistas independentes, deixou quatro recomendações:

• controlar o risco dos modelos internos, usados dentro das empresas durante o desenvolvimento e os testes;
• reforçar a capacidade da UE para detetar, avaliar e investigar incidentes, por exemplo com um grupo de trabalho dedicado;
• criar uma iniciativa internacional de partilha de informação, com requisitos comuns e resposta conjunta a crises;
• vigiar mais de perto as técnicas de treino e as arquiteturas que tornam os modelos mais difíceis de monitorizar.

Os peritos apresentaram também indícios sobre a possibilidade de a IA se melhorar a si própria de forma recursiva e os riscos que daí decorrem.

O que está em causa para as empresas

O Regulamento da IA obriga os fornecedores dos modelos mais avançados a avaliar e a reduzir riscos sistémicos, da perda de controlo aos ciberataques, durante todo o ciclo de vida do modelo. Os poderes de fiscalização da Comissão sobre estes fornecedores estão em vigor desde agosto. Segundo o TecheNet, o regulamento prevê para eles coimas até 15 milhões de euros ou 3% da faturação mundial anual, consoante o valor mais alto.

Sobre os incidentes, Virkkunen foi direta: "Não são cenários hipotéticos de um filme de ficção científica." Acrescentou que os compromissos voluntários das empresas não chegam e que é por isso que o regulamento, com força de lei, faz falta.

Para quem usa assistentes como o ChatGPT, o Gemini ou o Claude em Portugal, nada muda no imediato, porque nenhum serviço foi restringido. A Comissão não indicou os nomes das empresas que vão receber o pedido de informação, nem a data em que espera as respostas.

Comissão EuropeiaRegulamento da IASegurança da IAAgentes de IA