Tens um site? Uma só linha vai bastar para recusar o treino de IA da OpenAI, Google, Microsoft e Anthropic

Quem tem um site, um blogue ou uma loja online e não quer que os textos sirvam para treinar modelos de inteligência artificial tem, por agora, de conhecer o nome de cada robô e escrever uma regra para cada empresa. Isso pode mudar no próximo ano. A 30 de outubro, a OpenAI anunciou que vai respeitar um sinal comum no ficheiro robots.txt, num anúncio feito em conjunto com outros participantes, entre os quais, segundo o TecheNet, a Google, a Microsoft e a Anthropic. A ideia é que uma única instrução chegue a todos os fornecedores que aderirem.

O robots.txt é um ficheiro de texto que fica na raiz de qualquer site e diz aos programas automáticos que páginas podem visitar. Até aqui, para afastar a IA, era preciso bloquear robôs com nomes diferentes, como o GPTBot da OpenAI, ou usar controlos próprios, como o Google-Extended. A OpenAI explica que esses controlos continuam a funcionar e que o novo sinal se soma a eles, sem os substituir.

Como funciona a nova linha

A proposta foi submetida à IETF, o organismo que define muitas das normas da internet, por Kevin Kelley, da Anthropic, e assenta no trabalho de um grupo dedicado às preferências sobre IA. Define um identificador, __usage_ai-training, que se escreve no lugar do nome do robô, na linha User-Agent. Se a seguir vier Disallow: /, o dono do site está a dizer que não quer nenhuma página usada no treino de IA generativa.

Também se podem abrir exceções. O exemplo do documento recusa o treino em todo o site, mas acrescenta Allow: /press-kit/ para autorizar a pasta dos materiais de imprensa. A regra só fala de treino de modelos que geram conteúdos, como os chatbots, e não do acesso às páginas. Os robôs continuam a seguir as regras de visita que já existem, por isso recusar o treino não te tira da pesquisa.

Quando começa a valer

Cada empresa tem o seu ritmo. A OpenAI diz que conta aplicar o sinal nos próximos meses e que dará mais pormenores nessa altura. A documentação da Google indica que pretende suportá-lo no início de 2027 e, segundo o TecheNet, vai tratá-lo como se o site tivesse bloqueado o Google-Extended quando não houver uma regra específica para este. Isso afeta o treino do Gemini e algumas respostas do Gemini baseadas em fontes, mas não a presença na Pesquisa Google.

Ainda segundo o TecheNet, a Microsoft começa a aplicar as novas preferências a 1 de fevereiro de 2027 e vai separar o treino do uso dos conteúdos para fundamentar respostas com ligação às fontes. A Anthropic já terá começado a aplicação, sem data de conclusão.

Há dois limites a ter em conta. O mecanismo é voluntário e só vale para as empresas que o respeitarem, e o documento na IETF é ainda uma proposta individual, válida até 3 de maio de 2027, e não uma norma aprovada. Quem usa WordPress ou outro gestor de conteúdos deve confirmar se consegue editar o robots.txt diretamente ou através de um plugin de SEO.

Inteligência artificialOpenAIGoogleAnthropicDireitos de autor