Opt-out de treino de IA no robots.txt: Google, Microsoft, OpenAI e Anthropic prometem respeitar sinal único, que ainda é rascunho

Google, Microsoft, OpenAI e Anthropic anunciaram em 30 de outubro que vão respeitar um único opt-out de treino de IA no robots.txt, o arquivo que os sites já usam para orientar robôs de busca. A ideia é que uma só regra permita a um site dizer que não quer seu conteúdo usado para treinar modelos de IA generativa. Hoje, segundo o The Next Web, quem quer recusar precisa escrever regras separadas para o robô de cada empresa.

Mas há ressalvas importantes: a proposta ainda é um rascunho sem aval da IETF, a entidade que define padrões da internet, nenhuma das quatro empresas respeita o sinal ainda e cada uma tem seu próprio prazo. Veja como funciona e o que muda para quem publica na web.

Como funciona o opt-out de treino de IA no robots.txt

O mecanismo vem de um rascunho (Internet-Draft) escrito por Kevin Kelley, da Anthropic, e publicado na IETF na sexta-feira, 30. Segundo o PPC Land, no mesmo dia Google, OpenAI e Microsoft publicaram textos anunciando apoio.

Em vez de citar o nome de um robô na linha User-Agent, o site cita um “policy token” chamado __usage_ai-training e usa as regras Disallow e Allow de sempre. O exemplo do próprio rascunho bloqueia o site inteiro para treino e libera só a pasta do kit de imprensa:

  • User-Agent: __usage_ai-training
  • Disallow: /
  • Allow: /press-kit/

Segundo o rascunho, isso expressa uma preferência contra o uso em treino de IA em todas as páginas, menos nas que ficam em /press-kit/.

Um detalhe que pega muita gente

O PPC Land destaca uma regra do rascunho: grupos com User-Agent: * (o curinga que vale para todos os robôs) não contam como preferência sobre treino. Ou seja, um site que hoje bloqueia todos os robôs com o curinga não disse nada sobre treino de IA, segundo o texto. Para manifestar a preferência, é preciso citar o token explicitamente.

Quando cada empresa promete começar

Nenhuma das quatro respeita o sinal hoje. Os prazos abaixo são os que cada empresa declarou, segundo o The Next Web e o PPC Land:

  • Anthropic: Kelley escreveu que a empresa já começou a implementar o suporte, mas não deu data para estar no ar. “Vai levar algum tempo para adicionarmos suporte em nossos serviços”, afirmou.
  • OpenAI: diz que pretende implementar o sinal “nos próximos meses”. Os controles atuais, como o robô GPTBot, continuam valendo.
  • Google: diz que pretende dar suporte em 2027; a documentação de robôs da empresa fala em “início de 2027”.
  • Microsoft: diz que vai respeitar as novas preferências a partir de 1º de fevereiro de 2027, substituindo as tags NoArchive e NoCache, usadas desde 2023.

A Meta não está entre as que se comprometeram. Segundo a The Verge, citada pelo The Next Web, Andy Stone, da Meta, defendeu um sinal comum no X, mas não disse se a Meta vai respeitá-lo.

Diferenças entre Google e Microsoft

Segundo o The Next Web, o Google vai tratar o uso do token, quando o site não mencionar o Google-Extended (o controle de treino de IA do próprio Google), como um bloqueio do Google-Extended. O PPC Land observa que, pela documentação do Google, o Google-Extended também cobre o uso de páginas para embasar respostas do Gemini, a chamada fundamentação (grounding), quando a IA consulta páginas ao vivo. A leitura é do PPC Land; o post do Google não trata desse caso.

A Microsoft criou uma configuração separada, por página, para a fundamentação. Ela afirma que as novas preferências “não estabelecem acordos de licenciamento nem de pagamento” e que bloquear a fundamentação reduz bastante a visibilidade do conteúdo nas respostas de IA. Segundo o PPC Land, sites que usam NoArchive ou NoCache deixam de ter essas tags lidas como opt-out de IA pela Microsoft depois de 1º de março de 2027.

O que o sinal não faz

  • Não é padrão oficial: o rascunho é uma submissão individual. O datatracker da IETF diz que ele não tem endosso da IETF nem status formal no processo de padronização.
  • É voluntário: o próprio texto da OpenAI fala em “esforço voluntário”, e o rascunho não tem mecanismo para obrigar ninguém a cumprir.
  • É uma preferência, não uma ordem: segundo o rascunho, o token expressa como o site quer que o conteúdo seja usado, e não controla o que os robôs podem acessar. Acordos privados entre um site e uma empresa de IA podem se sobrepor a ele.
  • Não desfaz coletas passadas: pelo texto, vale a preferência registrada no robots.txt no momento em que o conteúdo foi coletado. O que já foi usado em treino não é afetado.
  • Não muda o ranking: segundo o PPC Land, o sinal não altera a posição das páginas nos resultados do Google ou do Bing.

O que muda para quem tem site

Por enquanto, nada na prática, já que nenhuma empresa lê o token ainda. Quem quiser se preparar pode, como orientação geral nossa, acompanhar as atualizações prometidas por Google e OpenAI, manter os bloqueios específicos que já usa (como GPTBot ou Google-Extended) e testar a nova regra em um robots.txt de homologação antes de publicar. A Microsoft é a única com calendário fechado: segundo o PPC Land, a transição abre no Bing Webmaster Tools em 15 de dezembro de 2026, as preferências passam a valer em 1º de fevereiro de 2027, e as tags NoArchive e NoCache deixam de ser lidas em 1º de março de 2027.

Também segundo o The Next Web, o Google afirma que a proposta é coerente com o Código de Prática da União Europeia para IA de uso geral.

Leia também: Anthropic, dona do Claude, fixa IPO entre US$ 70 e US$ 78 por ação e pode valer US$ 1,4 trilhão, Marco Legal da IA e regras para big techs: governo quer aprovar até dezembro, diz O Globo; veja o que cada projeto prevê e Comandos ocultos em petições: Fantástico relata 83 casos de tentativa de enganar a IA da Justiça. Veja todas as matérias do tema em Inteligência artificial: modelos, empresas, segurança e regras.

Perguntas frequentes

O opt-out de treino de IA já funciona?

Não. As quatro empresas prometeram respeitar o sinal, mas nenhuma o lê ainda. A Microsoft fala em 1º de fevereiro de 2027, o Google em 2027, a OpenAI nos “próximos meses”, e a Anthropic não deu data.

É um padrão oficial da internet?

Não. É um rascunho individual na IETF, sem endosso da entidade nem status formal de padrão.

Bloquear todos os robôs com User-Agent: * já basta?

Segundo o rascunho, não. O curinga não conta como preferência sobre treino de IA; é preciso citar o token __usage_ai-training.

O sinal apaga o que já foi usado para treinar IA?

Não. Ele não vale para coletas e treinos já feitos.

Usar o token derruba meu site no Google?

Segundo o PPC Land, o sinal não altera o ranking no Google nem no Bing. No caso do Google, porém, o PPC Land avalia que ele pode tirar o site das respostas do Gemini que citam páginas.

Imagem da capa: Belbury/Wikimedia Commons (domínio público), ilustrativa.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *