A OpenAI publicou informações sobre o GPTBot, seu novo rastreador da web.
O que é o GPTBot?
Este é o rastreador da Web do OpenAI. O OpenAI o usa para rastrear a web, consumir conhecimento para seus recursos de IA (por exemplo, ChatGPT) e fornecer respostas geradas por IA para perguntas (ou prompts ).
O token do agente do usuário do bot é “GPTBot”. Sua string completa de agente de usuário é: “Mozilla/5.0 AppleWebKit/537.36 (KHTML, como Gecko; compatível; GPTBot/1.0; +https://openai.com/gptbot)”.
Você pode usar o robots.txt para impedir que ele acesse seu site ou partes dele. Para impedir que o Bot acesse seu site, você pode adicionar o rastreador da web ao robots.txt do seu site:
User-agent: GPTBot
Disallow: /Para permitir que o rastreador web acesse apenas partes do seu site, você pode adicionar o token do bot ao robots.txt do seu site da seguinte forma:
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/Você pode ler a documentação no link.
A OpenAI também publicou os intervalos de IP que o rastreador usa. Ele lista apenas um, mas a probabilidade é que eles adicionem mais com o tempo.
Com a ferramenta, você pode impedir que ela rastreie seu site se não quiser que o OpenAI use seu conteúdo de forma alguma. Este é o mesmo protocolo que você usaria para bloquear GoogleBot, BingBot ou outros rastreadores da web. Essas empresas também estão procurando uma alternativa ao robots.txt para esses fins.
Não se esqueça que o Black Rat também está presente no YouTube, Twitter, Facebook e Instagram. Além disso, se você quer aprender ainda mais sobre marketing digital, não esquece de conferir o nosso fórum Black Rat.
