O arquivo robots.txt é um arquivo de texto simples localizado no servidor do seu site que orienta os rastreadores da web ou bots sobre como navegar e rastrear as páginas do seu site.
Como parte do Protocolo de Exclusão de Robôs (REP), ele serve principalmente para gerenciar o tráfego do rastreador e evitar que páginas ou seções específicas do seu site sejam indexadas por mecanismos de pesquisa.
Neste artigo:
Observação
O arquivo Robots.txt do seu site é gerado e gerenciado automaticamente pela Pixpa. Você não pode editá-lo manualmente.
Importância do robots.txt
- Controle sobre rastreadores da Web: informa aos rastreadores da web quais páginas eles podem ou não visitar, ajudando você a gerenciar como os mecanismos de pesquisa veem seu site.
- Proteja informações confidenciais: pode impedir que rastreadores acessem páginas com informações privadas ou confidenciais.
- Otimize o orçamento de rastreamento: ao bloquear páginas não essenciais, garante que os motores de busca se concentrem nas partes mais importantes do seu site.
- Melhore o desempenho do site: reduzir o número de páginas rastreadas pode diminuir a carga do servidor e melhorar o desempenho geral do site.
- Evite conteúdo duplicado: ajuda a evitar que os mecanismos de pesquisa indexem conteúdo duplicado, o que pode melhorar as classificações de pesquisa do seu site.
- Manter a segurança do site: Pode ser usado para bloquear o acesso a áreas administrativas e seguras do seu site.
- Melhorar a experiência do usuário: ao gerenciar o acesso do rastreador, garante que os usuários encontrem o conteúdo mais relevante e importante quando pesquisarem seu site.
Verifique o robots.txt do seu site
Para abrir o arquivo robots.txt do seu site, siga os passos abaixo:
- Abra seu navegador da web (como Chrome, Firefox ou Safari).
- Na barra de endereço, digite o URL do seu site seguido de '/robôs.txt'(sem aspas).
- Por exemplo, se o URL do seu site for www.example.com, você precisará digitar www.example.com/robots.txt para abrir o arquivo.
Diretivas dentro do robots.txt
- Agente de usuário: especifica o rastreador da Web ao qual as regras se aplicam. Um asterisco (
*) significa que as regras se aplicam a todos os rastreadores. - desaprovar: instrui os rastreadores a não acessarem um caminho de URL específico.
- Permitir: Substitui um
Disallowdiretiva para permitir acesso a um caminho de URL específico. - Mapa do site: especifica a localização do arquivo de mapa do site, o que ajuda os mecanismos de pesquisa a entender a estrutura do seu site.