Het robots.txt-bestand is een eenvoudig tekstbestand op de server van uw website dat webcrawlers of bots begeleidt bij het navigeren en crawlen van de pagina's van uw site.
Als onderdeel van het Robots Exclusion Protocol (REP) dient het voornamelijk om het crawlerverkeer te beheren en te voorkomen dat specifieke pagina's of secties van uw site door zoekmachines worden geïndexeerd.
In dit artikel:
Note
Het Robots.txt-bestand van uw website wordt automatisch gegenereerd en beheerd door Pixpa. U kunt het niet handmatig bewerken.
Belang van robots.txt
- Controle over webcrawlers: het vertelt webcrawlers welke pagina's ze wel en niet kunnen bezoeken, zodat u kunt beheren hoe zoekmachines uw site zien.
- Bescherm gevoelige informatie: Het kan voorkomen dat crawlers toegang krijgen tot pagina's met privé- of gevoelige informatie.
- Optimaliseer het crawlbudget: Door niet-essentiële pagina's te blokkeren, zorgt u ervoor dat zoekmachines zich concentreren op de belangrijkste delen van uw site.
- Verbeter de siteprestaties: Het verminderen van het aantal gecrawlde pagina's kan de serverbelasting verlagen en de algehele siteprestaties verbeteren.
- Voorkom dubbele inhoud: Het helpt voorkomen dat zoekmachines dubbele inhoud indexeren, wat de zoekresultaten van uw site kan verbeteren.
- Onderhoud van de sitebeveiliging: Het kan worden gebruikt om de toegang tot administratieve en beveiligde delen van uw site te blokkeren.
- Verbeter de gebruikerservaring: door de crawlertoegang te beheren, zorgt het ervoor dat gebruikers de meest relevante en belangrijke inhoud vinden wanneer ze naar uw site zoeken.
Controleer de robots.txt van uw website
Om het robots.txt-bestand van uw website te openen, volgt u de onderstaande stappen:
- Open uw webbrowser (zoals Chrome, Firefox of Safari).
- Typ in de adresbalk de URL van uw website gevolgd door '/robots.txt' (zonder citaten).
- Als de URL van uw website bijvoorbeeld www.example.com is, moet u typen www.example.com/robots.txt om het bestand te openen.
Richtlijnen binnen robots.txt
- Gebruikersagent: Specificeert de webcrawler waarop de regels van toepassing zijn. Een sterretje (
*) betekent dat de regels van toepassing zijn op alle crawlers. - weigeren: vertelt crawlers dat ze geen toegang mogen krijgen tot een specifiek URL-pad.
- Allow: Overschrijft a
Disallowrichtlijn om toegang tot een specifiek URL-pad toe te staan. - Sitemap: specificeert de locatie van het sitemapbestand, waardoor zoekmachines de structuur van uw site kunnen begrijpen.