Bei der Datei robots.txt handelt es sich um eine einfache Textdatei auf dem Server Ihrer Website, die Webcrawlern oder Bots Anweisungen zur Navigation und zum Crawlen der Seiten Ihrer Site gibt.
Als Teil des Robots Exclusion Protocol (REP) dient es in erster Linie dazu, den Crawler-Verkehr zu verwalten und zu verhindern, dass bestimmte Seiten oder Abschnitte Ihrer Site von Suchmaschinen indiziert werden.
In diesem Artikel:
- Bedeutung von robots.txt
- Überprüfen Sie die robots.txt-Datei Ihrer Website
- Anweisungen von robots.txt
Hinweis
Die Robots.txt-Datei Ihrer Website wird automatisch von Pixpa generiert und verwaltet. Sie können sie nicht manuell bearbeiten.
Bedeutung von robots.txt
- Kontrolle über Webcrawler: Es teilt Webcrawlern mit, welche Seiten sie besuchen können und welche nicht, und hilft Ihnen dabei, zu verwalten, wie Suchmaschinen Ihre Site sehen.
- Schützen Sie sensible Informationen: Es kann Crawlern den Zugriff auf Seiten mit privaten oder vertraulichen Informationen verweigern.
- Crawl-Budget optimieren: Durch das Blockieren nicht unbedingt erforderlicher Seiten wird sichergestellt, dass sich die Suchmaschinen auf die wichtigsten Teile Ihrer Site konzentrieren.
- Verbessern Sie die Site-Leistung: Durch die Reduzierung der Anzahl gecrawlter Seiten kann die Serverlast gesenkt und die Gesamtleistung der Site verbessert werden.
- Verhindern Sie doppelten Inhalt: Es hilft zu verhindern, dass Suchmaschinen doppelte Inhalte indizieren, was das Suchranking Ihrer Site verbessern kann.
- Site-Sicherheit aufrechterhalten: Es kann verwendet werden, um den Zugriff auf administrative und sichere Bereiche Ihrer Site zu blockieren.
- Verbessern Sie die Benutzererfahrung: Durch die Verwaltung des Crawler-Zugriffs wird sichergestellt, dass Benutzer die relevantesten und wichtigsten Inhalte finden, wenn sie nach Ihrer Site suchen.
Überprüfen Sie die robots.txt-Datei Ihrer Website
Um die robots.txt-Datei Ihrer Website zu öffnen, befolgen Sie die unten aufgeführten Schritte:
- Öffnen Sie Ihren Webbrowser (z. B. Chrome, Firefox oder Safari).
- Geben Sie in der Adressleiste die URL Ihrer Website gefolgt von „/robots.txt' (ohne Anführungszeichen).
- Wenn die URL Ihrer Website beispielsweise www.example.com lautet, müssen Sie Folgendes eingeben: www.example.com/robots.txt um die Datei zu öffnen.
Anweisungen in robots.txt
- User-agent: Gibt den Webcrawler an, für den die Regeln gelten. Ein Sternchen (
*) bedeutet, dass die Regeln für alle Crawler gelten. - ablehnen: Weist Crawler an, nicht auf einen bestimmten URL-Pfad zuzugreifen.
- Erlauben: Überschreibt eine
DisallowDirektive, um den Zugriff auf einen bestimmten URL-Pfad zu erlauben. - Sitemap: Gibt den Speicherort der Sitemap-Datei an, die Suchmaschinen hilft, die Struktur Ihrer Site zu verstehen.