Plik robots.txt to prosty plik tekstowy znajdujący się na serwerze Twojej witryny, który zawiera wskazówki dla robotów indeksujących lub botów, jak nawigować i indeksować strony Twojej witryny.
Jako część protokołu Robots Exclusion Protocol (REP), służy on przede wszystkim do zarządzania ruchem robotów indeksujących i zapobiegania indeksowaniu określonych stron lub sekcji witryny przez wyszukiwarki.
W tym artykule:
Note
Plik Robots.txt Twojej witryny jest automatycznie generowany i zarządzany przez Pixpa. Nie można go edytować ręcznie.
Znaczenie pliku robots.txt
- Kontrola nad robotami indeksującymi: informuje roboty indeksujące, które strony mogą, a których nie mogą odwiedzać, pomagając Ci zarządzać sposobem, w jaki wyszukiwarki widzą Twoją witrynę.
- Chroń poufne informacje: Może blokować robotom dostęp do stron zawierających informacje prywatne lub wrażliwe.
- Zoptymalizuj budżet indeksowania: Blokując niepotrzebne strony, wyszukiwarki skupiają się na najważniejszych częściach Twojej witryny.
- Popraw wydajność witryny: Zmniejszenie liczby przeszukiwanych stron może zmniejszyć obciążenie serwera i poprawić ogólną wydajność witryny.
- Zapobiegaj powielaniu treści: pomaga zapobiegać indeksowaniu przez wyszukiwarki zduplikowanych treści, co może poprawić rankingi Twojej witryny w wynikach wyszukiwania.
- Utrzymuj bezpieczeństwo witryny: Można go używać do blokowania dostępu do administracyjnych i bezpiecznych obszarów witryny.
- Popraw wrażenia użytkownika: zarządzając dostępem robotów, zapewnia, że użytkownicy znajdą najbardziej odpowiednią i najważniejszą treść podczas wyszukiwania Twojej witryny.
Sprawdź plik robots.txt swojej witryny
Aby otworzyć plik robots.txt swojej witryny, wykonaj poniższe czynności:
- Otwórz przeglądarkę internetową (np. Chrome, Firefox lub Safari).
- W pasku adresu wpisz adres URL swojej witryny, a następnie „/roboty.txt' (bez cytatów).
- Na przykład, jeśli adres URL Twojej witryny to www.example.com, musisz wpisać www.example.com/robots.txt aby otworzyć plik.
Dyrektywy w pliku robots.txt
- Agent użytkownika: Określa robota sieciowego, do którego mają zastosowanie reguły. Gwiazdka (
*) oznacza, że reguły dotyczą wszystkich robotów. - odrzucać: Informuje roboty indeksujące, aby nie uzyskiwały dostępu do określonej ścieżki URL.
- Dopuszczać: Zastępuje a
Disallowdyrektywa zezwalająca na dostęp do określonej ścieżki URL. - Preferencje dotyczące: określa lokalizację pliku mapy witryny, który pomaga wyszukiwarkom zrozumieć strukturę witryny.