Файл robots.txt — це простий текстовий файл, розташований на сервері вашого веб-сайту, який допомагає веб-сканерам або ботам орієнтуватися в навігації та сканувати сторінки вашого сайту.
Як частина Протокола виключення роботів (REP), він в першу чергу служить для керування трафіком сканерів та запобігання індексації певних сторінок або розділів вашого сайту пошуковими системами.
У цій статті:
Примітка:
Файл Robots.txt вашого веб-сайту автоматично генерується та керується Pixpa. Ви не можете редагувати його вручну.
Важливість файлу robots.txt
- Контроль над веб-сканерами: Він повідомляє веб-сканерам, які сторінки вони можуть відвідувати, а які ні, допомагаючи вам керувати тим, як пошукові системи бачать ваш сайт.
- Захист конфіденційної інформації: Це може блокувати пошукові роботи від доступу до сторінок із приватною або конфіденційною інформацією.
- Оптимізація бюджету скануванняБлокуючи несуттєві сторінки, ви гарантуєте, що пошукові системи зосередяться на найважливіших частинах вашого сайту.
- Поліпшення продуктивності сайтуЗменшення кількості сканованих сторінок може знизити навантаження на сервер і покращити загальну продуктивність сайту.
- Запобігання дублікату контентуЦе допомагає запобігти індексації дубліката контенту пошуковими системами, що може покращити рейтинг вашого сайту в пошуку.
- Підтримуйте безпеку сайту: Його можна використовувати для блокування доступу до адміністративних та захищених областей вашого сайту.
- Покращення взаємодії з користувачемКеруючи доступом сканерів, ви гарантуєте, що користувачі знайдуть найрелевантніший та найважливіший контент під час пошуку на вашому сайті.
Перевірте файл robots.txt вашого вебсайту
Щоб відкрити файл robots.txt вашого веб-сайту, виконайте наведені нижче дії.
- Відкрийте веббраузер (наприклад, Chrome, Firefox або Safari).
- В адресному рядку введіть URL-адресу вашого веб-сайту, а потім «/robots.txt' (без лапок).
- Наприклад, якщо URL-адреса вашого веб-сайту — www.example.com, тоді вам потрібно ввести www.example.com/robots.txt щоб відкрити файл.
Директиви всередині robots.txt
- Користувач-агент: Визначає веб-сканер, до якого застосовуються правила. Зірочка (
*) означає, що правила застосовуються до всіх сканерів. - забороняти: Повідомляє сканерам не звертатися до певного URL-шляху.
- Дозволити: Перевизначає
Disallowдиректива для дозволу доступу до певного URL-шляху. - Карта сайту: Вказує розташування файлу карти сайту, що допомагає пошуковим системам зрозуміти структуру вашого сайту.