File robots.txt adalah file teks sederhana yang terletak di server situs web Anda yang memandu perayap web atau bot tentang cara menavigasi dan merayapi laman situs Anda.
Sebagai bagian dari Robots Exclusion Protocol (REP), ini terutama berfungsi untuk mengelola lalu lintas perayap dan mencegah halaman atau bagian tertentu dari situs Anda diindeks oleh mesin pencari.
Dalam artikel ini:
Note
File robots.txt situs web Anda secara otomatis dibuat dan dikelola oleh Pixpa. Anda tidak dapat mengeditnya secara manual.
Pentingnya robots.txt
- Kontrol Atas Perayap Web: Ini memberi tahu perayap web halaman mana yang boleh dan tidak boleh mereka kunjungi, membantu Anda mengelola cara mesin telusur melihat situs Anda.
- Lindungi Informasi Sensitif: Ini dapat memblokir perayap mengakses halaman dengan informasi pribadi atau sensitif.
- Optimalkan Anggaran Perayapan: Dengan memblokir halaman yang tidak penting, ini memastikan mesin pencari fokus pada bagian terpenting situs Anda.
- Tingkatkan Kinerja Situs: Mengurangi jumlah halaman yang dirayapi dapat menurunkan beban server dan meningkatkan kinerja situs secara keseluruhan.
- Cegah Duplikat Konten: Ini membantu mencegah mesin pencari mengindeks konten duplikat, yang dapat meningkatkan peringkat pencarian situs Anda.
- Jaga Keamanan Situs: Ini dapat digunakan untuk memblokir akses ke area administratif dan aman di situs Anda.
- Tingkatkan Pengalaman Pengguna: Dengan mengelola akses perayap, ini memastikan bahwa pengguna menemukan konten yang paling relevan dan penting saat mereka menelusuri situs Anda.
Periksa robots.txt situs web Anda
Untuk membuka file robots.txt situs web Anda, ikuti langkah-langkah yang disebutkan di bawah ini:
- Buka browser web Anda (seperti Chrome, Firefox, atau Safari).
- Di bilah alamat, ketikkan URL situs web Anda diikuti dengan '/robots.txt' (tanpa tanda petik).
- Misalnya, jika URL situs web Anda adalah www.example.com, maka Anda perlu mengetik www.example.com/robots.txt untuk membuka filenya.
Arahan di dalam robots.txt
- Agen pengguna: Menentukan perayap web yang aturannya berlaku. Tanda bintang (
*) berarti aturan berlaku untuk semua crawler. - melarang: Memberi tahu crawler untuk tidak mengakses jalur URL tertentu.
- mengizinkan: Mengesampingkan a
Disallowarahan untuk mengizinkan akses ke jalur URL tertentu. - Peta Situs: Menentukan lokasi file peta situs, yang membantu mesin telusur memahami struktur situs Anda.