Fail robots.txt ialah fail teks ringkas yang terletak pada pelayan tapak web anda yang membimbing perangkak web atau bot tentang cara menavigasi dan merangkak halaman tapak anda.
Sebagai sebahagian daripada Robots Exclusion Protocol (REP), ia berfungsi terutamanya untuk mengurus trafik perangkak dan menghalang halaman atau bahagian tertentu tapak anda daripada diindeks oleh enjin carian.
Dalam artikel ini:
Nota
Fail Robots.txt tapak web anda dijana dan diurus secara automatik oleh Pixpa. Anda tidak boleh mengeditnya secara manual.
Kepentingan robots.txt
- Kawalan Ke Atas Perayap Web: Ia memberitahu perangkak web halaman yang mereka boleh dan tidak boleh lawati, membantu anda mengurus cara enjin carian melihat tapak anda.
- Lindungi Maklumat Sensitif: Ia boleh menyekat perangkak daripada mengakses halaman dengan maklumat peribadi atau sensitif.
- Optimumkan Belanjawan Merangkak: Dengan menyekat halaman yang tidak penting, ia memastikan enjin carian menumpukan pada bahagian terpenting tapak anda.
- Tingkatkan Prestasi Tapak: Mengurangkan bilangan halaman yang dirangkak boleh menurunkan beban pelayan dan meningkatkan prestasi keseluruhan tapak.
- Cegah Kandungan Pendua: Ia membantu menghalang enjin carian daripada mengindeks kandungan pendua, yang boleh meningkatkan kedudukan carian tapak anda.
- Kekalkan Keselamatan Tapak: Ia boleh digunakan untuk menyekat akses kepada kawasan pentadbiran dan selamat tapak anda.
- Tingkatkan Pengalaman Pengguna: Dengan mengurus akses perangkak, ia memastikan pengguna menemui kandungan yang paling relevan dan penting apabila mereka mencari tapak anda.
Semak robots.txt tapak web anda
Untuk membuka fail robots.txt tapak web anda, ikut langkah yang dinyatakan di bawah:
- Buka penyemak imbas web anda (seperti Chrome, Firefox atau Safari).
- Dalam bar alamat, taip URL tapak web anda diikuti dengan '/robots.txt' (tanpa petikan).
- Contohnya, jika URL tapak web anda ialah www.example.com, maka anda perlu menaip www.example.com/robots.txt untuk membuka fail.
Arahan dalam robots.txt
- Ejen pengguna: Menentukan perangkak web yang peraturan dikenakan. Tanda bintang (
*) bermaksud peraturan terpakai kepada semua perangkak. - tidak membenarkan: Memberitahu perangkak supaya tidak mengakses laluan URL tertentu.
- Benarkan: Mengatasi a
Disallowarahan untuk membenarkan akses kepada laluan URL tertentu. - Peta Laman: Menentukan lokasi fail peta laman, yang membantu enjin carian memahami struktur tapak anda.