robots.txt-tiedosto on verkkosivustosi palvelimella sijaitseva yksinkertainen tekstitiedosto, joka opastaa hakurobotteja eli botteja sivustosi sivujen navigoinnissa ja indeksoinnissa.
Osana Robots Exclusion Protocol (REP) -protokollaa se ensisijaisesti hallitsee indeksointirobottien liikennettä ja estää tiettyjä sivustosi sivuja tai osioita indeksoimasta hakukoneita.
Tässä artikkelissa:
- robots.txt-tiedoston tärkeys
- Tarkista verkkosivustosi robots.txt-tiedosto
- robots.txt-tiedoston direktiivit
Huomautuksia
Verkkosivustosi robots.txt-tiedosto luodaan ja sitä hallinnoi Pixpa automaattisesti. Et voi muokata sitä manuaalisesti.
robots.txt-tiedoston tärkeys
- Verkkoindeksoijien hallintaSe kertoo verkkoindeksoijille, millä sivuilla ne voivat ja eivät voi vierailla, mikä auttaa sinua hallitsemaan sitä, miten hakukoneet näkevät sivustosi.
- Suojaa arkaluonteiset tiedotSe voi estää hakurobotteja pääsemästä sivuille, joilla on yksityisiä tai arkaluonteisia tietoja.
- Optimoi indeksointibudjettiEstämällä ei-välttämättömät sivut se varmistaa, että hakukoneet keskittyvät sivustosi tärkeimpiin osiin.
- Paranna sivuston suorituskykyäIndeksoitujen sivujen määrän vähentäminen voi vähentää palvelimen kuormitusta ja parantaa sivuston yleistä suorituskykyä.
- Estä päällekkäinen sisältöSe auttaa estämään hakukoneita indeksoimasta päällekkäistä sisältöä, mikä voi parantaa sivustosi sijoitusta hakutuloksissa.
- Ylläpidä sivuston turvallisuuttaSitä voidaan käyttää estämään pääsy sivustosi hallinnollisiin ja suojattuihin osiin.
- Paranna käyttökokemustaIndeksointirobotin käyttöoikeuksien hallinta varmistaa, että käyttäjät löytävät olennaisimman ja tärkeimmän sisällön etsiessään sivustoasi.
Tarkista verkkosivustosi robots.txt-tiedosto
Avaa verkkosivustosi robots.txt-tiedosto seuraavasti:
- Avaa verkkoselaimesi (kuten Chrome, Firefox tai Safari).
- Kirjoita osoiteriville verkkosivustosi URL-osoite ja sen perään '/robots.txt' (ilman lainausmerkkejä).
- Jos verkkosivustosi URL-osoite on esimerkiksi www.example.com, sinun on kirjoitettava www.esimerkki.com/robots.txt avataksesi tiedoston.
robots.txt-tiedoston sisällä olevat direktiivit
- Käyttäjä agentti: Määrittää verkkoindeksoijan, johon säännöt koskevat. Tähti (
*) tarkoittaa, että säännöt koskevat kaikkia indeksoijia. - Estä: Ohjaa hakurobotteja olemaan käyttämättä tiettyä URL-polkua.
- allow: Ohittaa a:n
Disallowdirektiivi, joka sallii pääsyn tiettyyn URL-polkuun. - Sivukartta: Määrittää sivustokarttatiedoston sijainnin, mikä auttaa hakukoneita ymmärtämään sivustosi rakennetta.