Robots.txt-filen er en simpel tekstfil, der er placeret på dit websteds server, og som guider webcrawlere eller bots til, hvordan de navigerer og crawler dit websteds sider.
Som en del af Robots Exclusion Protocol (REP) tjener den primært til at styre crawlertrafik og forhindre specifikke sider eller sektioner af dit websted i at blive indekseret af søgemaskiner.
I denne artikel:
Bemærk
Robots.txt-filen på dit websted genereres og administreres automatisk af Pixpa. Du kan ikke redigere det manuelt.
Vigtigheden af robots.txt
- Kontrol over webcrawlere: Det fortæller webcrawlere, hvilke sider de kan og ikke kan besøge, og hjælper dig med at administrere, hvordan søgemaskiner ser dit websted.
- Beskyt følsomme oplysninger: Det kan blokere crawlere fra at få adgang til sider med private eller følsomme oplysninger.
- Optimer crawlbudget: Ved at blokere ikke-essentielle sider sikrer det, at søgemaskinerne fokuserer på de vigtigste dele af dit websted.
- Forbedre webstedets ydeevne: Reduktion af antallet af crawlede sider kan sænke serverbelastningen og forbedre webstedets overordnede ydeevne.
- Undgå duplikeret indhold: Det hjælper med at forhindre søgemaskiner i at indeksere duplikeret indhold, hvilket kan forbedre dit websteds søgerangeringer.
- Oprethold webstedets sikkerhed: Det kan bruges til at blokere adgangen til administrative og sikre områder på dit websted.
- Forbedre brugeroplevelsen: Ved at administrere crawler-adgang sikrer det, at brugerne finder det mest relevante og vigtige indhold, når de søger efter dit websted.
Tjek dit websteds robots.txt
Følg nedenstående trin for at åbne robots.txt-filen på dit websted:
- Åbn din webbrowser (som Chrome, Firefox eller Safari).
- I adresselinjen skal du skrive webadressen på dit websted efterfulgt af '/robots.txt' (uden anførselstegn).
- For eksempel, hvis webadressen på dit websted er www.example.com, så skal du indtaste www.example.com/robots.txt for at åbne filen.
Direktiver inde i robots.txt
- Bruger-agent: Angiver den webcrawler, som reglerne gælder for. En stjerne (
*) betyder, at reglerne gælder for alle crawlere. - Forbyd: Beder crawlere om ikke at få adgang til en bestemt URL-sti.
- Tillad: Tilsidesætter en
Disallowdirektiv for at tillade adgang til en bestemt URL-sti. - Sitemap: Angiver placeringen af sitemapfilen, som hjælper søgemaskiner med at forstå strukturen på dit websted.