robots.txt 파일은 웹 크롤러나 봇에게 사이트 페이지 탐색 및 크롤링 방법을 안내하는 웹사이트 서버에 있는 간단한 텍스트 파일입니다.
REP(로봇 제외 프로토콜)의 일부로 주로 크롤러 트래픽을 관리하고 사이트의 특정 페이지나 섹션이 검색 엔진에 의해 색인화되는 것을 방지하는 역할을 합니다.
이 기사는 다음 주제들로 구성되어 있습니다 :
주의 사항
귀하의 웹사이트의 Robots.txt 파일은 Pixpa에 의해 자동으로 생성되고 관리됩니다. 수동으로 편집할 수는 없습니다.
robots.txt의 중요성
- 웹 크롤러 제어: 웹 크롤러에게 방문할 수 있는 페이지와 방문할 수 없는 페이지를 알려주므로 검색 엔진이 사이트를 보는 방식을 관리하는 데 도움이 됩니다.
- 민감한 정보 보호: 크롤러가 개인정보나 민감한 정보가 포함된 페이지에 접근하는 것을 차단할 수 있습니다.
- 크롤링 예산 최적화: 필수적이지 않은 페이지를 차단함으로써 검색 엔진이 사이트의 가장 중요한 부분에 집중할 수 있도록 합니다.
- 사이트 성능 향상: 크롤링되는 페이지 수를 줄이면 서버 부하가 줄어들고 전반적인 사이트 성능이 향상될 수 있습니다.
- 중복 콘텐츠 방지: 검색 엔진이 중복 콘텐츠를 색인화하는 것을 방지하여 사이트의 검색 순위를 높일 수 있습니다.
- 사이트 보안 유지: 사이트의 관리 및 보안 영역에 대한 액세스를 차단하는 데 사용할 수 있습니다.
- 사용자 경험 향상: 크롤러 액세스를 관리하면 사용자가 사이트를 검색할 때 가장 관련성이 높고 중요한 콘텐츠를 찾을 수 있습니다.
웹사이트의 robots.txt를 확인하세요.
웹사이트의 robots.txt 파일을 열려면 아래에 설명된 단계를 따르세요.
- 웹 브라우저(예: Chrome, Firefox, Safari)를 엽니다.
- 주소 표시줄에 웹사이트 URL 뒤에 ''를 입력하세요./로봇.txt' (인용없이).
- 예를 들어 웹사이트의 URL이 www.example.com이면 다음을 입력해야 합니다. www.example.com/robots.txt 파일을 엽니다.
robots.txt 내부 지시문
- 사용자 에이전트: 규칙이 적용되는 웹 크롤러를 지정합니다. 별표(
*)는 규칙이 모든 크롤러에 적용된다는 의미입니다. - 금지: 크롤러에게 특정 URL 경로에 액세스하지 않도록 지시합니다.
- 허용: 재정의
Disallow특정 URL 경로에 대한 액세스를 허용하는 지시어입니다. - 사이트 맵: 검색 엔진이 사이트 구조를 이해하는 데 도움이 되는 사이트맵 파일의 위치를 지정합니다.