robots.txt 파일 추가 또는 업데이트
이 문서에서는 호스팅되는 각 도메인에 대한 robots.txt 파일을 만들고, 편집하고, 업로드하고, 검증하는 방법을 설명합니다 Microsoft Dynamics 365 Commerce.
검색 엔진이 예상치 못하게 또는 의도치 않게 귀하의 사이트를 크롤링하면 "404 페이지를 찾을 수 없음" 오류가 대량으로 발생할 수 있습니다. 이러한 오류는 사이트가 존재하지 않는 페이지에 대한 모든 요청에 응답하므로 성능에 영향을 미칠 수 있습니다. 이 문제를 해결하려면 웹 크롤러가 사이트에서 관련 페이지만 찾도록 지시하는 robots.txt 파일이 항상 최신 상태이고 유효한지 도메인에 보관해야 합니다.
적용 대상
이 문서는 다음 구성에 적용됩니다.
- 버전: Commerce 10.0.16 이상
- 구성요소: 기업 대 소비자(B2C) 또는 기업 대 기업(B2B)
- 기능 영역: 상거래 웹사이트 성능
전제 조건
귀하는 Commerce 인스턴스의 시스템 관리자 입니다.
상황에 따라 컴퓨터에 robots.txt 파일을 만들었거나 사본을 다운로드했을 수 있습니다.
- 이전에 도메인에 robots.txt 파일을 업로드하지 않았다면 로봇 제외 표준에 따라 컴퓨터에 새 파일을 만드세요. 이 문서의 뒷부분에 있는 샘플 robots.txt 파일 을 시작 가리키다로 사용하세요.
- 이전에 도메인에 robots.txt 파일을 업로드한 적이 있다면 기존 파일을 다운로드 하세요.
완료 단계
robots.txt 파일을 편집하고 업로드하려면 따라와 다음 단계를 따르세요.
- robots.txt 파일의 로컬 복사본을 엽니다.
- 다음에 나오는 샘플 robots.txt 파일 에 있는 모든 Disallow 항목을 포함하도록 파일을 편집합니다.
- 로봇 제외 표준에 따라 파일이 올바르게 형식화되었는지 확인하세요.
- robots.txt 파일 업로드의 지침에 따라 사이트에 파일을 업로드하세요.
샘플 robots.txt 파일 내용
User-agent: *
Disallow: /signin
Disallow: /cart
Disallow: /*refiners=
Disallow: /*sorting=
Disallow: /*search?
Disallow: /*search=
Disallow: /*.woff
Disallow: /*.woff2
Disallow: /*skip=
유효성 검사
다음 방법을 사용하여 파일이 추가되었는지 확인하세요.
- 설명 또는 목적: 도메인에서 robots.txt 파일을 사용할 수 있는지 확인하세요.
- 실행 단계: 웹 브라우저에서 <your_domain>/robots.txt 페이지를 엽니다.
- 합격 결과: robots.txt 파일을 성공적으로 볼 수 있습니다.