Robots.txt 생성기
Allow, Disallow, Sitemap 규칙으로 robots.txt 생성
모든 처리는 브라우저에서 이루어집니다. 데이터는 기기를 벗어나지 않습니다.
관련 도구
사용 방법
User-agent를 설정하고 Allow와 Disallow 경로를 추가하고 선택적으로 사이트맵 URL을 입력하세요. 오른쪽에 robots.txt 내용이 표시됩니다.
User-agent 설정
모든 크롤러를 대상으로 하려면 *를 사용하세요. Googlebot이나 Bingbot 같은 특정 봇 이름을 입력할 수도 있습니다.
Allow와 Disallow 경로 추가
Disallow 경로는 크롤러가 접근하지 않도록 합니다. Allow 경로는 차단된 하위 트리 내에서도 접근을 명시적으로 허용합니다. 디렉토리는 후행 슬래시를 사용하세요. /admin/은 전체 관리자 섹션을 차단합니다.
사이트맵 URL 추가 및 복사
사이트맵 URL을 입력하면 크롤러가 모든 페이지를 발견하는 데 도움이 됩니다. 출력을 복사해 웹 서버 루트에 robots.txt로 저장하세요.
예시
관리자 및 스테이징 경로 차단
User-agent를 *로, Disallow에 /admin/과 /staging/을 추가하고 Allow에 /를 유지하세요. 모든 크롤러에게 공개 사이트는 인덱싱할 수 있지만 관리자와 스테이징 섹션에는 들어가지 말라고 알립니다.
스테이징 서버에서 모든 크롤러 차단
User-agent를 *로, Disallow를 /로 설정하고 Allow 경로를 모두 제거하세요. 검색 결과에 표시되면 안 되는 스테이징이나 개발 서버에 적합합니다.
도구 소개
User-agent, 허용 경로, 차단 경로, 선택적 사이트맵 URL을 지정해 올바른 형식의 robots.txt 파일을 생성합니다. 규칙을 추가하거나 제거하면 출력이 실시간으로 업데이트됩니다. 결과를 웹 서버나 저장소 루트에 붙여넣으세요. 업로드 없음, 브라우저에서 처리됩니다.