AI 검색 크롤러 접근 설정 가이드

크롤러 이름이 비슷해도 역할은 다릅니다

robots.txt와 noindex는 목적이 다릅니다

robots.txt의 Disallow는 크롤러가 특정 URL을 요청하지 않도록 안내합니다. 하지만 다른 페이지가 그 URL을 링크하면 내용 없이 주소만 검색결과에 나타날 수 있습니다. Google도 robots.txt를 비밀정보 보호 수단으로 사용하지 말라고 안내합니다.

검색결과에서 페이지를 제외하려면 크롤러가 페이지에 접근해 noindex 메타 태그나 X-Robots-Tag를 읽을 수 있어야 합니다. 개인정보나 내부 문서는 robots 규칙이 아니라 로그인과 서버 권한으로 보호해야 합니다.

설정은 열려 있는데도 크롤링이 실패하는 이유

• 방화벽과 봇 차단Cloudflare나 호스팅 보안 규칙이 정상 크롤러까지 403·429로 막는지 확인합니다.
• 자바스크립트 의존초기 HTML에 제목과 핵심 본문이 없고 실행 오류까지 발생하면 콘텐츠 확인이 불안정해질 수 있습니다.
• 로그인·쿠키 요구공개 진료 정보가 로그인이나 동의 화면 뒤에 있으면 일반 크롤러가 읽기 어렵습니다.
• 잘못된 상태 코드정상 페이지가 404·5xx를 반환하거나 없는 페이지가 200을 반환하지 않는지 점검합니다.
• noindex·nosnippet템플릿이나 플러그인이 공개 페이지에 의도치 않은 제한을 넣지 않았는지 확인합니다.

병원 사이트에서 먼저 열어야 할 페이지

홈, 병원 소개, 의료진, 진료 분야, 오시는 길, 상담 안내와 정보성 글은 공개 검색과 AI 답변에 활용되길 원하는 대표 페이지입니다. 반대로 관리자, 예약 확인, 사용자 정보, 내부 검색 결과와 중복 매개변수 URL은 공개 범위를 별도로 관리해야 합니다.

전체 사이트를 일괄 허용하거나 차단하기 전에 공개 페이지와 보호 페이지를 분류하세요. 크롤러 설정은 개인정보 보호를 대신하지 않으며 공개해도 되는 내용에만 적용해야 합니다.

배포 후 검증 순서

• robots.txt 확인실제 도메인의 /robots.txt에서 크롤러별 규칙과 오타를 확인합니다.
• 응답 검사대표 URL의 HTTP 상태와 robots 메타·X-Robots-Tag를 확인합니다.
• Search Console 검사URL 검사에서 Google이 페이지를 가져오고 색인할 수 있는지 봅니다.
• 로그 확인서버나 CDN 로그에서 정상 크롤러 요청이 403·429·5xx로 실패하지 않는지 관찰합니다.
• 실제 질문 확인설정 변경 직후 결과를 단정하지 말고 재수집 시간을 둔 뒤 대표 질문을 다시 측정합니다.