AI 크롤러는 모델 학습용, 검색 노출용, 사용자 요청 시 방문용으로 나뉘며, 각 회사의 공식 문서에 따르면 이 설정들은 서로 독립적으로 적용됩니다. 학습 데이터 제공은 원하지 않지만 AI 검색 답변에는 나오고 싶다면 GPTBot·ClaudeBot·Google-Extended는 차단하고 OAI-SearchBot·Claude-SearchBot·PerplexityBot은 허용하는 구성이 가능합니다. robots.txt만 고쳐서는 부족할 수 있으므로 CDN·방화벽의 봇 차단 설정과 서버 로그도 함께 확인해야 합니다.
핵심만 먼저 보기
- AI 크롤러는 학습용, 검색 노출용, 사용자 요청 시 방문용으로 나눠서 따로 설정합니다.
- Google 공식 문서에 따르면 Google-Extended 차단은 Google 검색 포함 여부나 순위에 영향을 주지 않습니다.
- 검색 노출용 크롤러를 막으면 해당 AI 검색 답변에서 사이트가 빠질 수 있습니다.
- robots.txt가 맞아도 CDN·방화벽이 봇을 막고 있으면 크롤러는 사이트를 읽지 못합니다.
AI 크롤러는 왜 목적별로 나눠서 봐야 하나요?
AI 크롤러는 회사 단위가 아니라 목적 단위로 설정해야 원하는 결과를 얻을 수 있습니다. OpenAI, Anthropic, Perplexity는 모두 학습용 크롤러와 검색용 크롤러, 사용자 요청 시 방문하는 에이전트를 서로 다른 이름으로 구분해 공개하고 있습니다.
OpenAI 공식 문서는 각 크롤러 설정이 서로 독립적이라고 설명합니다. 그래서 학습용 크롤러를 막아도 검색용 크롤러는 계속 사이트를 읽을 수 있고, 반대로 검색용 크롤러를 실수로 막으면 학습과 무관하게 AI 검색 답변에서 빠질 수 있습니다.
많은 홈페이지가 'AI 크롤러 전체 차단' 같은 한 줄 설정을 그대로 가져다 씁니다. 이 경우 의도와 달리 ChatGPT 검색이나 Perplexity 답변의 출처 후보에서도 제외될 수 있으므로, 먼저 우리 회사가 원하는 정책이 무엇인지 정하는 것이 출발점입니다.
OpenAI·Anthropic·Perplexity·Google 크롤러는 각각 무엇을 하나요?
주요 AI 크롤러의 목적과 차단 시 영향은 각 회사 공식 문서 기준으로 아래와 같이 정리할 수 있습니다. Google-Extended는 별도 방문 로봇이 아니라 robots.txt에서 쓰는 제어용 토큰이라는 점이 다른 크롤러와 다릅니다.
| 회사 | 크롤러 이름 | 목적 | 공식 문서 기준 차단 시 영향 |
|---|---|---|---|
| OpenAI | GPTBot | 학습용 | 모델 학습용 수집에서 제외됩니다. |
| OpenAI | OAI-SearchBot | 검색 노출용 | ChatGPT 검색 답변에서 사이트가 빠질 수 있습니다. |
| OpenAI | ChatGPT-User | 사용자 요청 시 방문 | 사용자 요청에 따른 방문이라 robots.txt가 적용되지 않을 수 있습니다. |
| Anthropic | ClaudeBot | 학습용 | 모델 학습용 수집에서 제외됩니다. |
| Anthropic | Claude-SearchBot | 검색 노출용(검색 품질 향상용 색인) | Claude 검색 결과에서 노출이 줄 수 있습니다. |
| Anthropic | Claude-User | 사용자 요청 시 방문 | 사용자가 요청한 답변에서 노출이 줄 수 있습니다. |
| Perplexity | PerplexityBot | 검색 노출용(AI 기반 모델 학습에는 쓰지 않음) | Perplexity 검색 결과의 노출 대상에서 빠질 수 있습니다. |
| Perplexity | Perplexity-User | 사용자 요청 시 방문 | 일반적으로 robots.txt를 따르지 않습니다. |
| Googlebot | 검색 노출용(AI 개요·AI 모드 포함) | Google 검색 전체에서 노출이 줄어듭니다. | |
| Google-Extended | 학습용(Gemini 등 생성형 AI 활용 제어 토큰) | Google 검색 포함 여부나 순위에는 영향이 없습니다. |
학습은 막고 AI 검색 노출은 유지하려면 robots.txt를 어떻게 쓰나요?
학습용 크롤러만 막고 검색 노출용 크롤러는 허용하려면, 크롤러 이름별로 그룹을 나눠 Disallow와 Allow를 따로 적으면 됩니다. 아래 표는 robots.txt 파일에 한 줄씩 그대로 옮겨 적을 수 있는 예시입니다. 그룹과 그룹 사이에는 빈 줄을 하나 두면 읽기 쉽습니다.
robots.txt 표준인 RFC 9309에 따르면 크롤러는 자기 이름과 일치하는 그룹이 있으면 그 그룹의 규칙을 따르고, 전체를 뜻하는 별표 그룹은 일치하는 그룹이 없을 때 적용됩니다. 따라서 특정 크롤러 그룹을 만들었다면 그 그룹 안에 필요한 규칙을 모두 적어야 합니다.
| 줄 | robots.txt에 적을 내용 | 의미 |
|---|---|---|
| 1 | User-agent: GPTBot | OpenAI 학습용 크롤러 그룹 시작 |
| 2 | Disallow: / | 사이트 전체 수집 차단 |
| 3 | User-agent: ClaudeBot | Anthropic 학습용 크롤러 그룹 시작 |
| 4 | Disallow: / | 사이트 전체 수집 차단 |
| 5 | User-agent: Google-Extended | Google 생성형 AI 활용 제어 토큰 |
| 6 | Disallow: / | Gemini 등 활용 차단(Google 검색에는 영향 없음) |
| 7 | User-agent: OAI-SearchBot | ChatGPT 검색 노출용 크롤러 그룹 시작 |
| 8 | Allow: / | 사이트 전체 허용 |
| 9 | User-agent: Claude-SearchBot | Claude 검색 노출용 크롤러 그룹 시작 |
| 10 | Allow: / | 사이트 전체 허용 |
| 11 | User-agent: PerplexityBot | Perplexity 검색 노출용 크롤러 그룹 시작 |
| 12 | Allow: / | 사이트 전체 허용 |
| 13 | User-agent: * | 그 밖의 모든 크롤러 그룹 시작 |
| 14 | Disallow: /admin/ | 관리자 경로 등 공개하지 않을 경로만 차단 |
| 15 | Sitemap: https://www.example.com/sitemap.xml | 사이트맵 위치 안내(자사 주소로 변경) |
사용자 요청 시 방문하는 크롤러는 robots.txt로 막을 수 있나요?
사용자 요청 시 방문하는 에이전트는 robots.txt로 완전히 통제되지 않을 수 있습니다. OpenAI 공식 문서는 ChatGPT-User에 robots.txt가 적용되지 않을 수 있다고 안내하고, Perplexity 공식 문서도 Perplexity-User가 일반적으로 robots.txt를 따르지 않는다고 밝힙니다.
이런 에이전트는 사용자가 특정 링크를 열어 달라고 하거나 답변에 필요한 페이지를 실시간으로 읽을 때 방문합니다. 사람이 브라우저로 방문하는 것과 비슷한 성격이라, 막으면 사용자가 우리 사이트에 대해 물었을 때 정확한 답을 얻지 못할 수 있습니다.
Anthropic 공식 문서는 Claude-User와 Claude-SearchBot을 막으면 노출이 줄 수 있다고 안내합니다. 또 Anthropic은 robots.txt를 준수하고 Crawl-delay 지시문을 지원하지만, IP 주소 기반 차단은 신뢰할 수 있는 방법이 아니라고 설명합니다. 방문 빈도가 부담된다면 차단보다 Crawl-delay로 속도를 조절하는 방법을 먼저 검토할 수 있습니다.
robots.txt를 고쳤는데도 AI 크롤러가 들어오지 못하는 이유는 무엇인가요?
robots.txt 설정이 맞아도 그 앞단의 CDN이나 웹 방화벽이 봇을 차단하고 있으면 크롤러는 페이지를 읽지 못합니다. 일부 CDN·보안 서비스는 AI 크롤러 차단이나 봇 차단 옵션을 제공하며, 이 설정은 robots.txt와 별개로 동작하는 경우가 관찰됩니다.
- CDN·방화벽 봇 차단CDN 관리 화면에서 봇 관리, AI 크롤러 차단, 챌린지 페이지 같은 설정이 켜져 있는지 확인합니다. 허용하려는 크롤러가 403 응답이나 확인 페이지를 받고 있지 않은지 봐야 합니다.
- robots.txt 응답 오류RFC 9309에 따르면 서버 오류 등으로 robots.txt에 접근할 수 없을 때 크롤러는 사이트 전체가 차단된 것으로 간주해야 합니다. robots.txt 주소가 정상 응답을 주는지 확인합니다.
- 과도한 접속 제한호스팅이나 보안 플러그인의 요청 횟수 제한이 크롤러를 반복해서 막을 수 있습니다. 서버 로그에서 크롤러별 응답 코드를 확인합니다.
- 페이지 단위 차단robots.txt는 허용했더라도 특정 페이지가 로그인 뒤에 있거나 자바스크립트 실행 후에만 내용이 보이면 크롤러가 본문을 읽지 못할 수 있습니다.
AI 크롤러 설정을 바꾼 뒤에는 무엇을 확인해야 하나요?
설정을 바꾼 뒤에는 실제 방문 기록으로 결과를 확인해야 합니다. 브라우저에서 사이트 주소 뒤에 robots.txt를 붙여 열어 보고, 수정한 내용이 그대로 보이는지 먼저 확인합니다.
- 서버 로그 확인User-Agent 문자열에 GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot 등이 찍히는지와 응답 코드가 200인지 봅니다.
- 사칭 크롤러 구분User-Agent 문자열은 누구나 흉내 낼 수 있습니다. 각 회사 공식 문서가 안내하는 확인 방법을 참고해 진짜 크롤러인지 구분합니다.
- 정기 점검크롤러 이름과 목적은 바뀌거나 새로 추가될 수 있습니다. 분기마다 각 회사의 공식 크롤러 문서를 다시 확인하는 일정을 잡아 두면 좋습니다.
- 변경 기록 남기기언제 어떤 크롤러를 허용하거나 막았는지 기록해 두면, 이후 AI 검색 노출이 달라졌을 때 원인을 추적하기 쉽습니다.
자주 묻는 질문
robots.txt로 AI 크롤러를 막으면 이미 수집된 데이터도 삭제되나요?
robots.txt는 앞으로의 수집 접근을 제어하는 규칙입니다. 이미 수집된 데이터를 어떻게 처리하는지는 각 회사 정책에 따르므로 해당 회사의 공식 문서를 확인해야 합니다.
Google-Extended를 차단하면 AI 개요에서 빠지나요?
Google 공식 문서에 따르면 Google-Extended는 Google 검색 포함 여부나 순위에 영향을 주지 않습니다. AI 개요·AI 모드에서 콘텐츠가 어떻게 보일지는 nosnippet, data-nosnippet, max-snippet 같은 스니펫 제어 방식으로 조절하도록 안내하고 있습니다.
Crawl-delay는 모든 AI 크롤러에 통하나요?
Crawl-delay는 robots.txt 표준인 RFC 9309에 정의된 규칙이 아니어서 크롤러마다 지원 여부가 다릅니다. Anthropic은 공식 문서에서 Crawl-delay 지원을 밝히고 있으므로, 다른 크롤러는 각 회사 문서를 따로 확인해야 합니다.
새로운 AI 크롤러가 생기면 어떻게 대비하나요?
별표 그룹에 기본 정책을 적어 두면 이름을 모르는 크롤러에도 그 규칙이 적용됩니다. 그와 함께 서버 로그에서 처음 보는 User-Agent를 주기적으로 확인하고, 필요하면 이름별 그룹을 추가합니다.
참고한 자료
검색 서비스의 정책과 기능은 자주 바뀝니다. 최신 내용은 아래 원문에서 함께 확인하세요.
이 글은 생성형 AI 검색의 일반적인 작동 방식과 공개된 공식 자료를 바탕으로 작성한 안내 자료입니다. 특정 AI 서비스의 노출 순위나 결과를 보장하지 않으며, 원문 URL은 https://toppick.ai.kr/insight/ai-crawler-robots-txt-guide입니다.