robots.txt vs sitemap.xml vs llms.txt vs 구조화 데이터: AI 검색에서 각 파일의 역할 비교

네 가지는 각각 무슨 일을 하나요?

네 가지는 모두 사이트가 기계에게 무언가를 알려 주는 수단이지만 알려 주는 내용이 다릅니다. robots.txt는 어디에 들어와도 되는지, sitemap.xml은 어떤 페이지가 있는지, 구조화 데이터는 이 페이지의 사실이 무엇인지, llms.txt는 AI가 먼저 읽을 만한 페이지가 무엇인지를 말합니다.

아래 표는 2026년 10월 20일 기준 공식 문서와 규격 문서에서 확인한 내용을 정리한 것입니다.

robots.txt는 무엇을 하고 무엇을 못 하나요?

robots.txt는 크롤러 트래픽을 관리하는 파일입니다. RFC 9309로 표준화되어 있고, Google·OpenAI·Anthropic·Perplexity의 검색 노출용 크롤러와 학습용 크롤러가 모두 이 파일을 따릅니다. AI 검색에서 robots.txt가 중요한 이유는 검색 노출용 크롤러를 막으면 그 서비스의 답변에서 사이트가 빠질 수 있기 때문입니다.

robots.txt가 못 하는 일도 분명합니다. Google 문서는 robots.txt가 페이지를 Google 검색에서 빼는 수단이 아니며, 차단된 페이지라도 다른 사이트가 링크하면 URL이 검색 결과에 나올 수 있다고 설명합니다. 검색에서 제외하려면 noindex를 쓰거나 비밀번호로 보호해야 합니다.

사용자 요청으로 방문하는 에이전트에는 적용되지 않을 수 있습니다. OpenAI의 ChatGPT-User와 Perplexity의 Perplexity-User는 사용자가 요청한 방문이므로 robots.txt 규칙이 적용되지 않을 수 있다고 각 회사 문서에 안내되어 있습니다. RFC 9309에 따르면 robots.txt가 서버 오류로 응답하지 않으면 크롤러는 사이트 전체가 차단된 것으로 간주해야 하므로, 파일이 정상 응답하는지도 확인합니다.

sitemap.xml은 AI 검색에 어떤 의미가 있나요?

sitemap.xml은 사이트의 페이지, 동영상, 파일 정보를 검색엔진에 알려 주는 파일입니다. Google 문서는 사이트가 크거나 새로 만들어 외부 링크가 적을 때 특히 유용하다고 설명하면서도, 사이트맵에 있는 항목이 모두 크롤링되고 색인된다는 보장은 없다고 밝힙니다.

AI 검색과의 관계는 간접적입니다. Google AI 개요·AI 모드는 Google 검색 색인을 쓰므로 색인을 돕는 사이트맵은 그대로 도움이 됩니다. 네이버도 서치어드바이저에서 사이트맵 제출을 받습니다. 반면 OpenAI, Anthropic, Perplexity가 사이트맵을 수집에 활용하는지는 공식 문서에서 확인되지 않았습니다.

실무에서는 사이트맵의 lastmod를 실제 수정일과 맞추고, 색인하지 않을 페이지는 넣지 않는 것이 기본입니다. 로그인 뒤 페이지나 관리자 경로가 사이트맵에 들어가 있으면 크롤러에 불필요한 요청만 늘립니다.

구조화 데이터는 AI 검색에 필요한가요?

Google 공식 문서에 따르면 생성형 AI 검색에 구조화 데이터는 필수가 아니며 따로 추가해야 할 특별한 schema.org 마크업도 없습니다. FAQ 리치 결과는 2026년 6월 15일부터 Google 검색 결과에 표시되지 않습니다. 따라서 구조화 데이터를 AI 인용을 늘리는 수단으로 보는 주장은 공식 근거가 없습니다.

그래도 쓸 이유는 남아 있습니다. 구조화 데이터는 회사명, 저자, 발행일, 주소 같은 사실을 페이지 본문과 같은 내용으로 기계가 읽을 수 있게 밝히는 도구이고, Google은 다른 리치 결과와 페이지 이해에 이를 계속 씁니다. Google 구조화 데이터 가이드라인은 마크업이 페이지에 보이는 내용과 일치해야 한다고 요구하므로, 본문에 없는 내용을 마크업에만 넣지 않습니다.

ChatGPT, Perplexity, Claude가 구조화 데이터를 답변 생성에 활용하는지는 공식적으로 확인되지 않았습니다. 이미 정확하게 넣어 둔 마크업을 지울 필요는 없지만, 이를 위해 큰 비용을 새로 쓸 근거도 없습니다.

llms.txt는 만들어야 하나요?

llms.txt는 2024년 9월 3일 Jeremy Howard가 제안한 규격으로, 사이트 루트에 마크다운 파일을 두고 H1 제목, 요약 인용문, H2 아래 링크 목록으로 AI 에이전트에게 핵심 페이지를 안내합니다. 규격 문서는 robots.txt가 접근 허용 여부를 알려 주는 것과 달리 llms.txt는 에이전트가 사용자를 돕는 시점에 읽는 파일이며, 사이트맵은 사람이 읽는 페이지 전체 목록이라 맥락 창에 맞지 않는 경우가 많다고 구분합니다.

공식 입장은 분명합니다. Google 생성형 AI 검색 최적화 가이드는 llms.txt 같은 AI용 텍스트 파일을 만들어도 Google 검색 노출이나 순위에 도움도 해도 되지 않으며 Google 검색은 이를 무시한다고 밝힙니다. OpenAI, Anthropic, Perplexity가 답변 생성에 llms.txt를 활용한다는 공식 발표도 2026년 10월 20일 기준 확인되지 않았습니다.

그래서 llms.txt는 핵심 작업이 아니라 비용이 낮을 때 해 볼 수 있는 선택입니다. 만든다면 본문과 같은 내용으로 짧게 유지하고, 사이트맵처럼 전체 페이지를 나열하기보다 핵심 페이지만 담는 것이 규격의 취지에 맞습니다.

네 가지를 어떤 순서로 점검해야 하나요?

접근, 안내, 사실, 선택 순서입니다. 앞 단계가 막혀 있으면 뒤 단계는 효과가 없습니다.

• 1단계 robots.txt파일이 정상 응답하는지, Googlebot·OAI-SearchBot·PerplexityBot·Claude-SearchBot·네이버 검색 로봇이 허용되어 있는지, CDN이나 방화벽이 이들을 막지 않는지 확인합니다.
• 2단계 sitemap.xml색인할 페이지만 들어 있고 lastmod가 실제 수정일과 맞는지 확인한 뒤 Search Console과 서치어드바이저에 제출합니다.
• 3단계 구조화 데이터Organization, Article 같은 기본 스키마가 본문 사실과 일치하는지 확인합니다. 본문에 없는 내용을 마크업에만 넣지 않습니다.
• 4단계 llms.txt1~3단계가 끝난 뒤 여유가 있을 때 핵심 페이지만 담아 짧게 만듭니다. 만들었다면 본문이 바뀔 때 함께 갱신합니다.
• 정기 점검크롤러 이름과 각 회사의 정책은 바뀔 수 있으므로 분기마다 공식 문서를 다시 확인합니다.