llms.txt, 만들어야 할까요? 규격과 Google 입장으로 본 결론

llms.txt는 무엇인가요?

llms.txt는 대규모 언어 모델이 사이트의 핵심 내용을 빠르게 파악할 수 있도록 사이트 루트에 두는 마크다운 형식의 안내 파일입니다. llmstxt.org에 따르면 이 규격은 Jeremy Howard가 2024년 9월 3일 제안했습니다.

제안 배경은 웹페이지 HTML에 메뉴, 광고, 스크립트처럼 본문과 무관한 요소가 많아 언어 모델이 필요한 정보를 찾기 어렵다는 점입니다. 그래서 핵심 페이지 목록과 짧은 설명을 사람이 읽기 쉬운 마크다운으로 정리해 한 파일에 모아 두자는 것이 llms.txt의 아이디어입니다.

llmstxt.org는 이와 함께 각 페이지의 마크다운 버전을 원래 주소 뒤에 .md를 붙인 주소로 제공하는 방식도 권장합니다. 다만 이 역시 규격 제안일 뿐, 검색 엔진이나 AI 서비스가 따라야 하는 표준으로 채택된 것은 아닙니다.

llms.txt 파일은 어떤 구조로 작성하나요?

llmstxt.org가 제안한 llms.txt는 정해진 순서의 마크다운 요소로 구성됩니다. 필수 요소는 사이트나 프로젝트 이름 하나이고, 나머지는 선택입니다. 아래 표는 일반 회사 홈페이지에 적용한 예시입니다.

파일 이름은 llms.txt로 하고, 사이트 주소 바로 아래 경로에서 열리도록 둡니다. 링크 목록의 각 항목은 페이지 제목과 주소, 그리고 그 페이지가 무엇을 설명하는지 짧은 메모로 구성합니다. 전체 분량은 한 화면에서 훑어볼 수 있을 정도로 짧게 유지하는 것이 제안 취지에 맞습니다.

Google은 llms.txt를 어떻게 보나요?

Google 검색은 llms.txt를 사용하지 않습니다. Google 문서 업데이트 기록에 따르면 2026년 6월 15일 llms.txt 사용 방식에 대한 설명이 명확해졌고, Google 검색은 llms.txt를 쓰지 않는다고 밝혔습니다.

2026년 5월 15일 추가된 Google의 생성형 AI 검색 최적화 가이드도 llms.txt 같은 특수 마크업을 무시해도 되는 항목으로 분류합니다. 같은 가이드는 생성형 AI 검색 최적화가 여전히 SEO이며, AI 개요와 AI 모드도 일반 검색과 같은 기반 위에서 동작한다는 취지로 설명합니다.

따라서 Google의 AI 개요나 AI 모드 노출을 목표로 llms.txt를 만드는 것은 근거가 없습니다. Google 쪽에서는 크롤링 가능한 페이지와 유용한 본문이 우선입니다.

ChatGPT·Claude·Perplexity는 llms.txt를 읽나요?

다른 AI 서비스가 답변 생성에 llms.txt를 활용하는지는 이 글 작성 시점에 공식적으로 확인되지 않았습니다. OpenAI, Anthropic, Perplexity가 공개한 크롤러 문서는 robots.txt로 크롤러를 제어하는 방법을 설명하지만, llms.txt를 읽어 출처 선택에 반영한다는 내용은 담고 있지 않습니다.

서버 로그에서 llms.txt 주소로 들어온 요청이 보이는 경우는 관찰됩니다. 하지만 파일을 가져갔다는 사실만으로 그 내용이 답변이나 출처 선택에 쓰였다고 판단할 수는 없습니다.

현재 llms.txt 도입은 개발 문서나 API 문서처럼 언어 모델이 기술 자료를 읽어야 하는 사이트를 중심으로 관찰됩니다. 도입 규모에 대한 수치는 llmstxt.org 같은 제안 측 자료가 대부분이라, 일반 회사 홈페이지의 효과를 판단하는 근거로 쓰기는 어렵습니다.

그래도 llms.txt를 만든다면 어떻게 하는 것이 좋을까요?

llms.txt를 만들기로 했다면 작고 정확하게 유지하는 것이 핵심입니다. 비용이 낮다는 것이 이 작업의 유일한 장점이므로, 관리 부담이 커지지 않게 범위를 좁히는 편이 좋습니다.

• 핵심 페이지만 담기회사 소개, 대표 서비스, 가격, 문의 방법처럼 질문이 많이 들어오는 페이지 5~10개 정도로 시작합니다.
• 사이트 본문과 같은 내용llms.txt에만 있는 주장이나 사이트와 다른 설명을 넣지 않습니다. 사람에게 보이는 페이지와 기계에게 주는 정보가 같아야 합니다.
• 링크마다 한 줄 설명각 링크 옆에 그 페이지가 어떤 질문에 답하는지 짧게 적어 두면 파일의 목적에 맞습니다.
• 변경 시 함께 수정서비스 이름이나 가격 페이지 주소가 바뀌면 llms.txt도 바로 고칩니다. 오래된 링크가 남으면 오히려 혼란을 줄 수 있습니다.
• 크롤러 접근 확인robots.txt나 CDN 설정이 llms.txt 주소 접근을 막고 있지 않은지 확인합니다.

llms.txt보다 먼저 해야 할 일은 무엇인가요?

llms.txt보다 먼저 AI 크롤러가 실제 페이지를 읽을 수 있는지, 그 페이지가 질문에 명확하게 답하는지를 점검해야 합니다. 아래 표는 공식 근거의 강도를 기준으로 본 작업 순서 예시입니다.

• 크롤러 접근이 먼저인 이유AI 검색이 사이트를 출처로 쓰려면 먼저 페이지를 읽을 수 있어야 합니다. 검색 노출용 크롤러가 막혀 있다면 llms.txt가 있어도 그 링크가 가리키는 페이지를 가져가지 못할 수 있습니다.
• 본문 품질이 먼저인 이유llms.txt는 페이지를 안내할 뿐 페이지 내용을 대신하지 않습니다. 안내받은 페이지가 질문에 답하지 못하면 파일을 만든 의미가 없습니다.
• llms.txt를 해 볼 만한 경우크롤러 접근과 본문 품질이 어느 정도 정리됐고, 파일 하나를 관리할 여유가 있다면 낮은 비용으로 시도해 볼 수 있습니다. 효과는 기대치를 낮추고 서버 로그로 요청 여부 정도만 확인하는 것이 현실적입니다.