llms.txt란 무엇인가 - 그리고 사이트에 추가하는 방법
llms.txt는 도메인 루트에 두는 일반 Markdown 파일로, AI 시스템에 웹사이트의 선별된 요약, 즉 이 사이트가 무엇이며 가장 유용한 페이지가 어디에 있는지를 알려 줍니다. 컨텍스트 윈도가 작은 기계를 위해 작성된 목차라고 생각하면 됩니다.
도입 현실 점검: 활성 도메인 48,005개를 직접 조사한 결과, 인식 가능한 llms.txt를 제공하는 곳은 3,055개(6.4%)뿐이었습니다. 지금 게시해도 여전히 최초 도입 그룹에 속합니다. 검증된 디렉터리 둘러보기.
왜 필요한가
AI 어시스턴트와 에이전트는 사이트 전체를 읽을 수 없습니다. HTML 페이지는 내비게이션, 스크립트, 상용구로 무겁고 컨텍스트 윈도는 유한합니다. llms.txt(2024년 Jeremy Howard 제안)는 깨끗한 Markdown을 담은 하나의 예측 가능한 위치로 이 문제를 해결합니다: 한 줄 요약, 짧은 설명, 그리고 중요한 페이지로 연결되는 그룹별 링크와 각 페이지의 내용에 대한 메모.
llms.txt가 아닌 것
정직하게 말하면: Google은 자사 AI 기능이 일반 색인에 의존한다고 밝혔습니다. 즉 Google은 llms.txt를 읽지 않습니다. 저희 진단 방법론도 그 이유로 이 항목의 가중치를 의도적으로 낮게 잡습니다. 이 파일은 실제로 이를 가져가는 어시스턴트, 에이전트 프레임워크, LLM 개발 도구라는 성장 중인 생태계를 위한 것입니다. 비용은 낮고, Google은 아니지만 실재하는 수요층이 있습니다.
형식
사이트 이름을 담은 H1 하나(필수), 인용구 요약, 그다음 링크 섹션들로 구성됩니다. 완전하고 유효한 예:
# Example Store
> Example Store sells refurbished laptops with a 2-year warranty,
> shipping across Europe. Founded 2012, based in Rotterdam.
## Products
- [Laptop catalog](https://example.com/laptops/): all models with specs and prices
- [Warranty terms](https://example.com/warranty/): what the 2-year cover includes
## Company
- [About us](https://example.com/about/): history, team, certifications
- [Contact](https://example.com/contact/): support email, phone, address
## Optional
- [Blog](https://example.com/blog/): buying guides and repair stories
- 첫 줄의 H1 - 사양상 필수입니다. 저희 검증기는 맨 앞의
# Title을 가장 강력한 유효성 신호로 간주합니다. - 인용구 요약 - 에이전트가 그대로 인용할 수 있는 2-4줄.
- 설명이 달린 그룹별 링크 - 가치는 선별에 있습니다. 사이트맵을 통째로 쏟아붓지 마세요.
- "Optional" 섹션 - 관례상 에이전트는 컨텍스트가 부족할 때 이 섹션을 건너뛸 수 있습니다.
추가 방법
- 정적 사이트: 웹 루트에
llms.txt라는 이름으로 파일을 저장하고 배포하세요.text/plain또는text/markdown으로 제공하세요. - WordPress: 최신 Yoast SEO 및 All in One SEO 버전은 자동으로 생성합니다(검증된 디렉터리 곳곳에서 이들의 시그니처가 확인됩니다). 또는 테마/htaccess를 통해 파일을 추가하세요.
- 기타 CMS/프록시:
/llms.txt에서 일반 텍스트를 반환하는 라우트면 충분합니다. 저희 파일도 Cloudflare Worker로 제공됩니다.
동작 확인
curl로 https://yourdomain.com/llms.txt를 가져와 보세요. HTML 오류 페이지가 아니라 일반 Markdown이 반환되어야 합니다(HTML soft-404를 반환하는 잘못 구성된 서버가 가장 흔한 실패 사례이며, 저희 조사의 원시 히트 중 832개가 바로 그 이유로 거부되었습니다).
저희 검사기는 30개 검사 항목으로 이루어진 에이전트 준비도 진단의 일부로 llms.txt를 직접 가져와 검증하며, 유효한 사이트는 자동으로 공개 llms.txt 디렉터리에 등재됩니다.
자주 묻는 질문
- Google이 llms.txt를 사용하나요?
- 아니요. Google은 자사 AI 기능이 llms.txt가 아니라 일반 색인에 의존한다고 밝혔습니다. 이 파일은 다른 소비자, 즉 사이트 맥락을 파악하기 위해 이 파일을 가져가는 AI 어시스턴트, 에이전트 프레임워크, LLM 도구를 위한 것입니다. Google 순위 수단이 아니라 비용이 적게 들고 수요층이 성장 중인 신호로 취급하세요.
- llms.txt는 어디에 두나요?
- 도메인 루트에 둡니다: https://example.com/llms.txt. 일반 GET 요청으로 접근 가능한 일반 텍스트(Markdown)여야 합니다.
- llms.txt와 robots.txt의 차이는 무엇인가요?
- robots.txt는 크롤러가 무엇을 가져가도 되는지를 알려 주고, llms.txt는 사이트가 무엇인지를 알려 줍니다. 가장 유용한 페이지로 연결되는 링크를 담은 선별된 Markdown 요약으로, 두 파일은 서로를 보완합니다.
- llms.txt를 보유한 웹사이트는 얼마나 되나요?
- 도입은 아직 초기 단계입니다. MarkosWeb이 활성 도메인 48,005개를 직접 조사했을 때 인식 가능한 llms.txt를 제공한 곳은 3,055개(6.4%)에 불과했습니다.
- WordPress 플러그인이 llms.txt를 생성하나요?
- 예. 최신 버전의 Yoast SEO와 All in One SEO는 자동으로 생성할 수 있습니다. 검증된 자동 생성 파일은 직접 작성한 파일과 함께 저희 디렉터리에 표시됩니다.