llms.txt와 AI 크롤러

llms.txt는 무엇이고 왜 필요한가요?

llms.txt는 우리 사이트가 어떤 곳인지 AI에게 알려 주는 자기소개서 격의 파일로, 아직 공식 표준이 아닌 제안된 관례입니다. AI 크롤러 정책은 이 크롤러들을 robots.txt로 허용할지 차단할지 정하는 전략적 선택입니다.

llms.txt는 2024년 Answer.AI가 제안하고 llmstxt.org에 규격이 공개된 텍스트 파일입니다. 사람이 읽으라고 만든 웹페이지에는 메뉴·광고·배너·각종 스크립트가 뒤섞여 있어서, AI가 정작 중요한 내용을 골라내기가 쉽지 않습니다. llms.txt는 그 어수선함을 걷어 내고 “우리 사이트는 이런 곳이고, 참고하려면 이 페이지들을 보라”고 요약해 건네는 안내문에 가깝습니다.

비유하자면 회사 정문의 안내 데스크와 같습니다. 방문객이 넓은 건물에서 헤매지 않도록 “무슨 회사이고, 어느 층에 무엇이 있는지”를 한 장으로 정리해 주는 역할입니다. 사람이 아니라 AI를 방문객으로 둔 안내문이라는 점만 다릅니다.

여기서 자주 헷갈리는 세 가지 파일을 먼저 구분해 두면 좋습니다. sitemap.xml은 검색 크롤러에게 사이트의 모든 주소를 기계적으로 나열한 목록이고, robots.txt는 크롤러의 접근을 통제하는 규칙 파일입니다. llms.txt는 이 둘과 달리 사람이 직접 고른 핵심만 요약해 AI에게 안내하는 문서입니다. 셋은 경쟁 관계가 아니라 서로를 보완합니다.

개별 페이지의 뜻을 기계가 알아보도록 표시하는 일이 구조화 데이터라면, llms.txt는 사이트 전체를 한 장으로 안내하는 일입니다. 구조화 데이터를 코드 없이 만드는 방법은 Schema JSON-LD — 코드를 몰라도 만드는 구조화 데이터에서 다뤘습니다.

llms.txt에는 무엇을 담나요?

llms.txt에는 사이트가 무엇을 하는 곳인지 요약한 개요와, AI가 우선 참고했으면 하는 핵심 페이지의 링크 목록을 담습니다. 형식은 어렵지 않은 마크다운이고, 화려한 코드가 아니라 잘 정리한 안내문 한 장입니다.

담기는 요소를 항목으로 정리하면 다음과 같습니다.

• 사이트 이름과 한 줄 정의: 누구를 위한 어떤 곳인지 제목과 한 문장으로 밝힙니다
• 개요 단락: 사이트가 무엇을 다루고 무엇을 제공하는지 두세 문장으로 설명합니다
• 핵심 페이지 링크 목록: AI가 먼저 봐 주길 바라는 대표 페이지를 제목과 짧은 설명을 붙여 나열합니다
• 부가 자료 목록(선택): 덜 중요한 상세 문서는 별도 묶음으로 따로 정리합니다
• 안내 문구(선택): 연락처나 인용 시 표기해 주길 바라는 브랜드명 같은 메모를 덧붙입니다

여기서 실무 판단이 갈립니다. 핵심은 “모든 페이지를 다 넣는 것”이 아니라 “가장 인용되길 바라는 페이지만 골라 넣는 것”입니다. 브랜드를 설명하는 소개 문서나 대표 서비스, 자신 있는 대표 콘텐츠처럼 AI가 우리를 설명할 때 근거로 삼길 바라는 자료를 우선 올립니다. 목록이 길어질수록 안내문의 초점은 흐려집니다.

파일에 실제로 넣을 마크다운 문법과 복사해서 바로 쓰는 llms.txt 전문 예시는 이 글의 범위를 넘습니다. 그 실전 코드는 JSON-LD 스키마·llms.txt 실전 설정법에서 복붙 가능한 형태로 따로 다룹니다. 이 글은 무엇을 왜 담는지의 판단에 집중합니다.

llms.txt를 어떻게 만들어 어디에 두나요?

llms.txt는 텍스트 파일 하나를 사이트 루트에 올리면 끝나는, 개발 지식이 없어도 되는 작업입니다. 도메인 바로 뒤에 붙는 주소, 곧 우리도메인.com/llms.txt 위치에 두는 것이 규격이 정한 자리입니다.

만들어 배포하는 절차는 다음 순서를 따릅니다.

1. AI가 우리를 설명할 때 꼭 참고했으면 하는 핵심 페이지를 먼저 추립니다.
2. 사이트 이름과 한 줄 요약, 그리고 개요 단락을 마크다운으로 적습니다.
3. 추려 둔 핵심 페이지를 제목과 짧은 설명이 붙은 링크 목록으로 정리합니다.
4. 파일을 llms.txt라는 이름으로 저장해 사이트 루트에 올립니다.
5. 브라우저 주소창에 우리도메인.com/llms.txt를 입력해 실제로 열리는지 확인합니다.

배포라고 하면 복잡해 보이지만, 정리한 텍스트 파일을 사이트 최상위 폴더에 올리고 주소로 열어 보는 것이 전부입니다. 워드프레스처럼 폴더 접근이 번거로운 환경이라면 파일 업로드를 돕는 방법이 따로 있으나, 그 세부 방법 역시 앞의 실전 설정 글에서 다룹니다.

참고로 GEOMKT도 자기 사이트를 직접 진단하다가 llms.txt가 아직 없다는 점을 발견했고, 지금 어떤 페이지를 안내에 올릴지 골라 파일을 준비하는 중입니다. 남에게 권하는 작업을 자기 사이트에서 똑같이 밟아 보는 과정에서, 무엇을 넣고 뺄지의 감각이 생깁니다.

llms.txt는 정말 효과가 있나요?

llms.txt는 아직 공식 표준이 아니라 제안된 관례이며, 주요 AI가 이 파일을 실제로 읽어 답변에 반영한다고 공식적으로 확인한 범위는 넓지 않습니다. 그래서 “만들면 모든 AI가 우리 사이트를 읽는다”는 기대는 과장이고, “만들어 두면 손해는 없는 저비용 정리”로 보는 편이 정확합니다.

llmstxt.org의 제안 이후 여러 사이트가 자발적으로 llms.txt를 도입하고 있지만, 검색·AI 업계에서는 이를 실제로 활용하는 시스템을 아직 보지 못했다는 회의적인 목소리도 있습니다. 채택 여부가 확정되지 않은 관례라는 뜻입니다. 확실하지 않은 것을 확실한 것처럼 약속하지 않는 것이 신뢰의 출발입니다.

그렇다면 발견성의 진짜 토대는 무엇일까요. 여전히 정상적으로 크롤링·인덱싱되는 페이지, 기계가 읽는 구조화 데이터, 그리고 sitemap.xml입니다. llms.txt는 이 토대 위에 얹는 보조 안내이지, 기본기를 건너뛰게 해 주는 지름길이 아닙니다.

정리하면 llms.txt는 위험이 낮고 비용도 낮아 갖춰 둘 가치는 있되, 그것 하나로 AI 노출이 보장되지는 않는 도구입니다. GEO 진단도 llms.txt의 유무와 크롤러 접근성을 여러 점검 항목 가운데 하나로 볼 뿐, 단일 승부처로 다루지 않습니다(GEO 진단 — 우리 사이트의 현재 점수).

AI 크롤러에는 어떤 것들이 있나요?

AI 회사들은 웹을 읽어 오는 각자의 크롤러(자동 수집 프로그램)를 운영하며, 저마다 user-agent라는 이름표로 자신을 밝힙니다. 공개 문서로 이름이 알려진 대표적인 크롤러는 다음과 같으나, 이름과 정책은 자주 바뀌므로 반드시 각 회사 공식 문서로 최신 상태를 확인해야 합니다.

여기서 놓치기 쉬운 구분이 하나 있습니다. 같은 회사라도 모델을 훈련하는 학습용 크롤러와, 이용자 질문에 답할 때 쓰는 답변·검색용 크롤러를 따로 두기도 합니다. 답변·검색 트래픽만 담당하는 별도의 user-agent를 운영하는 경우가 그렇습니다.

그래서 “AI 크롤러를 막는다”는 말은 한 덩어리로 다룰 문제가 아닙니다. 막으려는 크롤러가 내 콘텐츠를 훈련에 쓰려는 학습용인지, 아니면 AI 답변에 우리를 인용하려고 찾아오는 답변용인지를 먼저 구분해야 합니다. 이 구분이 다음 정책 설계의 핵심이 됩니다.

robots.txt로 AI 크롤러를 어떻게 허용·차단하나요?

robots.txt는 사이트 루트에 두는 규칙 파일로, User-agent로 크롤러를 지정하고 Disallow로 그 크롤러의 접근을 제한합니다. 다만 반드시 기억할 점은, robots.txt가 강제 장치가 아니라 준수를 부탁하는 요청이라는 사실입니다.

원리는 단순합니다. 특정 크롤러의 이름을 User-agent 줄에 적고, 막고 싶은 범위를 Disallow 줄에 적으면, 그 규칙을 존중하는 크롤러는 해당 범위를 읽지 않습니다. 문법과 복사해 쓰는 실제 코드는 앞서 안내한 실전 설정 글에서 다루므로, 여기서는 동작 원리만 짚습니다.

한계는 두 가지입니다. 첫째, 준수는 어디까지나 자발적입니다. 예의 바른 크롤러는 규칙을 지키지만, 규칙을 무시하도록 만들어진 봇에게는 아무 효력이 없습니다. 둘째, 크롤러가 그 user-agent 이름으로 자신을 밝혀야만 규칙이 걸립니다. 이름을 바꾸거나 숨기면 지정한 규칙을 피해 갑니다.

그래서 robots.txt는 정직한 크롤러에게 우리 의사를 알리는 정문 안내판이지, 물리적인 잠금장치가 아닙니다. 정말로 남에게 보이면 안 되는 정보라면 애초에 공개 주소에 두지 않는 것이 원칙입니다. robots.txt로 가린다고 비공개가 되지는 않습니다.

어떤 크롤러를 허용하고 어떤 것을 차단해야 하나요?

정답은 “무조건 다 막기”가 아닙니다. AI 크롤러 차단은 트레이드오프이기 때문입니다. 학습용 수집을 막으면 내 콘텐츠가 남의 모델 훈련에 덜 쓰이지만, 답변·검색용 크롤러까지 막으면 AI 답변에서 우리 사이트가 인용될 기회 자체가 사라집니다.

방향을 잡는 기준은 결국 우리의 목표입니다. GEO의 목표가 AI 답변에 인용되는 것이라면, 답변·검색용 크롤러는 오히려 반갑게 들여보내야 합니다. 이들을 막으면 정작 ChatGPT·Perplexity에 우리 회사가 안 나오는 원인을 스스로 만드는 셈입니다. 고민이 필요한 쪽은 주로 학습용 수집, 즉 내 콘텐츠가 무상으로 모델 훈련에 쓰이는 것을 어떻게 볼지의 가치판단입니다.

정책을 정할 때 다음 항목을 순서대로 점검하면 판단이 쉬워집니다.

• 우리 목표가 AI 답변 인용(GEO)인지 콘텐츠 보호인지 먼저 정합니다
• 답변·검색용 크롤러를 실수로 막고 있지 않은지 확인합니다(막으면 AI 노출 기회가 사라집니다)
• 학습용 수집을 허용할지, 브랜드 노출 이득과 무상 학습 우려를 저울질합니다
• 유료·회원 전용처럼 원래 공개하면 안 되는 콘텐츠가 공개 주소에 놓여 있지 않은지 봅니다
• 차단이 준수 요청일 뿐임을 이해하고, 민감 정보는 처음부터 비공개로 두었는지 확인합니다
• 정한 방향을 robots.txt와 llms.txt에 서로 어긋나지 않게 반영했는지 점검합니다

대부분의 중소기업과 B2B 사이트에게는 발견되는 것 자체가 이득입니다. 그래서 기본값은 답변·검색용 크롤러를 열어 두고, 학습용만 목표에 따라 선택적으로 조정하는 쪽이 GEO에 맞습니다. 다만 정답은 사이트마다 다르며, 감이 아니라 목표에서 나온다는 원칙은 같습니다.

llms.txt와 크롤러 정책, 무엇부터 시작하나요?

가장 먼저 할 일은 파일을 만드는 것이 아니라 방향을 정하는 것입니다. 우리 사이트가 AI에 인용되길 원하는지 아니면 콘텐츠를 지키고 싶은지를 정하면, 그 아래 실무 순서는 자연스럽게 따라옵니다.

크게 세 단계로 시작하길 권합니다. 첫째, 목표를 정합니다. 인용될 것인가 보호할 것인가이며, 중소기업과 B2B는 대개 인용되는 편이 이득입니다. 둘째, robots.txt를 열어 답변·검색용 크롤러를 실수로 막고 있지 않은지부터 점검합니다. 셋째, 그 위에 llms.txt를 얹어 핵심 페이지를 안내합니다. 순서를 지키면 힘을 덜 들이고도 어긋남 없이 정리됩니다.

문제는, robots.txt가 어떤 크롤러를 어떻게 대하고 있는지, llms.txt가 있는지, 어떤 크롤러를 열고 닫아야 목표에 맞는지를 눈으로만 훑어서는 놓치기 쉽다는 점입니다. 무엇을 열고 무엇을 막을지 정하기 어렵다면, 30분 무료 상담에서 지금 상황을 듣고 진단이 필요한지부터 말씀드립니다. 감이 아니라 점검 결과에서 시작하면 방향을 잘못 잡을 위험이 줄어듭니다.

크롤러 정책과 llms.txt까지 기술 기반을 갖췄다면, 남은 일은 이 모든 작업이 실제로 효과가 있는지 재는 것입니다. 무료 도구로 효과를 측정하고 3개월 로드맵으로 반복하는 방법은 측정과 3개월 로드맵에서 이어집니다.

자주 묻는 질문 (FAQ)

Q1. llms.txt만 만들면 AI가 우리 사이트를 읽어 주나요?

그렇지 않습니다. llms.txt는 아직 공식 표준이 아닌 제안된 관례여서, 주요 AI가 이를 읽어 답변에 반영한다고 확정하기는 어렵습니다.

AI 발견성의 토대는 여전히 정상적으로 크롤링·인덱싱되는 페이지와 구조화 데이터, sitemap.xml입니다. llms.txt는 그 위에 얹는 저비용 보조 안내로 보는 편이 맞습니다.

Q2. AI 크롤러를 전부 막으면 콘텐츠가 보호되나요?

부분적으로만 그렇습니다. robots.txt의 차단은 준수를 부탁하는 요청이라, 규칙을 무시하도록 만든 봇에게는 효력이 없습니다.

게다가 답변·검색용 크롤러까지 막으면 AI 답변에 인용될 기회도 함께 사라집니다. 정말 보호해야 할 정보라면 차단에 기대기보다 처음부터 공개 주소에 두지 않는 것이 원칙입니다.

Q3. GEO를 하려는데 AI 크롤러를 막아야 하나요, 열어야 하나요?

답변·검색용 크롤러는 열어 두는 편이 좋습니다. 이들을 막으면 ChatGPT나 Perplexity 같은 AI 답변에 인용될 기회 자체가 없어지기 때문입니다.

고민할 대상은 주로 학습용 수집입니다. 브랜드 노출 이득과 무상 학습 우려를 저울질해 정하되, 발견성이 이득인 중소기업과 B2B라면 대개 열어 두는 쪽이 목표에 맞습니다.

Q4. llms.txt와 robots.txt, sitemap.xml은 무엇이 다른가요?

역할이 다릅니다. sitemap.xml은 검색 크롤러에게 주소를 나열한 목록이고, robots.txt는 크롤러의 접근을 통제하는 규칙 파일입니다.

llms.txt는 이 둘과 달리 사람이 직접 고른 핵심만 요약해 AI에게 안내하는 문서입니다. 셋은 서로 대체하는 것이 아니라 보완하는 관계이므로, 함께 갖추면 좋습니다.

Q5. GPTBot이나 Google-Extended 같은 크롤러 이름은 계속 그대로인가요?

아닙니다. AI 크롤러의 이름과 정책은 자주 바뀌고, 새 크롤러가 추가되거나 용도가 달라지기도 합니다.

그래서 특정 이름을 외워 두기보다, 정책을 정할 때마다 각 회사의 공식 크롤러 문서에서 최신 이름과 용도를 확인하는 습관이 안전합니다. 이 글의 이름들도 확인의 출발점으로만 삼으시길 권합니다.

[참고] llmstxt.org — llms.txt 제안 규격(Answer.AI, 2024) · OpenAI GPTBot·Google Google-Extended·Anthropic ClaudeBot·Perplexity PerplexityBot 공식 크롤러 문서(2025) · 로봇 배제 표준(Robots Exclusion Protocol, RFC 9309, 2022) · GEOMKT 자사 GEO 셀프 진단(2026).

llms.txt와 AI 크롤러의 이름·정책은 각 회사 사정에 따라 바뀔 수 있으므로, 실제 적용 전에 공식 문서로 최신 상태를 확인하시기 바랍니다.