1. 전체 허용 - AI 검색 노출 우선

robots.txt 파일 하나로 모델 학습용 봇과 검색·인용용 봇을 따로 끊을 수 있습니다. GPTBot은 막으면서 OAI-SearchBot은 열어 두는 식입니다. 클라우드플레어 집계에서 2026년 3분기 AI 봇 요청 차단률은 13.47%까지 올랐습니다. 1년 전 같은 분기는 5.98%였습니다. 다만 robots.txt는 접근을 막는 문일 뿐 색인을 지우는 지우개가 아닙니다. 봇 이름을 목적별로 갈라 적는 순서가 AI 답변에 브랜드 이름이 남는지를 가릅니다.

robots.txt 한 줄 때문에 인용이 끊긴 사례가 있습니다. 지오랭크가 2026년 상반기에 진단한 B2B SaaS 기업 D사는 남아 있던 Disallow: /blog/ 한 줄 때문에 AI 답변 인용이 10주 동안 월 42건에서 3건으로 내려앉았습니다. 리뉴얼 때 스테이징용 robots.txt가 운영 서버로 그대로 올라간 탓입니다. 블로그 경로가 전부 막혀 ChatGPT와 퍼플렉시티는 좋은 콘텐츠 170여 편을 열어 볼 수 없었고 GPTBot 요청은 월 1,180건에서 9건으로 줄었습니다. 막힌 줄을 걷어낸 뒤에도 2주간 회복이 없어 지오랭크는 llms.txt와 구조화 데이터를 먼저 의심했는데 실제 원인은 robots.txt가 간헐적으로 500 응답을 낸 것이었습니다. 크롤러는 그 경우 최대 30일까지 예전 robots.txt를 재사용합니다. 응답 코드를 200으로 고정하고 사이트맵 줄을 되살린 뒤 6주째에 월 37건으로 올라왔지만 공백 기간에 경쟁사가 가져간 인용 자리 네 개는 콘텐츠로 다시 밀어내야 했습니다.

robots.txt는 사이트 최상위에 두는 평문 파일로 어떤 크롤러가 어떤 경로에 접근해도 되는지 알려 주는 안내문입니다. 강제력 있는 자물쇠가 아니라 규칙을 지키기로 한 봇에게만 통하는 약속입니다. 주소는 언제나 https://도메인/robots.txt이고 규칙은 그 파일이 올라간 호스트와 프로토콜, 포트에만 적용됩니다. 서브도메인을 따로 쓰면 그쪽에도 파일을 따로 둬야 합니다. 구글은 500KiB까지만 읽고 보통 24시간 캐시합니다.

줄 문법은 다섯 가지입니다.

경로에는 와일드카드 와 종료 기호 $를 쓸 수 있습니다. 줄 끝에 붙인 는 무시되어 /fish와 /fish가 똑같이 읽힙니다. 작성 순서는 현재 파일 받아 보기, 서버 로그에서 최근 30일 실제 방문 봇 이름 뽑기, 학습용과 검색·인용용으로 나눠 적기, 막을 학습용에만 Disallow: / 주기, 마지막에 User-agent: 와 Sitemap 붙이기, 서치콘솔 robots.txt 보고서로 확인하기 순입니다.

AI 크롤러는 모델을 학습시키는 봇, 검색 색인을 만드는 봇, 사용자 질문 시 그 자리에서 페이지를 여는 봇 세 갈래입니다. 운영사가 같아도 이름이 다르면 하는 일이 다릅니다.

Google-Extended와 Googlebot을 혼동하는 실수가 지오랭크가 본 사고 중 가장 비쌌습니다. 사용자 요청형 봇 트래픽을 막고 싶다면 robots.txt가 아니라 방화벽이나 CDN의 봇 관리 기능을 써야 합니다.

실무 robots.txt는 세 가지 틀에서 거의 벗어나지 않습니다. 첫째는 전체 허용으로 AI 검색 노출을 최대한 가져가는 설정이며 콘텐츠가 영업 자산인 B2B나 서비스업에 맞습니다. User-agent:  와 Allow: / 에 Sitemap 한 줄을 붙입니다. 둘째는 학습 봇만 차단하고 검색·인용 봇은 허용하는 설정으로 기사나 유료 리포트처럼 콘텐츠를 파는 쪽이 많이 씁니다. GPTBot, ClaudeBot, Google-Extended, CCBot에 Disallow: / 를 주고 OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot에는 Allow: / 를 줍니다. 셋째는 봇은 다 받되 /admin/, /cart, /search?, /?sort= 처럼 색인 가치가 없는 경로만 닫는 설정입니다. 선택 기준은 콘텐츠가 유입 수단인지 판매 상품인지입니다. 콘텐츠로 리드를 받는 회사는 학습 봇까지 열어 두는 편이 유리할 때가 많습니다. 모델이 브랜드를 기억하는 통로가 학습 데이터이기 때문입니다.

학습용 봇만 막으면 인용은 대체로 남습니다. 검색용 봇까지 같이 막으면 인용은 바로 사라집니다. robots.txt 스냅샷 4,242개에서 GPTBot은 허용 사이트 1곳당 차단 사이트가 1.6곳이었고 파싱된 robots.txt의 18.5%가 GPTBot을 이름으로 언급합니다. 1만 4천 개 도메인을 추적한 2024년 연구에서는 1년 사이 C4 코퍼스 토큰의 5% 이상이 robots.txt로 완전히 닫혔고 활발히 관리되는 핵심 출처만 보면 28% 이상이었습니다. 이용약관 기준으로는 C4의 45%가 크롤링 제한 아래 있습니다.

전면 차단을 택한 쪽에서 문제가 생깁니다. 제조업 H사는 보안 정책 검토 뒤 AI 봇 11개를 한꺼번에 막았고 3개월 뒤 브랜드·제품군 질문 25개에서 출처로 잡힌 답변이 0건이었습니다. 같은 질문에서 유통 대리점과 가격 비교 사이트가 대신 인용됐습니다. 학습용 4개만 남기고 검색·인용용을 되돌린 뒤 5개월째에 25개 중 11개에서 다시 출처가 됐습니다. 차단 여부는 보안 부서 혼자 정할 문제가 아니고 마케팅이 잃을 노출을 같이 계산해야 합니다. 물론 보상 없는 학습 이용이 매체 생태계를 해친다는 반대 논리도 설득력이 있습니다. 지오랭크는 그래서 전면 차단과 전면 허용 사이에서 자산 성격별로 경로를 쪼개는 방식을 권합니다. 공개 블로그는 열고 유료 자료실은 닫는 식입니다.

사고 대부분은 문법이 아니라 robots.txt가 하는 일을 잘못 안 데서 나옵니다. 자주 나오는 실수는 다음과 같습니다.

규칙이 겹칠 때 구글은 경로 글자 수가 더 긴 쪽을 따르고 길이가 같으면 덜 제한적인 Allow가 이깁니다.

올린 뒤 봇이 실제로 그렇게 읽었는지까지 확인해야 합니다.

네 번째 단계를 빼먹는 경우가 많습니다. robots.txt는 열려 있는데 CDN 봇 관리 규칙이 AI 크롤러를 403으로 돌려보내는 상황이 지오랭크 진단에서 꾸준히 나옵니다. 로그의 봇 이름도 그대로 믿으면 위험합니다. 사용자 에이전트 문자열은 누구나 적어 넣을 수 있으니 OpenAI와 퍼플렉시티가 JSON으로 공개하는 공식 IP 목록과 맞춰 봐야 합니다.

자주 묻는 질문을 정리하면 이렇습니다. 파일이 아예 없으면 크롤러는 제한 없음으로 보고 전체를 돌지만 사이트맵 위치를 알릴 자리가 없어지므로 전체 허용 규칙과 Sitemap 한 줄만이라도 적어 두는 편이 낫습니다. GPTBot만 막고 OAI-SearchBot을 열어 두면 ChatGPT 검색에서 출처로 잡힐 가능성은 남지만 학습 데이터에 브랜드 정보가 쌓이지 않아 검색 없이 모델 기억으로 답하는 질문에서는 불리해집니다. 수정한 내용은 보통 24시간 안에 반영되며 급하면 서치콘솔에서 재크롤을 요청할 수 있습니다. 다만 5xx를 내보낸 적이 있으면 최대 30일간 옛 규칙이 살아 있습니다. 봇 부하는 robots.txt만으로 잡기 어렵습니다. Crawl-delay는 구글이 지원하지 않고 Anthropic은 ClaudeBot에 적용할 수 있다고 안내하는 수준이라 CDN 캐시 적중률과 서버단 요청 제한이 더 확실합니다. 응답이 느려 봇이 타임아웃으로 돌아가면 인용 기회 자체가 사라집니다.

원문 보기: https://georank.co.kr/report/robots-txt-ai-crawler-allow-block-guide