SEO·GEO 성과는 왜 실험으로만 증명될까?

SEO·GEO 성과는 왜 실험으로만 증명될까?

순위표와 가시성 점수는 예산을 지켜주지 않습니다. 재무 담당자를 설득하는 건 "이 변경이 트래픽을 24% 올렸다"는 실험 결과 한 줄입니다. 엔터프라이즈 이커머스에서 수천 건의 SEO 실험을 돌린 SearchPilot 데이터는 같은 결론을 반복합니다. 상식처럼 통용되던 최적화 관행이 실험에서 뒤집히는 경우가 흔하다는 것입니다. 메타 디스크립션을 정성껏 쓰는 대신 지우는 쪽이 이겼고 제목 태그에서 비교 표현을 빼자 트래픽이 24% 올랐습니다. AI 검색으로 넘어와도 구조는 같습니다. 인용률이 올랐는지 내렸는지는 반복 측정과 대조군 없이는 판단이 불가능합니다.

지오랭크는 실험 설계에서 어떤 시행착오를 겪었을까?

지오랭크가 처음 돌린 GEO 실험은 실패했습니다. 대조군을 두지 않고 전 페이지를 한꺼번에 바꿨기 때문입니다. B2B SaaS 기업 A사의 상품 설명 페이지 180개를 동시에 개편하고 6주 뒤 ChatGPT 인용률을 재봤더니 12%에서 19%로 올라 있었습니다. 문제는 같은 기간에 A사가 언론 보도 3건을 냈고 경쟁사 한 곳이 리뉴얼 중 인용 대상에서 이탈한 것입니다. 상승분 7%p 중 얼마가 구조 개편의 몫인지 아무도 답할 수 없었습니다.

두 번째 회차부터 트래픽과 계절 변동 패턴이 비슷한 페이지끼리 짝을 지어 대조군 90개, 변경군 90개로 나눴습니다. 변경군의 인용률 상승은 4.1%p, 대조군은 2.3%p였습니다. 순효과는 1.8%p로 처음 믿었던 7%p의 4분의 1이었습니다. 실망스러웠지만 방어 가능한 숫자였고 A사 마케팅 팀장이 이 결과로 다음 분기 GEO 예산을 승인받았습니다.

커머스 기업 E사에서는 반대 방향의 교훈을 얻었습니다. 상품 상세 페이지 FAQ 블록을 접힌 상태에서 펼친 상태로 바꾸는 실험을 4주 돌렸더니 비브랜드 오가닉 유입이 6.8% 올랐습니다. "모바일 화면이 길어져 이탈이 늘 것"이라는 내부 반대가 강했는데 실험이 그 직관을 뒤집었습니다. 반면 같은 페이지의 구조화 데이터 확장 실험은 8주를 돌려도 신뢰구간 하한이 음수를 벗어나지 못했습니다. 효과가 없었다기보다 E사 트래픽 규모로는 그 크기의 변화를 검출할 수 없었다는 뜻입니다. 검출 가능한 최소 효과 크기를 먼저 계산해야 한다는 걸 이때 배웠습니다.

SEO 실험이란 무엇인가?

SEO 실험은 사용자를 나누는 일반 A/B 테스트와 달리 페이지를 나눕니다. 같은 템플릿을 쓰는 페이지 군을 통계적으로 닮은 두 그룹으로 쪼개고 한쪽에만 변경을 적용해 검색엔진의 반응 차이를 봅니다. 검색엔진은 페이지 하나에 버전 하나만 인식하므로 사용자 단위 분할이 성립하지 않습니다.

실험 유형은 네 가지로 갈립니다. 페이지 분할 실험은 동일 템플릿 100개 이상이 필요하고 2~4주면 제목 태그·내부 링크·스키마를 판정할 수 있습니다. 전후 비교 실험은 안정적 기준선 8주가 필요하고 판정에 8~12주가 걸리며 랜딩 페이지 전면 개편에 적합합니다. 프롬프트 반복 실험은 프롬프트 10~20개로 2~3주면 AI 인용률과 브랜드 점유율을 봅니다. 지역 분할 실험은 지점 30개 이상에서 4~6주간 로컬 GEO와 지도 노출을 검증합니다.

실행 순서는 다섯 단계입니다.

실험 설계는 어디서부터 손대야 할까?

비브랜드 오가닉 유입이 가장 많이 발생하는 페이지 유형부터 손대는 게 효율적입니다. 이커머스 실측에서 비브랜드 트래픽 비중은 홈페이지 4%, 상품 목록 페이지 70%, 상품 상세 페이지 85%로 갈립니다. 홈페이지 히어로 영역에 몇 주를 쓰는 조직이 많지만 실험 가치는 목록·상세 페이지 쪽에 몰려 있고 페이지 수가 많아 검출력도 확보됩니다.

실험에서 뒤집힌 관행은 이렇습니다. 제목 태그의 비교 표현은 클릭을 유도한다고 믿었지만 제거 후 트래픽이 24% 올랐습니다. 모바일 콘텐츠는 접는 쪽이 유리하다고 봤는데 펼친 상태가 7.5% 높았습니다. 캐노니컬 구조를 재구성하자 상품 페이지 유입이 22% 늘었고 메타 디스크립션과 키워드 문구 블록은 제거했을 때 오히려 유입이 올랐습니다.

메타 디스크립션 사례는 특히 시사적입니다. 검색엔진은 질의마다 다른 스니펫을 조립할 수 있는데 고정된 설명문을 박아두면 그 유연성을 스스로 빼앗는 셈입니다. AI 검색도 같습니다. 요약을 너무 강하게 고정하면 모델이 문맥에 맞는 문장을 뽑아갈 여지가 줄어듭니다.

판정 기준도 짚어야 합니다. SearchPilot은 p값 대신 베이지안 사전확률 기반 신뢰구간을 쓰고 구간 하한이 양수로 유지될 때만 승리로 기록합니다. A/A 테스트 오탐률은 5% 수준입니다. 최근에는 신경망 예측 모델로 민감도를 두 배 높여 기존 절반 크기의 상승폭까지 검출합니다. 대형 사이트에서 1~2% 상승도 매출로는 큰 금액이라 이 감도 차이가 실행 근거를 가릅니다.

함정도 있습니다. 알고리즘 업데이트나 계절성은 두 그룹에 동시에 작용해 대부분 상쇄되지만 한쪽에만 걸리는 외부 사건이 문제입니다. 특정 상품군에 프로모션이 붙거나 재고가 빠지면 짝짓기가 깨집니다. 실험 기간 중 대조군 예측값을 갱신하며 변경군 예측을 보정하는 절차가 필요합니다.

트래픽 감가상각을 예산 언어로 바꾸는 방법

오가닉 트래픽은 가만히 두면 매년 10~20% 줄어듭니다. 엔터프라이즈 이커머스 실측에서 연 -13%, -12% 수준의 자연 감소가 관측됐습니다. 투자를 유지해 전년과 같은 트래픽을 만들었다면 그건 정체가 아니라 12~13%의 손실을 막아낸 성과입니다. 이 프레임 없이 보고하면 "작년과 같네요"라는 평가를 받습니다.

거시 데이터도 같은 방향입니다. 2025년 상반기 퍼블리셔 중간값은 전년 대비 -10%였고 뉴스는 -7%, 비뉴스 사이트는 -14%였습니다. AI Overviews가 붙은 정보성 질의의 오가닉 CTR은 2024년 6월부터 2025년 9월까지 61% 떨어졌습니다. Seer Interactive가 노출 2,510만 건을 분석한 수치입니다. 콘텐츠 유형별로는 How to 형식이 1년 뒤에도 피크 트래픽의 30% 정도를 유지해 가장 오래 버팁니다.

예산 배분의 불균형은 여기서 드러납니다. 한 이커머스 기업의 재무 책임자는 "신규 고객의 60%가 오가닉 검색에서 오는데 예산의 80%는 유료 검색에 씁니다"라고 말했습니다. Gartner의 2026년 CMO 지출 조사에서 마케팅 예산은 매출의 7.8% 수준이고 유료 미디어가 31%로 단일 항목 최대입니다. 오운드·언드 미디어 안에서 SEO는 9.4%로 가장 큰 비중이었고 전년 8.9%에서 소폭 올랐습니다. AI 관련 투자에는 15.3%가 배정됐습니다. 마케터 49%가 오가닉 검색을 최고 ROI 채널로 꼽는데도 예산은 그쪽으로 가지 않습니다.

이 격차를 좁히는 건 논리가 아니라 실험 기록입니다. "이 변경으로 비브랜드 유입이 22% 올랐고 해당 페이지군의 월 매출 기여는 X원이다"라는 문장 열 개가 쌓이면 SEO·GEO는 브랜딩 항목에서 성과 채널로 옮겨갑니다. 지오랭크가 제안서에 실험 로그 템플릿을 넣는 이유입니다. 다만 실험은 검증된 변경의 효과만 말해줄 뿐 검증하지 않은 영역의 잠재력은 알려주지 않습니다. 실험 결과를 절대 기준으로 쓰면 탐색적 투자가 위축됩니다.

GEO 실험은 SEO 실험과 무엇이 다를까?
가장 큰 차이는 응답 자체가 확률적이라는 점입니다. 같은 프롬프트를 같은 모델에 열 번 넣으면 열 번 다른 출처 목록이 나올 수 있어 단발 측정으로는 결론을 낼 수 없습니다. AI 가시성 측정의 통계적 성질을 다룬 연구는 인용 가시성 지표를 고정값이 아니라 어떤 응답 분포에서 뽑은 표본 추정량으로 취급해야 한다고 정리합니다. 인용 분포는 멱함수 형태를 띠고 반복 표본 간 변동이 큽니다. 부트스트랩 신뢰구간을 계산해보면 도메인 간 차이라고 믿었던 값 상당수가 측정 잡음 범위에 들어갑니다.

실무적으로는 이렇게 번역됩니다. GEO 실험에서는 페이지를 쪼개는 것만으로 부족하고 프롬프트 반복 횟수를 함께 설계해야 합니다. 지오랭크는 탐색 단계에서 프롬프트당 5~7회, 변경 효과를 확인할 때 10~12회, 대외 보고용으로는 15~20회를 기준으로 삼습니다. 반복이 적으면 실제 변화와 잡음을 구분하지 못합니다.

측정 대상도 갈라집니다. 한 측정 프레임워크 연구는 인용을 두 단계로 나눕니다. 플랫폼이 검색을 발동해 출처를 고르는 인용 선택과 선택된 페이지가 최종 답변의 표현·근거·구조에 실제로 기여하는 인용 흡수입니다. 602개 통제 프롬프트를 ChatGPT와 구글 AI Overview·Gemini, Perplexity에 돌린 결과 인용 폭과 인용 깊이가 서로 다른 방향으로 움직였습니다. Perplexity와 구글은 평균적으로 더 많은 출처를 인용하고 ChatGPT는 출처 수가 적은 대신 가져온 페이지의 인용 영향력이 훨씬 높았습니다. 실험 지표를 "인용 여부"로만 잡으면 흡수 단계의 개선을 놓칩니다.

GEO 최적화를 처음 체계화한 연구는 25개 도메인의 질의 1만 개로 기법을 비교하고 위치 보정 단어 수 지표로 가시성 상승을 측정했습니다. 실험실 결과를 Perplexity 실환경에서 재확인하는 절차까지 넣었습니다. 통제된 실험 설계가 GEO에서도 표준 방법론으로 자리잡고 있다는 신호입니다.

플랫폼별로 반응이 갈리는 것도 실험을 어렵게 만듭니다. 같은 변경이 ChatGPT에서는 인용률을 올리고 Perplexity에서는 변화가 없는 경우가 흔합니다. 지오랭크는 플랫폼별로 지표를 따로 기록하고 합산 점수를 만들지 않습니다. 하나로 묶으면 어느 플랫폼에서 무엇이 통했는지가 사라집니다.

기간 문제도 남습니다. SEO 실험은 2~4주면 판정이 되지만 GEO 실험은 모델 업데이트가 중간에 끼면 기준선 자체가 움직입니다. 대상 모델의 버전 변경 이력을 기록해두고 전후를 분리해 분석하는 습관이 필요합니다. 완벽한 통제는 불가능하고 기록으로 방어하는 수밖에 없습니다.

실험 관련 자주 묻는 질문

페이지가 100개도 안 되는 사이트는 실험을 못 하나요? 페이지 분할 실험은 어렵지만 프롬프트 반복 실험과 전후 비교 실험을 조합할 수 있습니다. 프롬프트 10~20개를 정해 변경 전 2주, 변경 후 2주를 각각 10회 이상 반복 측정하면 방향성은 확인됩니다. 단 대조군이 없으므로 참고 지표로 다뤄야 합니다.

실험 기간에 다른 SEO 작업을 멈춰야 하나요? 같은 페이지 군에 대해서는 멈춰야 하고 다른 템플릿이나 섹션 작업은 병행해도 무리가 없습니다. 실험 대상 템플릿에 한해 배포 동결을 걸고 나머지는 정상 진행하는 방식이 현실적입니다.

결과가 애매하게 나오면 실패인가요? 효과가 없다는 뜻이 아니라 그 크기의 변화를 검출할 데이터가 부족했다는 뜻일 가능성이 큽니다. 신뢰구간이 -3%~+8%처럼 넓게 걸쳐 있으면 검출력 부족이고 -0.5%~+0.7%처럼 좁게 0을 감싸면 실제 효과가 미미했을 가능성이 높습니다.

GEO 실험 결과를 경영진에 어떻게 보고하면 좋을까요? 단일 숫자 대신 구간과 반복 횟수를 함께 적습니다. "ChatGPT 인용률 12%→19%"보다 "프롬프트 15개를 각 15회 반복, 인용률 순증 1.8%p, 95% 구간 0.4~3.2%p"가 방어에 유리합니다.

실험 없이 업계 벤치마크만 따라가면 안 되나요? 벤치마크는 가설 후보를 좁히는 데 유용하지만 같은 변경이 사이트 구조와 템플릿에 따라 반대로 작동하는 경우가 많습니다. 벤치마크로 후보를 만들고 실험으로 확정하는 순서를 권합니다.

원문 보기: https://georank.co.kr/report/seo-geo-experiment-design-performance-proof