[AI 크롤러 봇] 무조건 막아야 할까?

1st.

웹 트래픽 증가, 반드시 좋은 소식일까요?

최근 국내 기자협회보에서 봇으로 인한 트래픽 급증 문제를 비중 있게 다루었습니다. 기사에서 언급한 특정 언론사의 경우, 평소 일일 100만 건 수준이던 요청이 특정 시점에 272만 건 까지 급증해 분석해 본 결과, 상당 부분이 실제 사용자가 아닌 봇에 의해 발생한 것으로 나타났습니다. 

트래픽 급증이 웹사이트의 인기가 높아진 것처럼 보일 수 있지만, 실제로는 자동화된 봇이 반복적으로 페이지를 요청하고 있었던 것입니다. 이런 트래픽은 실제 사용자 유입이나 전환으로 이어지지 않으면서 서버와 네트워크 리소스를 불필요하게 소비합니다. 

2nd.

봇 차단에 대한 찬반 논쟁 

그렇다고 모든 봇 트래픽이 불필요한 것은 아닙니다. Google과 같은 검색 엔진이나 생성형 AI 크롤러는 새로운 정보와 콘텐츠를 발견하고 검색 결과나 답변을 구성하는 데 중요한 역할을 합니다. 그렇기에 해외에서도 크롤러에 대한 논쟁이 이어지고 있습니다. 

검색 엔진이 콘텐츠를 크롤링하면 검색 결과에 노출되고, 사용자가 원하는 사이트에 방문해 트래픽과 광고, 구매 등 비즈니스 성과를 얻었습니다. 하지만 AI 검색이 직접 답변을 제공하면 사용자는 웹사이트 이동 없이 콘텐츠만 제공 받습니다. 서버 및 네트워크 리소스와 비용 증가 뿐, 보상은 없는 구조 탓에 크롤러 봇 차단을 심각하게 고려하는 기업이 늘고 있습니다.

그럼에도 전면 차단은 매우 위험한 선택입니다. 여전히 구글 검색 등이 전체 트래픽의 상당 부분을 차지하는 상황에서, 봇을 막았다가 핵심 유입 경로를 잃을 수 있으며 콘텐츠가 발견될 기회도 줄어들 수 있습니다.

3rd.

정교한 구분과 관리가 해답.

다양한 역할로 접근하는 모든 봇을 관리함에 있어 중요한 것은 어떤 봇인지 구분하고, 각각의 봇에 맞는 정책을 적용하는 세밀한 맞춤형 관리 방안이 필요합니다.

최근 정교화된 자동화 봇을 단순히 User-Agent만으로 구분할 수는 없습니다. 정상 브라우저에서 발생하는 요청처럼 User-Agent를 위장하거나, 실제 사용자의 행동 패턴을 모방하거나, 여러 IP와 세션을 분산해 탐지를 피하기도 합니다. 따라서 다양한 신호를 종합적으로 분석해 봇을 정확히 판단해야 합니다. 

또한, 과거의 단순 봇 차단 대응 방안을 '봇 관리'의 개념으로 발전시켜, 각각의 봇을 식별하고 분류하고 제어해야 합니다. 

What We Do.

복잡한 봇 관리, 전문 솔루션 '봇매니저(BotManager)'에 맡기세요. 

앞으로 기업에게 필요한 것은 봇을 막는 기술이 아닌, '봇을 구분하고 관리하는 기술'입니다.

하지만, 하루에도 수십만, 수백만 건의 요청이 발생하는 웹사이트에서 봇의 접근을 관리자가 수동으로 파악하고 일일이 제어하는 것은 거의 불가능합니다. 그래서, 에스티씨랩의 봇매니저(BotManager)와 같은 전문적인 봇 관리 솔루션이 필요합니다. 

Read More...

다 담지 못한 내용과 더 많은 인사이트를 확인해보세요.

IT 운영 환경과 고객 경험을 위한 다양한 고민이 담겨 있습니다.