🤖 AI가 조별과제를 한다면?

구독자님, 안녕하세요! 해킹짹짹입니다.

무더운 여름이 지나고 쌀쌀해지고 있지만, 전 세계는 AI의 엄청난 발전 속도로 달아오르고 있어요.🔥 이미 AI가 여러 산업에 걸쳐 생산성을 높여주거나, 아예 사람을 대체할 수도 있는 가능성을 보여주는데 여기에는 보안도 예외는 아니랍니다.

지난 뉴스레터 🕵️‍♀️ 해커들은 AI로 뭘 할까? 를 통해 사이버 위협 그룹이 AI를 활용하는 방법에 대해 이야기했었죠. “이러다 나쁜 해커들이 AI로 세계 정복하는거 아니야?😨“ 생각이 들 수도 있지만, 다행인 점은 AI는 보안 분야에서도 적극적으로 활용되며 긍정적인 효과도 만들어내고 있다는 것!

오늘은 보안 분야에서의 AI가 어떻게 활용되는지, 사이버 공격을 예방하는 취약점 발굴과 제보 산업인 버그 바운티에서의 활용 사례를 이야기해드리려고 해요.

💰 화이트해커들의 놀이터, 버그 바운티

화이트해커와 기업을 연결해주는 버그 바운티 플랫폼은 보안 산업에 기여하며 지속적으로 성장해왔어요. 버그 바운티 플랫폼은 기업에게는 잠재적인 취약점 해결 기회를, 해커에게는 취약점 연구와 발굴에 대한 보상을 보장했죠. 그중에서도 가장 성공한 글로벌 버그 바운티 플랫폼으로 평가받는 곳이 바로 HackerOne이에요.

HackerOne은 더욱 많은 화이트해커들의 참여를 유도하기 위해 자체 커뮤니티와 평판 시스템을 만들었는데요, 취약점 제보 횟수와 파급력 등을 기준으로 지급되는 평판 점수는 해커들에게 물질적 보상 뿐만 아니라 명예도 보장했어요. 이는 자연스럽게 해커들 사이의 선의의 경쟁으로 이어졌고, 기업 입장에서도 잠재적인 위협인 취약점을 예방하는 선순환을 유도한 똑똑한 발상이었죠.😲

🏆 AI는 지금 전문가와 경쟁하는 중

그런데 최근 이러한 경쟁에 AI가 참여하고, 심지어 순위권의 평판 점수를 받아 보안 커뮤니티를 놀라게 했다는 사실, 알고 계신가요?

출처: HackerOne

2025년 7월 20일, 미국에서 가장 많은 평판을 획득한 순위에서 3위를 기록한 XBOW가 그 주인공이에요. 2025년 6월 24일에는 무려 1위를 달성한 적도 있다고 하는데, XBOW는 어떻게 이런 순위를 달성할 수 있었을까요?🤔

🤖 XBOW의 비밀: AI들의 조별과제

XBOW 팀은 HackerOne에서의 순위를 인간의 개입을 배제한 완전 자율형 AI 침투 테스터를 사용해 달성했다고 설명해요. 그리고 이러한 성과의 비결은 바로 XBOW팀이 Alloyed Agents라고 부르는, 여러 LLM 모델의 협업 시스템을 성공적으로 구현했기 때문이라고 하는데요. 쉽게 말하면 Google의 Gemini, OpenAI의 ChatGPT, Anthropic의 Claude와 같은 여러 별개의 모델들을 모아놓고 각자 잘 하는 걸 할 수 있도록 조별과제를 낸다! 라고 생각하면 된답니다.

우리가 흔히 당하는 조별과제 절망편이 아닌, 이상적인 역할 분배를 통해 단일 모델을 썼을 때 보다 더 나은 추론과 아이디어를 생각하도록 하는 것이 XBOW 팀의 목적이었어요. 다만 이를 구현하기 위해서는 각각의 모델이 어떤 작업에 강하고, 어떤 작업에 약한지 평가하는 기준이 있어야 했고, 이것을 파악하기 위해서 XBOW 팀은 적절한 벤치마크 세트를 통해 각 모델이 잘 해결하는 취약점 유형과 환경을 분류하는 데에 많은 노력을 기울여야 했었죠.

출처: https://xbow.com/blog/alloy-agents?ref=dailydev

각 모델이 잘 하는 작업을 분류한 이후 취약점을 탐색할 때 각 작업에 적합한 모델을 선택해 번갈아 호출하는 Alloyed Agents을 적용한 결과, 그래프처럼 단일 모델을 사용했을 때 보다 훨씬 높은 성능을 보여주었다고 해요.

이러한 시스템을 실제 취약점 발굴에 적용한 결과 XBOW는 2025년 2월부터 현재까지 HackerOne에서 1092개의 제로데이 취약점 발굴과 평판 순위권이라는 놀라운 결과를 보여주었어요. 발견한 취약점 유형도 원격 코드 실행, SQL Injection, XXE, Path Traversal, SSRF, XSS 등 정말 다양했는데요, 이 많은 취약점을 AI 스스로 찾았다는 게 믿어지시나요? 🫢

👨‍💻 화이트해커를 대체하게 될 AI?

XBOW의 등장과 평판 1위라는 엄청난 성과로, "이제 AI가 인간 화이트해커를 전부 대체하는 걸까?" 라는 생각이 들 수도 있는데요.

아마 단기적으로는 현재의 AI 트렌드와 비슷하게 인간을 도와주는 파트너가 될 가능성이 높아요. AI가 단순한 시나리오에서 발생하는 취약점을 찾아주는 동안, 사람은 더 복잡하고 어렵거나 특수한 상황에서의 취약점을 찾는 것에 집중할 수 있겠죠. XBOW 팀도 AI가 찾은 취약점에 대해 HackerOne에 보고서를 제출할 때에는 전부 사람이 검증했다고 한 만큼, 단독으로 업무를 대체하기 보다는 보안 인력의 일손을 덜어주는 협력 관계🤝로 발전하지 않을까요?

AI 기술이 발전하면서, 사이버 공격 방식이 변화하는 만큼 예방하는 방식도 변하고 있어요. AI가 사이버 위협 그룹뿐만 아니라 보안 전문가에게도 얼마나 효율적인 수단이 될 수 있는지를 보여주는 XBOW의 사례, 여러분은 어떻게 생각하시나요?

그럼 다음 뉴스레터에서 만나요! 🙌

구독자님, 오늘 뉴스레터는 어떠셨나요?
해킹/보안 관련 콘텐츠를 계속 받아보고 싶으시다면 구독 부탁드려요! 🙌