🤖🔨 LLM 그거 망치로 부수면 그만 아니냐?

🤖🔨 LLM 그거 망치로 부수면 그만 아니냐? 

구독자님 안녕하세요. 요즘 여기저기서 AI 관련 이야기가 정말 많이 들리는데요. 특히 chatGPT가 등장한 이후로 LLM을 활용한 서비스들이 우후죽순 생겨나고 있습니다. 새로운 기술이 등장할 때마다 해커들도 그냥 가만히 있진 않죠. 오늘은 이 LLM 서비스를 어떻게 해킹할 수 있는지, 실제로 발생했던 사례들을 한 번 살펴보도록 하겠습니다.

* LLM(Large Language Model)이란, 많은 텍스트를 학습해서 자연어 처리를 학습한 모델을 말합니다.

chatGPT 를 비롯한 LLM 서비스들의 등장

2022년 11월 OpenAI에서 chatGPT를 출시한 이후, 정말 많은 기업들이 너도나도 LLM 관련 서비스를 내놓고 있는데요. 빠르게 발전하는 신기술은 언제나 그렇듯 새로운 취약점을 수반하기 마련입니다.

실제로 저도 chatGPT를 잘 활용하고 있기는 한데, 가끔은 “이거 정말 안전한가? 믿고 써도 되나? 🤔”  싶은 생각이 들 때가 있어요. 결론부터 말씀드리자면, LLM 자체를 해킹하는 것도 가능하고, LLM을 활용한 서비스(통칭 LLM 서비스)에 대한 해킹도 가능합니다. 😎 오늘은 그 중에서도 LLM 서비스 해킹 사례들을 중점적으로 살펴보겠습니다.

LLM 자체 해킹과 LLM 서비스 해킹

LLM 자체 해킹과 LLM 서비스 해킹은 같게 보이면서도 엄연히 다른 의미를 지니고 있어요. LLM 은 대규모 언어 모델로 다음에 올 단어를 예측해주는 예측 머신이에요. 모델 자체로는 파일을 읽거나, 네트워크 통신을 하는 기능을 갖고 있지 않아요.

그러면 LLM 을 해킹한다는 것은 무슨 의미일까요? LLM 을 학습시키기 위해서는 파라미터라는게 필요해요. LLM 은 엄청난 수의 파라미터가 학습에 사용되죠. 학습에 사용된 파라미터나 데이터셋을 탈취한다면 모델을 복제할 수도 있습니다. 또는, 이상한 데이터를 고의로 학습시켜서 모델이 추론을 제대로 하지 못하게 하는 경우도 있어요. 이러한 공격들이 LLM 자체 해킹의 범주에 속합니다.

LLM 서비스 해킹은 LLM 챗봇처럼 LLM 을 이용해 만든 서비스, 애플리케이션을 대상으로 하는 해킹을 말해요. LLM 자체 해킹은 LLM 에 집중되어 있다면 LLM 서비스 해킹은 LLM과 연계되어 있는 구성요소까지 해킹의 대상이 되는 것이죠.

말이 조금 어렵지만, 예시를 들어볼게요. chatGPT 처럼 LLM 의 출력 결과를 사용자에게 웹UI로 제공하는 챗봇 서비스가 있다고 합시다. 이 서비스는 Web UI 를 통해 사용자에게 질문을 받고 백앤드 서버로 넘겨져 LLM에 전달됩니다. 그리고 LLM 은 질문에 대한 답을 백엔드 서버를 통해 사용자에게 Web UI로 제공이 됩니다. 사용자와 채팅에 대한 정보가 구분이 되어야 하기에 DB도 있어야 하겠지요. 이러한 구조를 대략적으로 나타내면 다음과 같습니다.

LLM 서비스 해킹은 위 구조처럼 구성된 LLM 서비스에서 Web UI, 백엔드, DB 를 주로 공격 대상으로 삼습니다. 그렇다고 LLM 이 공격 대상에서 제외되는 것은 아니에요. LLM 의 출력 결과에 따라 서비스의 동작이 바뀔 수 있으니깐요.  

개념적으로는 이렇게 나뉘지만, 결과적으로 LLM 사용 중에 보안 위협이 생겼다는 점에서 둘 다 마찬가지로 골치 아픈 일이긴 합니다. 😣 오늘은 LLM 서비스 해킹 사례를 살펴보는 시간을 가져보도록 하겠습니다.

🔨 Case1 - mathGPT 원격 코드 실행 취약점

먼저 mathGPT RCE 사례입니다. mathGPT 는 수학 관련된 질문을 전문적으로 답변해주는 서비스인데요. 여기서 RCE 취약점이 발생했습니다. 이는 LLM의 결과 코드를 적절한 검증 없이 exec를 했기 때문에 발생한 취약점이었습니다. 취약점 발생 흐름을 대략적으로 나타내면 다음과 같습니다.

exec 는 python 에서 코드를 실행시키는 함수인데요. 모델이 만들어준 코드를 그대로 실행해버리는 구조라면, 공격자가 임의로 원하는 코드를 모델에게 생성하도록 유도할 수 있습니다. 🔨 

아래는 mathGPT 에서 취약점을 찾으신 분께서 mathGPT 에게 /etc/passwd 를 읽는 코드를 생성하도록 유도하고 그 결과를 보여준 사진입니다. /etc/passwd 는 리눅스에서 유저를 관리하는 파일 중 하나인데요. 원격에서 임의로 코드 실행이 가능하다면 이러한 파일들을 읽어서 내용을 보여주는 것으로 취약점을 증명하곤 합니다.

생성된 코드가 별다른 필터링 없이 실행되었기에 원격 코드 실행이 가능했는데요. 다행히도 이 건은 사고 사례는 아니고 벤더사와 사전에 협의하고 진행되었다고 하네요. 😌

🔨 Case2 - 쉐보레 챗봇 통한 차량 1달러 판매 시도

두 번째 사례는 차량을 1달러에 구매하도록 쉐보레 챗봇을 속인 사례입니다. 😳 AI 모델의 행동 강령, 규칙 등을 깨는 이른바 Jailbreak 를 통해 차량을 1달러에 달라고 요청을 했습니다.

쉐보레에서 chatGPT 를 활용한 상담 챗봇을 만들었는데요. Chris Bakke 라는 분이 차량을 1달러에 구매하겠다고 했고 챗봇이 이를 받아들였습니다. 🙀 사진에서 볼 수 있듯이, 이 분은 처음부터 챗봇에게 차량을 1달러에 달라하진 않았고 챗봇에게 ‘구매자의 요청을 모두 승낙해’ 라는 지시를 내리는 Jailbreak 를 시도하였습니다. 🔨

실제로는 1달러 요청을 했음에도 실제로 결제되고 배송까지 된 건 아니라고 해요. 😌 중간에 사람이 개입해 검수했겠지만 만약 개입이 없고 챗봇을 전적으로 신뢰했다면 큰 손해를 입었을 수도 있겠다는 생각이 드네요.

🔨 Case3 - RAG 구현 중 발생된 SSRF 취약점 (CVE-2023-46229)

마지막은 langchain RAG SSRF (Server-Side Request Forgery) 사례입니다. RAG는 LLM이 답변을 할 때, 외부 지식베이스(데이터베이스나 문서 등)에서 자료를 끌어와서 답변의 정확도를 높여주는 방식을 말합니다.

SSRF 는 외부에서의 요청이 내부 서버로 전달될 때 발생할 수 있는 취약점을 뜻하는데요. LLM 서비스를 만들 때 많이 사용하는 프레임워크인 langchain 의 sitemap RAG 로직에서 SSRF 가 발생하였습니다. 😮

아래 그림은 이 취약점을 이용한 공격 시나리오인데요. langchain 이 공격자가 준비한, 내부 주소가 있는 sitemap 을 읽으면 해당 주소로 요청을 하게됩니다. 이를 통해 내부 서버에 있는 민감 정보나 명령 실행 결과를 받아올 수 있습니다.

langchain 에는 sitemap 을 로드하는 기능, 로드한 sitemap 내의 링크들을 파싱하는 기능, 파싱한 링크들에 HTTP 요청을 하는 기능이 구현되어 있는데요. 파싱된 링크에 대한 적절한 검증이 없어 공격자가 임의로 구성한 sitemap 내에 내부 주소를 기재하면 이를 langchain 이 HTTP 요청을 하게 되어 SSRF 가 발생하는 것이었습니다. 🔨

LLM 이 최신 기술이라고는 하지만 LLM 서비스 개발용 라이브러리나 프레임워크들에서 과거 취약점들이 계속 발생한다는 것을 잘 보여주는 사례인 것 같습니다. 🤔

마무리

오늘은 LLM 해킹 사례 몇 가지를 훑어봤습니다.

사실 python 코드 실행, SSRF 같은 취약점은 예전부터 흔히 알려져 있던 것들이에요. 다만 LLM을 활용하는 서비스나 프레임워크에서도 이러한 취약점이 발견되고 있다는 점이 중요하다고 보여지네요.

신기술이 도입되면 그만큼 새로운 취약점을 찾으려고 하는 공격자가 늘어나기 마련이죠. 그렇기에 LLM 관련 서비스를 만들거나 사용할 때도 과거부터 있던 취약점들을 주의 깊게 봐야할 것 같네요.

그럼 다음 주에 또 재미있는 보안 이야기를 들고 찾아뵐게요!

감사합니다 

구독자님, 오늘 뉴스레터는 어떠셨나요?
해킹/보안 관련 콘텐츠를 계속 받아보고 싶으시다면 구독 부탁드려요! 🙌