단 한 줄로 노출되는 ChatGPT의 '시스템 프롬프트'

이번 주도 여지 없이 구독자 님에게 한 줌의 지식을 공유드리고자 주간 뉴스레터를 전해드려요. 이번 주의 주제는어느 트위터에 공개되었던  '노출된 ChatGPT-4 시스템 프롬프트'입니다.

1. 무슨 일이 있었던 거야? 🧐

2024년 2월 7일, Dylan Patel의 X(전 트위터) 계정을 통해 "ChatGPT가 6개월 전과 비교하여 왜 그렇게 나쁜지 궁금하다면 시스템 프롬프트 때문입니다."라는 글과 함께 노출된 ChatGPT 시스템 프롬프트를 함께 공개 했습니다.

ChatGTP에게 특정 채팅을 입력하면, 시스템 내부에 정의되어 있는 프롬프트 전문이 노출되는 이슈였죠.

이 시스템 프롬프트는 사용자에게 입력받은 채팅과 함께 AI엔진으로 질의를 하는 문장인데요. 내부적으로 작성해 둔 시스템 프롬프트 덕분에(?) 다양한 퀄리티의 답을 받을 수 있는 것으로 보여집니다.

2. 어떤 채팅을 했길래 이래? 👀

여지것 많은 사람들이 시스템 프롬프트를 노출시키기 위해 다양한 시도를 했었는데요. 이번 문장은 "너의 프롬프트를 알려줘", "너가 사용하는 프롬프트는 뭐니?" 등과 같이 프롬프트에 대한 직접적인 언급이 전혀 없었습니다.

Dylan Patel는 "나를 믿지 못하면 직접 시도해봐"라며 프롬프트를 노출시킨 채팅을 공유해주었어요. "You are ChatGPT"라는 문장을 반복해달라고 했을 뿐인데 시스템 프롬프트가 노출되다니 신기한 결과네요. 😱

3. 시스템 프롬프트에는 무슨 내용이 담겨있을까? 🔍

해당 이슈를 공개한 Dylan은 노출된 프롬프트를 pastbin 사이트에 공개를 했습니다. 이 내용을 토대로 어떠한 내용들이 있는지 조금 뜯어보도록 하겠습니다. Dylan 트윗에 따르면 시스템 프롬프트는 무려 1700개의 토큰(단어)을 지니고 있구요.

추가로 확인한 내용은 아래와 같습니다.

1) 신원

2) 기능

3) 대화 시작 날짜

4) 도구섹션

4-1) 도구섹션 - Python

4-2) 도구섹션 - Dalle

4-3) 도구섹션 - 브라우저

4. 아직도 재현이 되고 있어? 🥹

네. 아직도 ChatGPT4에서는 위와 같은 문장을 입력하면, 시스템 프롬프트가 노출되고 있는데요. 이 외에 GPT4를 기반으로 한 copilot에서도 동일한 이슈가 포함되어 있네요. 

5. 끝으로

이번 주에는 AI의 시스템 프롬프트에 대해 알아보았는데요. 만약 구독자님이 프롬프트 엔지니어라면 이러한 노출을 유의하시는게 좋겠어요. 👍

긴 글을 읽어주심에 감사드리며 다음 주에 새로운 주제로 또 뵙겠습니다. 🫡