🔎 #330: 속도를 높이고 비용을 낮추는Claude 프롬프트 캐싱

구독자님, 안녕하세요?
매일 1개의 프롬프트를 배달해드리는 Daily Prompt입니다. 

오늘은 속도를 높이고 비용을 낮추는Claude 프롬프트 캐싱을 소개합니다. 

속도를 높이고 비용을 낮추는Claude 프롬프트 캐싱

by 🍊소영

Claude의 개발사 Anthropic은 Claude 3.5 Sonnet 및 Claude 3 Haiku 모델 API에 “프롬프트 캐싱”이라는 새로운 기능을 발표하였습니다. 프롬프트 캐싱은 AI가 이전에 처리했던 정보를 기억해 두고, 비슷한 요청이 있을 때 다시 사용하는 기능입니다. [Claude 공식 문서 보기]

프롬프트 캐싱 기능을 사용하면 AI의 응답이 빨라지고, 토큰 당 사용되는 비용도 감소합니다. 아래 표를 보시면, 프롬프트 캐싱이 적용된 후 응답 지연 시간(Latency)과 비용 절감 효과(Cost reduction)가 어떻게 개선되었는지 확인하실 수 있습니다.

이해를 돕기 위해, 프롬프트 캐싱 적용 전후를 비교해보면 다음과 같습니다.

사례: 음성 인식 기반 AI 비서

AI 비서를 사용할 때, 자주 반복되는 요청이 있을 수 있습니다. 예를 들어, 매일 아침 AI 비서에게 “오늘 날씨 어때?“라는 질문을 한다고 가정해보겠습니다.

프롬프트 캐싱 전:

매일 아침, “오늘 날씨 어때?“라는 질문을 하면, AI 비서는 매번 새로운 명령처럼 이 질문을 받아서 날씨 정보를 조회하고 응답합니다. 이 과정에서 날씨 정보를 받아오는 시간과 데이터 처리 비용이 발생합니다.

프롬프트 캐싱 후:

• AI 비서는 “오늘 날씨 어때?“라는 질문을 한 번 처리한 후, 이 질문과 관련된 명령을 캐시에 저장해둡니다.

• 다음 날, 같은 질문을 하면 AI 비서는 이미 저장된 명령을 사용해 훨씬 빠르게 응답할 수 있습니다.

여기서 "오늘 날씨 어때?"라는 질문과 관련된 명령은 이런 것입니다:

1. 날씨 정보 조회:

• AI 비서가 “오늘 날씨 어때?“라는 질문을 받으면, 먼저 사용자의 위치 정보를 기반으로 해당 지역의 날씨 데이터를 조회하는 명령을 실행합니다.

• 이 명령은 “위치 기반 날씨 정보 가져오기”로 표현될 수 있습니다.

2. 현재 시간 확인:

• 현재 시점의 날씨를 조회해야 하기 때문에, AI 비서는 시스템 시계를 확인해 현재 날짜와 시간을 가져오는 명령을 실행합니다.

• 이 명령은 “현재 시간 가져오기”로 표현될 수 있습니다.

3. 날씨 데이터 분석:

• 조회한 날씨 데이터에서 사용자가 궁금해하는 핵심 정보(예: 기온, 강수 확률 등)를 추출하는 작업이 필요합니다.

• 이 명령은 “날씨 데이터 분석 및 요약”으로 표현될 수 있습니다.

4. 응답 생성:

• 분석된 데이터를 바탕으로 사용자에게 제공할 응답을 생성합니다. 예를 들어, “오늘 기온은 25도이고, 맑을 것으로 예상됩니다.“라는 응답을 생성하는 명령이 포함됩니다.

• 이 명령은 “응답 문장 생성”으로 표현될 수 있습니다.

프롬프트 캐싱을 적용한다면, 위의 각 명령(위치 확인, 시간 확인, 날씨 정보 조회, 데이터 분석, 응답 생성 등)을 한 번 처리한 후, 해당 명령들을 캐시해둡니다. 이후 같은 질문이 들어오면, 처음부터 모든 명령을 다시 실행할 필요 없이 캐시된 명령들을 재사용할 수 있게 됩니다.

예를 들어, 특정 사용자가 매일 같은 시간에 날씨를 물어본다면, AI 비서는 이미 캐시된 명령들을 사용해 빠르게 날씨 정보를 제공할 수 있습니다. 이로 인해 응답 시간이 줄어들고, 시스템 리소스를 효율적으로 사용할 수 있게 됩니다.

마무리

1) 정리하자면, 사용자 입장에서는 이 기능이 적용된 서비스를 썼을 때 AI의 답변이 빨라지는 효과가 있고, 서비스 개발자 입장에서는 API 사용료를 아낄 수 있게 됩니다.

2) 프롬프트 캐싱은 영구적으로 저장되지 않고, 일정 시간(5분) 동안만 유효합니다. 이 기능은 AI가 처리한 데이터를 일시적으로 저장하기 때문에, 민감한 데이터가 캐시될 경우 보안 문제가 발생할 수 있습니다. 따라서, 서비스 제공자는 적절한 보안 정책을 마련하는 것이 필요할 수 있으며, 사용자도 민감한 데이터를 입력하지 않도록 주의하는 것이 좋습니다.

3) 개발 백그라운드가 전혀 없는 제게는 'Claude 프롬프트 캐싱'이 어떤 것인지, 어떤 의의가 있는 것인지 처음에는 이해하기가 어려웠습니다. 아주 낯선 개념이었죠. ChatGPT에게 관련 텍스트 정보를 주고, '개발 지식이 없으니 이해를 돕기 위해 예시를 들어달라'고 요청하자, 본문에 적은 것과 같이 음성 인식 기반 AI 비서를 사용할 때 프롬프트 캐싱 전후 어떻게 다른지 상세히 설명해주었습니다. 덕분에 어렵지 않게 이번 소식을 이해할 수 있게 되었습니다. 구독자님은 어떠셨나요? 구독자님께도 이해를 돕는 사례였길 바라봅니다 :)

오늘의 Midjourney 프롬프트

프롬프트 제공: @jae_hong__an

오늘의 프롬프트:  riso print illustration of anti Nationalist, protest, at the underwater, deep sea, sunk destroyed city, end of civilization, hyper detailed, fractal --ar 16:9 --c 5 --v 6.1 --style raw

그동안 배달한 프롬프트 보기

프롬프트가 필요하다면

뉴스레터 '데일리 프롬프트'는 2023년 5월에 시작하여, 오랜 관심을 바탕으로 다음과 같이 책을 출간하였습니다. 일상과 업무에서 사용할 수 있는 ChatGPT프롬프트가 필요하시다면 <데일리 프롬프트 101>을, 이미지 생성 AI를 집중적으로 탐구하고 싶은 분은 <AI 원더랜드>를 추천드립니다.

Midjourney 프롬프트를 잘 쓰고 싶다면

생생하고 상세한 설명과 함께 Midjourney 사용법을 배우고 싶다면, 재홍님의 온라인 강의를 추천드립니다:)

* 강의는 다음 내용을 포함할 예정입니다. 자세한 커리큘럼은 여기를 클릭해주시면 됩니다.
  - 17가지 생성형 AI 툴 조합 노하우
  - 활용도 높은 6가지 카테고리+3가지 영상 제작 방법
  - 프롬프트 생성기+AI 활용 가이드북 제공

고퀄리티 이미지와 영상 제작법 강의듣기

* 강의 수강 관련 문의: 패스트캠퍼스 고객센터 (링크, 02-501-9396)

카카오톡 문의하기 [클릭]
www.secondbrush.co.kr