Public Cloud

๐Ÿ”ญAWS, OpenAI๋ฅผ ๊ฒจ๋ƒฅํ•œ LLM ํ”„๋ ˆ์ž„์›Œํฌ ๋ฐœํ‘œ!

AWS๊ฐ€ OpenAI์˜ ChatGPT๋ฅผ ๊ฒจ๋ƒฅํ•ด ์ƒˆ๋กœ์šด LLM ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์„ ๋ณด์ž…๋‹ˆ๋‹ค.

2024.01.22 | ์กฐํšŒ 979 |
0
|
DevOps ์—ฌํ–‰์„ ์œ„ํ•œ ์†Œ์‹์ง€์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€

DevOps ์—ฌํ–‰์„ ์œ„ํ•œ ์†Œ์‹์ง€

DevOps, ํด๋ผ์šฐ๋“œ, IT ๊ธฐ์ˆ  ๊ด€๋ จ ์ตœ์‹  ์†Œ์‹๊ณผ ์ •๋ณด๋ฅผ ์ •๋ฆฌํ•ด์„œ ์ฃผ 1ํšŒ ์ด๋ฉ”์ผ๋กœ ์ „ํ•ด๋“œ๋ฆฝ๋‹ˆ๋‹ค๐Ÿ˜บ

์•ˆ๋…•ํ•˜์„ธ์š” ๊ตฌ๋…์ž๋‹˜, ์ตœ์‹  DevOps ์†Œ์‹์„ ์ •๋ฆฌํ•ด์„œ ๊ณต์œ ํ•ด๋“œ๋ฆฌ๋Š” DevOps ์—ฌํ–‰์„ ์œ„ํ•œ ์†Œ์‹์ง€์ž…๋‹ˆ๋‹ค.

์ด๋ฒˆ ์†Œ์‹์ง€์—์„  Amazon Web Services์—์„œ ์ƒˆ๋กœ ์ œ์•ˆํ•œ LLM ํ”„๋ ˆ์ž„์›Œํฌ Panda์— ๋Œ€ํ•ด ๋‹ค๋ค„๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.

 

๐ŸผAWS์—์„œ ์„ ๋ณด์ธ ์ƒˆ๋กœ์šด LLM ํ”„๋ ˆ์ž„์›Œํฌ, Panda

AWS์˜ AI Lab์—์„œ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์— ํŠนํ™”๋œ LLM ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์†Œ๊ฐœํ–ˆ์Šต๋‹ˆ๋‹ค. Panda๋ผ๋Š” ์ด๋ฆ„์„ ๊ฐ€์ง„ ์ด๋ฒˆ ํ”„๋ ˆ์ž„์›Œํฌ๋Š”, ์‚ฌ์ „ ํ›ˆ๋ จ๋œ LLM์— ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ํŠนํ™”๋œ ๋ฌธ๋งฅ(Context)์„ ์ ์šฉ์‹œํ‚จ ๊ฒƒ์ด ํŠน์ง•์ด๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค.

์ฐธ๊ณ ๋กœ Panda๋ผ๋Š” ์ด๋ฆ„์€ ํ’€๋„ค์ž„ Performance Debugging for Databases using LLM Agents์—์„œ ๋”ฐ์˜จ ๊ฑฐ๋ผ๊ณ  ํ•˜๋„ค์š”.๐Ÿ˜€

AWS๋Š” 'ChatGPT์ฒ˜๋Ÿผ ๊ธฐ์กด LLM ์„œ๋น„์Šค๋Š” ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์— ๊ด€ํ•œ ์งˆ๋ฌธ์— ๋Œ€ํ•ด ์• ๋งคํ•˜๊ฑฐ๋‚˜ ์ผ๋ฐ˜์ ์ธ ๋‹ต๋ณ€์„ ํ•  ๋ฟ, ์ˆ™๋ จ๋œ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ์—”์ง€๋‹ˆ์–ด์—๊ฒŒ ์œ ์šฉํ•œ ๋„์›€์„ ์ฃผ์ง„ ์•Š๋Š”๋‹ค'๋ฉฐ, 'Panda๋Š” ์‚ฌ์ „ ํ›ˆ๋ จ๋œ LLM์— ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค Context๋ฅผ ์—ฐ๊ฒฐ์‹œํ‚ด์œผ๋กœ์จ, ๋”์šฑ ์œ ์šฉํ•˜๊ณ  ํŠน์ • ์ƒํ™ฉ์— ์•Œ๋งž์€ ํŠธ๋Ÿฌ๋ธ”์ŠˆํŒ… ์กฐ์–ธ์„ ์ œ๊ณตํ•  ์ˆ˜ ์žˆ๋‹ค'๊ณ  ๋ฐํžˆ๋ฉฐ Panda๋ฅผ ์ œ์•ˆํ•œ ์ด์œ ๋ฅผ ์„ค๋ช…ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

Panda ํ”„๋ ˆ์ž„์›Œํฌ๋Š” Grounding, Verification, Affordance, Feedback ๋ฉ”์ปค๋‹ˆ์ฆ˜์œผ๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.
Panda ํ”„๋ ˆ์ž„์›Œํฌ๋Š” Grounding, Verification, Affordance, Feedback ๋ฉ”์ปค๋‹ˆ์ฆ˜์œผ๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.

๊ทธ๋ ‡๋‹ค๋ฉด Panda๋Š” ์–ด๋–ป๊ฒŒ ๋”์šฑ ์œ ์šฉํ•œ ๋‹ต๋ณ€์„ ์ œ๊ณตํ•  ์ˆ˜ ์žˆ๋Š” ๊ฑธ๊นŒ์š”? Panda์˜ ์ฃผ์š” ํŠน์ง• 4๊ฐ€์ง€๋ฅผ ์ •๋ฆฌํ•˜๋ฉฐ ์•Œ์•„๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.

  • Grounding(๋ฌธ๋งฅ ์—ฐ๊ฒฐ): ์‹ค์ œ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ํŠธ๋Ÿฌ๋ธ”์ŠˆํŒ… ๋ฌธ์„œ์™€ ๊ณ ๊ฐ์ด ๋งˆ์ฃผ์นœ ์ด์Šˆ ์ค‘ ์ด๋ฏธ ํ•ด๊ฒฐ๋œ ์ด์Šˆ ๋“ฑ์˜ ์ •๋ณด๋ฅผ ํ™œ์šฉํ•˜์—ฌ ๋”์šฑ ์œ ์šฉํ•œ ์†”๋ฃจ์…˜ ์ œ๊ณต ๊ฐ€๋Šฅ
  • Verification(๊ฒ€์ฆ): ์ƒ์„ฑ๋œ ๋‹ต๋ณ€์„ ์—ฐ๊ด€ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€์ง€๊ณ  ๊ฒ€์ฆ ๋ฐ ์‚ฌ์šฉ์ž์—๊ฒŒ ์ธ์šฉ์œผ๋กœ ์ œ๊ณต ๊ฐ€๋Šฅ
  • Affordance(ํ–‰๋™ ์œ ๋„): ์ƒ์„ฑ๋œ ์กฐ์–ธ์„ ์‹ค์ œ๋กœ ์ˆ˜ํ–‰ ์‹œ ์ผ์–ด๋‚  ์ˆ˜ ์žˆ๋Š” ๊ฒฐ๊ณผ๋ฅผ ํ”„๋ ˆ์ž„์›Œํฌ๊ฐ€ ์‚ฌ์šฉ์ž์—๊ฒŒ ์•Œ๋ ค์ค„ ์ˆ˜ ์žˆ์Œ
  • Feedback(ํ”ผ๋“œ๋ฐฑ): ์‚ฌ์šฉ์ž๋กœ๋ถ€ํ„ฐ ํ”ผ๋“œ๋ฐฑ์„ ๋ฐ›๊ณ , ์ถ”ํ›„ ๋‹ต๋ณ€ ์ƒ์„ฑ ์‹œ ์ด๋ฅผ ๊ณ ๋ คํ•  ์ˆ˜ ์žˆ์Œ

AWS๋Š” ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ์—”์ง€๋‹ˆ์–ด๋“ค์„ ๋ชจ์ง‘ ํ›„ ์ˆ™๋ จ๋„์— ๋”ฐ๋ผ 3๊ฐœ์˜ ๊ทธ๋ฃน์œผ๋กœ ๋‚˜๋ˆ  Panda๋ฅผ ์‹œ์—ฐํ–ˆ๋‹ค๊ณ  ํ•˜๋Š”๋ฐ์š”. ๋Œ€๋ถ€๋ถ„์˜ ์—”์ง€๋‹ˆ์–ด๋“ค์ด Panda๋ฅผ ๊ธ์ •์ ์œผ๋กœ ํ‰๊ฐ€ํ–ˆ๋‹ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค.๐Ÿ‘

 

๊ฐ€๋ณ๊ฒŒ ์ฝ์–ด๋ณด๋Š” DevOps ์ง€์‹: Grounding LLM

์œ„์—์„œ AWS์˜ Panda๊ฐ€ Grounding ๋ฉ”์ปค๋‹ˆ์ฆ˜์„ ์‚ฌ์šฉํ•ด์„œ ChatGPT์˜ ๋‹จ์ ์„ ๋ณด์™„ํ•œ๋‹ค๊ณ  ํ–ˆ๋‹ค๊ณ  ํ–ˆ์—ˆ์ฃ . ์ด๋ฒˆ์— ์‚ดํŽด๋ณผ ์ฃผ์ œ๋Š” ๊ธฐ์กด LLM์˜ ํ•œ๊ณ„๋ฅผ ๋„˜์–ด์„œ๊ธฐ ์œ„ํ•ด ๋“ฑ์žฅํ•œ Grounding LLM์ž…๋‹ˆ๋‹ค.

๊ธฐ์กด LLM์˜ ๋‹ต๋ณ€ ์ •ํ™•์„ฑ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ณ ์ž ๋“ฑ์žฅํ•œ ๊ฒƒ์ด Groudning LLM์ž…๋‹ˆ๋‹ค. 
๊ธฐ์กด LLM์˜ ๋‹ต๋ณ€ ์ •ํ™•์„ฑ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ณ ์ž ๋“ฑ์žฅํ•œ ๊ฒƒ์ด Groudning LLM์ž…๋‹ˆ๋‹ค. 

Grounding LLM์€ ํŠน์ • ๋ถ„์•ผ์— ํŠนํ™”๋˜์–ด ๋”์šฑ ์ •ํ™•ํ•œ ๋‹ต๋ณ€์„ ์ œ๊ณตํ•˜๊ณ ์ž, ๊ทธ ๋ถ„์•ผ์™€ ์—ฐ๊ด€๋œ ๋ฐ์ดํ„ฐ๋‚˜ ์ปจํ…์ŠคํŠธ๋ฅผ ํ™œ์šฉํ•˜๋Š” ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ์„ ๋งํ•ฉ๋‹ˆ๋‹ค.

ChatGPT์™€ ๊ฐ™์€ ๊ธฐ์กด ์–ธ์–ด ๋ชจ๋ธ์€ ์—„์ฒญ๋‚œ ๊ทœ๋ชจ์˜ ์ „๋ฐ˜์ ์ธ ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ๋กœ ํ›ˆ๋ จ๋˜์—ˆ๋Š”๋ฐ์š”. ์ด๋กœ ์ธํ•ด ํŠน์ • ๋ถ„์•ผ์— ๋Œ€ํ•œ ๋‹ต๋ณ€ ์ƒ์„ฑ์ด ์–ด๋ ค์šด ๊ฒฝ์šฐ๊ฐ€ ๋ฐœ์ƒํ•ฉ๋‹ˆ๋‹ค. Grounding LLM์€ ์ด๋Ÿฌํ•œ ํ•œ๊ณ„๋ฅผ ๊ทน๋ณตํ•˜๊ณ ์ž ํŠน์ • ๋ถ„์•ผ๋‚˜ ๋ฐ์ดํ„ฐ์…‹๊ณผ ์—ฐ๊ด€๋œ ์‹ค์งˆ์ ์ธ ์ •๋ณด์— ํŠนํ™”์‹œํ‚จ ์–ธ์–ด ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค.

๊ทธ๋ ‡๋‹ค๋ฉด Grouding LLM์€ ์–ด๋–ป๊ฒŒ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์„๊นŒ์š”?

  • ์‚ฌ๋‚ด ๋ฐ์ดํ„ฐ ๊ฒ€์ƒ‰ ์‹œ์Šคํ…œ: ๊ธฐ์—…์ด ๊ธฐ๋ก ๋ฐ ๋ณด๊ด€ ์ค‘์ธ ์ง€์‹ ๋ฐ์ดํ„ฐ๋ฅผ ๋ชจ๋ธ์— ํ•™์Šต์‹œํ‚ด์œผ๋กœ์จ ์‚ฌ๋‚ด ๋ฐ์ดํ„ฐ ๊ฒ€์ƒ‰ ์‹œ์Šคํ…œ ๊ตฌ์ถ•์ด ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค. ์ด๋ ‡๊ฒŒ ํ•™์Šต๋œ ๋ชจ๋ธ์€ ์†Œ์†๋œ ์ง์›์ด ์—…๋ฌด์— ๋Œ€ํ•œ ์งˆ๋ฌธ์„ ํ•  ๋•Œ ์ด์— ํŠนํ™”๋œ ๋‹ต๋ณ€์„ ์–ป์„ ์ˆ˜ ์žˆ๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.
  • ๊ณ ๊ฐ Q&A ์‹œ์Šคํ…œ: ํŠน์ • ๋ถ„์•ผ์˜ ๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šต์‹œํ‚จ ๋ชจ๋ธ์„ ๊ณ ๊ฐ Q&A ์‹œ์Šคํ…œ์— ์ ์šฉํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ณ ๊ฐ์˜ ๋ฌธ์˜์— ๋Œ€ํ•ด ๋”์šฑ ์ •ํ™•ํ•˜๋ฉด์„œ ๋ฌธ๋งฅ์— ๋งž๋Š” ๋‹ต๋ณ€์„ ์ œ๊ณตํ•  ์ˆ˜ ์žˆ๋Š” ๊ฒƒ์ด์ฃ .

 

๐Ÿ”ญ๋งˆ์น˜๋ฉฐ...

AWS์˜ Panda๋Š” ์ด๋ฏธ ์ „์„ธ๊ณ„์ ์œผ๋กœ ๋…๋ณด์ ์ธ LLM ์„œ๋น„์Šค์ธ ChatGPT๋ฅผ ๊ฒจ๋ƒฅํ•จ๊ณผ ๋™์‹œ์—, ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ํŠนํ™”๋ผ๋Š” ์ž์‹ ๋งŒ์˜ ์˜์—ญ์„ ๊ตฌ์ถ•ํ–ˆ๋Š”๋ฐ์š”. ์•ž์œผ๋กœ AWS๊ฐ€ Panda๋ฅผ ์‹œ์ž‘์œผ๋กœ AI ๋ถ„์•ผ์—์„œ ์–ด๋–ค ํ–‰๋ณด๋ฅผ ๋ณด์ผ์ง€ ์ฃผ๋ชฉํ•˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. 

ํ˜น์‹œ ์ด๋ฒˆ ๋‚ด์šฉ ๊ด€๋ จํ•ด์„œ ๋” ๊ถ๊ธˆํ•œ ์ ์ด ์žˆ์œผ์‹œ๋‹ค๋ฉด ์•„๋ž˜ ๋ฉ”์ผ๋ฆฌ ๋Œ“๊ธ€ ๋‚จ๊ฒจ์ฃผ์„ธ์š”.๐Ÿ˜€

๊ทธ๋Ÿผ, ๋‹ค์Œ ์†Œ์‹์ง€์—์„œ ๋ณด๋‹ค ์•Œ์ฐจ๊ณ  ํฅ๋ฏธ๋กœ์šด ๋‚ด์šฉ์œผ๋กœ ์ฐพ์•„๋ต™๊ฒ ์Šต๋‹ˆ๋‹ค.

๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค. ๐Ÿ˜บ

 

๐Ÿ”—์ถœ์ฒ˜

Panda: Performance debugging for databases using LLM agents

AWS is readying LLM-based debugger for databases to take on OpenAI

Understanding Grounding LLMs and Retrieval-Augmented Generation

๋‹ค๊ฐ€์˜ฌ ๋‰ด์Šค๋ ˆํ„ฐ๊ฐ€ ๊ถ๊ธˆํ•˜์‹ ๊ฐ€์š”?

์ง€๊ธˆ ๊ตฌ๋…ํ•ด์„œ ์ƒˆ๋กœ์šด ๋ ˆํ„ฐ๋ฅผ ๋ฐ›์•„๋ณด์„ธ์š”

โœ‰๏ธ

์ด๋ฒˆ ๋‰ด์Šค๋ ˆํ„ฐ ์–ด๋– ์…จ๋‚˜์š”?

DevOps ์—ฌํ–‰์„ ์œ„ํ•œ ์†Œ์‹์ง€ ๋‹˜์—๊ฒŒ โ˜•๏ธ ์ปคํ”ผ์™€ โœ‰๏ธ ์ชฝ์ง€๋ฅผ ๋ณด๋‚ด๋ณด์„ธ์š”!

๋Œ“๊ธ€

์˜๊ฒฌ์„ ๋‚จ๊ฒจ์ฃผ์„ธ์š”

ํ™•์ธ
์˜๊ฒฌ์ด ์žˆ์œผ์‹ ๊ฐ€์š”? ์ œ์ผ ๋จผ์ € ๋Œ“๊ธ€์„ ๋‹ฌ์•„๋ณด์„ธ์š” !

๋‹ค๋ฅธ ๋‰ด์Šค๋ ˆํ„ฐ

ยฉ 2024 DevOps ์—ฌํ–‰์„ ์œ„ํ•œ ์†Œ์‹์ง€

DevOps, ํด๋ผ์šฐ๋“œ, IT ๊ธฐ์ˆ  ๊ด€๋ จ ์ตœ์‹  ์†Œ์‹๊ณผ ์ •๋ณด๋ฅผ ์ •๋ฆฌํ•ด์„œ ์ฃผ 1ํšŒ ์ด๋ฉ”์ผ๋กœ ์ „ํ•ด๋“œ๋ฆฝ๋‹ˆ๋‹ค๐Ÿ˜บ

๋‰ด์Šค๋ ˆํ„ฐ ๋ฌธ์˜eduukulelekim@gmail.com

๋ฉ”์ผ๋ฆฌ ๋กœ๊ณ 

์ž์ฃผ ๋ฌป๋Š” ์งˆ๋ฌธ ์„œ๋น„์Šค ์†Œ๊ฐœ์„œ ์˜ค๋ฅ˜ ๋ฐ ๊ธฐ๋Šฅ ๊ด€๋ จ ์ œ๋ณด

์„œ๋น„์Šค ์ด์šฉ ๋ฌธ์˜admin@team.maily.so

๋ฉ”์ผ๋ฆฌ ์‚ฌ์—…์ž ์ •๋ณด

๋ฉ”์ผ๋ฆฌ (๋Œ€ํ‘œ์ž: ์ดํ•œ๊ฒฐ) | ์‚ฌ์—…์ž๋ฒˆํ˜ธ: 717-47-00705 | ์„œ์šธ ์„œ์ดˆ๊ตฌ ๊ฐ•๋‚จ๋Œ€๋กœ53๊ธธ 8, 8์ธต 11-7ํ˜ธ

์ด์šฉ์•ฝ๊ด€ | ๊ฐœ์ธ์ •๋ณด์ฒ˜๋ฆฌ๋ฐฉ์นจ | ์ •๊ธฐ๊ฒฐ์ œ ์ด์šฉ์•ฝ๊ด€