์๋ ํ์ธ์ ๊ตฌ๋ ์๋, DevOps ์์๊ณผ ๊ธฐ์ ์ง์์ ์ ๋ฆฌํด์ ๊ณต์ ํด๋๋ฆฌ๋ DevOps ์ฌํ์ ์ํ ์์์ง์ ๋๋ค.
์ด๋ฒ ์์์ง์์ ์คํ์์ค LLMOps ํด Dify์ ๋ํด ์์๋ณด๊ฒ ์ต๋๋ค.
๐ ๏ธLLMOps์ ์คํ์์ค ํด Dify
LLMOps๋ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ ํจ์จ์ ์ผ๋ก ๊ฐ๋ฐํ๊ณ ์ด์ํ๊ธฐ ์ํ ๋ฐฉ๋ฒ๋ก ๊ณผ ํ๋ก์ธ์ค๋ฅผ ์๋ฏธํ๋๋ฐ์. ๋ ์์ธํ ์๊ณ ์ถ์ผ์๋ค๋ฉด ๊ด๋ จ ๋ธ๋ก๊ทธ ๊ธ์ ํ์ธํด๋ณด์ธ์.โบ๏ธ
์ด๋ฐ LLMOps๋ฅผ ์ํ ์คํ์์ค LLM ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ ํ๋ซํผ Dify์ ๋ํด ์๊ฐํด๋๋ฆฌ๊ณ ์ ํฉ๋๋ค.
Dify๋ AI ์ํฌํ๋ก์ฐ, RAG ํ์ดํ๋ผ์ธ, LLM ๊ด๋ฆฌ, ๋ชจ๋ํฐ๋ง ๋ฑ์ด ๊ฐ๋ฅํด์ LLM ์ ํ๋ฆฌ์ผ์ด์ ์ ๋น ๋ฅด๊ฒ ํ๋ก๋์ ํ๊ฒฝ์ ๋ฐฐํฌํ ์ ์๋๋ก ๋์์ค๋ค๊ณ ํฉ๋๋ค.
โจDify์ ์ฅ์ ์?
๊ทธ๋ ๋ค๋ฉด ๋ค์ํ LLM ๊ฐ๋ฐ ํ๋ซํผ ์ค ์ฐ๋ฆฌ๊ฐ Dify๋ฅผ ๊ณ ๋ คํด์ผ ํ ์ด์ ๋ ๋ฌด์์ผ๊น์?
์ ํ ํธ์คํ
Dify๋ ๋ค๋ฅธ ํด๋ผ์ฐ๋ ๊ธฐ๋ฐ LLM ๊ฐ๋ฐ ํ๋ซํผ๊ณผ๋ ๋ฌ๋ฆฌ ์คํ์์ค๋ก ๊ฐ๋ฐ๋๊ณ ์๊ธฐ ๋๋ฌธ์ ์ ํ ํธ์คํ ์ด ๊ฐ๋ฅํฉ๋๋ค. ์ฆ, ์ง์ ์ ์ดํ ์ ์๋ ์๋ฒ์ ๋ฐฐํฌํ์ฌ ์น์ผ๋ก ์ ๊ทผ ๊ฐ๋ฅํ๊ธฐ ๋๋ฌธ์ ๋ณด์์ ๋ฏผ๊ฐํ ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก๋ ๋์ฑ ์์ ํ ํ๊ฒฝ์์ LLM ์ ํ๋ฆฌ์ผ์ด์ ์ ๊ฐ๋ฐํ๊ณ ๋ฐฐํฌํ ์ ์๋ ๊ฒ์ด์ฃ .
ํ์ฅ์ฑ
๋ํ Dify๋ ๋ค์ํ ๋ชจ๋ธ ์ ๊ณต์๋ฅผ ์ง์ํ๊ณ ์์ต๋๋ค.
์ด๋ฏธ ๋์ค์ ์ธ OpenAI๋ถํฐ Azure๋ Google Cloud๋ฟ๋ง ์๋๋ผ, Ollama ๊ฐ์ ๋ก์ปฌ LLM ์ ๊ณต์๋ ์ง์ํ๊ณ ์๋๋ฐ์.
์ด์ธ์๋ ์์ญ๊ฐ์ง์ ๋ชจ๋ธ ์ ๊ณต์๋ฅผ ์ง์ํ๊ณ ์์ผ๋ฉฐ, ์์ธํ ์ ๋ณด๋ ๊ณต์ ํ์ด์ง์์ ํ์ธํ์ค ์ ์์ต๋๋ค.
Web UI ๊ธฐ๋ฐ
Dify๋ ๋ณด๊ธฐ ์ฌ์ด Web UI๋ก LLM ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ๊ณผ ๊ด๋ฆฌ๊ฐ ๊ฐ๋ฅํ๋ค๋ ์ฅ์ ๋ํ ๊ฐ์ง๊ณ ์์ต๋๋ค.
์๋์์๋ ์ง์ ํ์ธํด๋ณด๊ฒ ์ง๋ง, ์ด๋ฐ ์ง๊ด์ ์ธ UI ๋๋ถ์ LLM ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ ๋ฐ ๊ด๋ฆฌ๊ฐ ํ ์ธต ๋ ์ฌ์์ง๋ค๋ ์ฅ์ ์ด ์์ต๋๋ค.
๐ปDify๋ฅผ ๋ก์ปฌ์ ๋ฐฐํฌํ๊ณ ์ ์ํด๋ณด๊ธฐ
Dify์ ๋ํด ์์๋ดค์ผ๋ ์ด์ Dify๋ฅผ ์ง์ ์ฌ์ฉํด๋ด์ผ๊ฒ ์ฃ ?
๊ณต์ Github ๋ ํ์งํ ๋ฆฌ์ ์ ๋ก๋๋ Docker Compose ํ์ผ์ ์ด์ฉํ๋ฉด Dify ๊ตฌ๋์ ํ์ํ ๋ชจ๋ ๊ตฌ์ฑ์์๋ฅผ ์๋์ ๊ฐ์ด ๋ก์ปฌ ํ๊ฒฝ์ ์ฝ๊ฒ ๋ฐฐํฌํ ์ ์์ต๋๋ค.
Dify ์์ค ์ฝ๋ clone
๋จผ์ ์๋ ๋ช ๋ น์ด๋ก ๋ก์ปฌ์ Dify ์์ค์ฝ๋๋ฅผ ๊ฐ์ ธ์ต๋๋ค.
- git clone https://github.com/langgenius/dify.git
Dify ์คํ
์๋ ๋ช ๋ น์ด๋ก Dify ๊ตฌ๋์ ํ์ํ ํ๊ฒฝ๋ณ์ ํ์ผ์ ์์ฑํ๊ณ Docker compose๋ก ์คํํฉ๋๋ค.
- cd dify/docker
- cp .env.example .env
- docker compose up -d
Dify๋ฅผ Docker compose๋ก ๋ฐฐํฌํ ๊ฒฐ๊ณผ๋ ์๋์ ๊ฐ์ต๋๋ค.
Docker compose ๋ช ๋ น์ด๋ก Dify ๊ด๋ จ ์ปจํ ์ด๋๋ฅผ ํ์ธํด๋ณด๋ฉด ์๋์ ๊ฐ์ฃ .
์ด๋ ๊ฒ ๋ฐฐํฌ๋ Dify์ ๊ตฌ์ฑ์์ ์ค nginx ์ปจํ ์ด๋๊ฐ ๋ฐฐํฌ๋์๊ธฐ ๋๋ฌธ์, ์น ๋ธ๋ผ์ฐ์ ์ localhost ๊ฒฝ๋ก๋ก Dify Web UI์ ์ ์์ด ๊ฐ๋ฅํฉ๋๋ค.
๊ด๋ฆฌ์ ๊ณ์ ์ค์ ํ ๋ก๊ทธ์ธ์ ์๋ฃํ๋ฉด ์๋์ฒ๋ผ ๋ก์ปฌ ํ๊ฒฝ์์ Dify ํ๋ซํผ์ ์ด์ฉํ ์ ์๊ฒ ๋๋ ๊ฑฐ์ฃ .
โ Dify๋ก ํ ์ ์๋ ๊ฒ๋ค
๊ทธ๋ ๋ค๋ฉด Dify๋ก ์ด๋ค ๊ฒ๋ค์ ํ ์ ์์๊น์? ์๋์ ๊ฐ์ด Dify์ ํ์ฉ ๋ฐฉ๋ฒ์ ๊ฐ๋ตํ ์ ๋ฆฌํด๋ดค์ต๋๋ค.
๋ก์ปฌ LLM์ ์ฐ๋ํ์ฌ ๋ก์ปฌ LLM ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ
์๋์ฒ๋ผ Dify๋ ๋ค์ํ ๋ชจ๋ธ ์ ๊ณต์์ ์ฐ๋ํ ์ ์๋๋ฐ, ๊ทธ ์ค Ollama๋ฅผ ์ ํํ๋ฉด ๋ก์ปฌ์์ ๊ตฌ๋ ์ค์ธ LLM๊ณผ ์ฐ๋ํ์ฌ ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ์ด ๊ฐ๋ฅํฉ๋๋ค.
์กฐ์ง ํน์ฑ์ ๋ณด์์ ๋ฏผ๊ฐํ๊ฑฐ๋ ๊ท๋ชจ๊ฐ ํฌ์ง ์์ ํ์์ ํ์ฉํ๊ธฐ ์ ์ ํ ๋ฐฉ์์ ๋๋ค.
Dify์์ ๊ธฐ๋ณธ ์ ๊ณตํ๋ ํ ํ๋ฆฟ ํ์ฉํ์ฌ LLM ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ
Dify๋ ์๋ ์ฌ์ง์ฒ๋ผ ๋ค์ํ LLM ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ์ฉ ํ ํ๋ฆฟ์ ์ ๊ณตํ๋๋ฐ์.
์ด ์ค ์ํ๋ ํ ํ๋ฆฟ์ ์ ํํ๋ฉด ์๋ ์ด๋ฏธ์ง์ ๊ฐ์ด ํด๋น ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ์ ์ํ ์คํ๋์ค ํ๋ฉด๊ณผ ํ ์คํธ ์ฐฝ์ด ํ์๋์ด LLM ์ ํ๋ฆฌ์ผ์ด์ ์ ๋น ๋ฅด๊ฒ ๊ฐ๋ฐ ๋ฐ ํ ์คํธ๊ฐ ๊ฐ๋ฅํฉ๋๋ค.
LLM ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ์ ์ํ ์ปจํ ์คํธ ์์ฑ
๊ฐ๋ฐํ๋ ค๋ LLM ์ ํ๋ฆฌ์ผ์ด์ ์ ์ฃผ์ ํ ํ ์คํธ ๋ฐ์ดํฐ ๋ฑ์ ์ปจํ ์คํธ๋ฅผ ์๋์ ๊ฐ์ด Web UI์์ ์์ฑํ ์ ์์ต๋๋ค.
์ปจํ ์คํธ๋ก ์ ์ฅ ๊ฐ๋ฅํ ํ์ผ ํฌ๋งท์ผ๋ก๋ TXT, markdown, PDF, XLSX, CSV ๋ฑ์ด ์์ต๋๋ค.
๐ญ๋ง์น๋ฉฐ...
์ด๋ฒ ์์์ง์์ LLMOps๋ฅผ ์ํ ์คํ์์ค ํด Dify์ ๋ํด ์์๋ดค๋๋ฐ์.
LLM ๊ฐ๋ฐ์ด๋ LLMOps๋ฅผ ์ด๋ป๊ฒ ์์ํ ์ง ๊ณ ๋ฏผ์ด์ ๋ถ๋ค์๊ฒ ์ฐธ๊ณ ๊ฐ ๋์์ผ๋ฉด ํ๋ ๋ง์์์ ๊ด๋ จ ์คํ์์ค ํด์ ์ ๋ฆฌํด๋ดค์ต๋๋ค.
ํน์ ์ด๋ฒ ๋ด์ฉ ๊ด๋ จํด์ ๋ ๊ถ๊ธํ ์ ์ด ์์ผ์๋ค๋ฉด ์๋ ๋ฉ์ผ๋ฆฌ ๋๊ธ ๋จ๊ฒจ์ฃผ์ธ์.๐
๊ทธ๋ผ, ๋ค์ ์์์ง์์ ๋ณด๋ค ์์ฐจ๊ณ ํฅ๋ฏธ๋ก์ด ๋ด์ฉ์ผ๋ก ์ฐพ์๋ต๊ฒ ์ต๋๋ค.
์ค๋๋ ๊ฐ์ฌํฉ๋๋ค, ๊ตฌ๋ ์๋ ๐บ
๐References
์๊ฒฌ์ ๋จ๊ฒจ์ฃผ์ธ์
jyje
๋งค์ผ ์์นจ ์ ์ฝ๊ณ ์์ต๋๋ค. ์ข์ ๊ธ ๊ฐ์ฌํฉ๋๋ค. ์ค๋ ์ง์ ๊ฐ์ ์ค์นํด ๋ด์ผ๊ฒ ์ด์!!
DevOps ์ฌํ์ ์ํ ์์์ง
์๋ ํ์ธ์ jyje๋, ์ด๋ ๊ฒ ํ์ด ๋๋ ๋๊ธ ๋จ๊ฒจ์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค :) ์ด๋ฒ ์์์ง์์ ์๊ฐํ Dify ํด์ด jyje๋์๊ฒ ๋์์ด ๋์์ผ๋ฉด ์ข๊ฒ ์ด์ :D ํน์ ์ด์ธ์ ๊ถ๊ธํ์ ์ ์ด๋, ์์์ง์์ ๋ค๋ค์ผ๋ฉด ํ๋ ๋ด์ฉ์ด ์์ผ๋ฉด ํธํ๊ฒ ๋๊ธ๋ก ์๋ ค์ฃผ์ธ์! ๊ฐ์ฌํฉ๋๋ค
์๊ฒฌ์ ๋จ๊ฒจ์ฃผ์ธ์