#72: 미드저니, LLM 기반의 세계 구축 도구 'Patchwork' 공개

구독자 님, 안녕하세요?

AI 트렌드를 전달해드리는 Trendium.ai 입니다.

오늘은 미드저니가 협업이 가능한 세계 구축을 위한 스토리텔링 도구 'Patchwork'를 공개했다는 소식입니다.

미드저니(Midjourney)가 스토리텔링과 세계관 구축을 위한 혁신적인 도구 'Patchwork'를 어제 12일 공개했습니다. 이 도구는 협업이 가능한 무한 캔버스 시스템이 핵심 특징으로, 창작자들은 AI의 도움을 받아 광활한 캔버스 위에서 자유롭게 이야기를 펼칠 수 있습니다.

Patchwork는 단순한 이미지 생성 도구를 넘어서, 창작자들이 함께 일관된 세계관을 구축하고 시각적 스토리를 만들어내는 플랫폼으로 진화했습니다. 특히 작은 이미지와 텍스트 조각들을 조합해 독창적인 콜라주 형태의 시각적 내러티브를 구성할 수 있다는 점이 돋보입니다.

미드저니는 앞으로 Patchwork를 통해 만든 캐릭터와 세계관을 다른 스토리텔링 앱으로 확장할 계획입니다. 이를 통해 캐릭터에 생동감을 불어넣고, 장면을 시각화하며, AI 기반 인터페이스로 더욱 풍부한 스토리를 만들어낼 수 있게 됩니다.

현재 patchwork.midjourney.com에서 베타 서비스를 체험할 수 있으며, 미드저니 계정과 구글 로그인만 있으면 누구나 이 혁신적인 도구를 사용해볼 수 있습니다. 창작의 미래를 엿볼 수 있는 흥미로운 기회가 될 것입니다.

자세히 살펴보기

시작하기

(1) 미드저니 로그인 후 patchwork.midjourney.com에 접속하면 "로비" 공간이 나타납니다. 이곳에는 자신만의 세계로 통하는 포털을 만들 수 있는 "샌드박스"가 있습니다. 포털을 클릭해 샌드박스 공간으로 이동하면 됩니다.

(2) 화면 왼쪽 도구상자에서 새로운 스토리월드의 캐릭터나 팩션을 만들고, 포털을 설치하는 등 다양한 작업이 가능합니다. 원하는 버튼을 클릭한 후 보드에서 위치를 선택하면 새로운 요소가 생성됩니다.

빈 슬롯이 나타나면 직접 내용을 채우거나 AI에게 콘텐츠 생성을 요청할 수 있습니다. 💡 버튼을 누르면 기존 내용을 바탕으로 AI가 새로운 콘텐츠를 만들어냅니다.

(3) tools에서 "Portal"을 클릭하면 해당 창으로 이동합니다.

기존에 만들어진 세상과 연결할 수도 있지만, 저는 새로운 세계를 창조해보겠습니다.

(4) 새로운 세계를 창조하기 위한 프롬프트를 입력하고, 세계 스타일을 선택하며, 미드저니에서 학습된 개인화 모드도 사용할 수 있습니다.

(5) 캐릭터 버튼으로 캐릭터의 이름을 설정하고, 하단 상세설명의 전구 모양을 클릭하면 AI가 자동으로 캐릭터 아이디어를 생성합니다.

(6) 링크 버튼으로 다른 조각들과 연결하여 서로 영향을 주고받을 수 있으며, 페인팅 기능으로 노트를 시각화할 수 있습니다. 이는 기존 미드저니의 imagine과는 다른 맥락입니다.

Patchwork는 단순한 이미지 생성 도구가 아닙니다

Patchwork를 직접 테스트해본 결과, 이 도구는 단순한 이미지 생성이나 편집 도구를 넘어섭니다. 이에 대해 더 자세히 알아보고자 이 프로젝트를 주도한 미드저니의 연구과학자이자 스토리텔링 랩 디렉터인 맥스 크레민스키는

인간과 컴퓨터가 협력하여 세계를 구축하고 새로운 종류의 상호작용을 만들어낸다고 설명합니다.

맥스 크레민스키는 인터뷰에서 Patchwork의 미래 비전을 제시했습니다.

특히 "완전히 몰입적인 3D 가상 현실 장면을 포함하여 세계의 세부 사항과 상호작용을 확장해나갈 명확한 로드맵이 있다"고 강조했습니다.

그의 논문과 영상을 첨부합니다.

Patchview 논문 요약

- 개요

Patchview는 LLM을 활용한 스토리 월드 제작 도구입니다. 사용자가 만든 개념이 '자석' 역할을 하고 관련 요소들이 '먼지'처럼 모여들어, 직관적으로 스토리를 만들고 수정할 수 있습니다.

- 주요 특징

자연어 명령으로 LLM을 제어하며, 생성적 먼지 및 자석(GD&M) 시각화로 요소들을 쉽게 배치하고 조정할 수 있습니다.

- 연구 결과

사용자들은 이 도구로 스토리 요소를 더 빠르고 정확하게 이해할 수 있었으며, 특히 세부적인 의도 표현과 AI 결과 수정이 용이했다고 평가했습니다.

- 향후 계획

장기 프로젝트 지원과 기존 스토리 월드 확장에 중점을 둘 예정이며, AI와 사용자 의도를 더 잘 연결하는 방향으로 발전할 것입니다.

미드저니의 다음 목표는 완전 몰입형 3D 가상현실입니다

2024년 1월 스타트업 오픈 오피스 참석자 Nick St. Pierre의 X 게시물

그리고 미드저니의 데이비드 홀츠(David Holz) CEO는 2024년 1월 스타트업의 오픈 오피스 시간 동안 흥미로운 발표를 했습니다.

참석자인 Nick St. Pierre 말에 따르면 데이비드 홀츠는 "2024년은 지금까지와는 비교할 수 없을 만큼 많은 혁신을 선보일 예정이며, 연말까지 실시간 오픈 월드 구현을 목표로 하고 있다"고 밝혔습니다.

(좌) 필립 로즈데일 (Philip Rosedale) , (우) Second life

특히 주목할 점은 가상 세계 플랫폼 Second Life의 창립자 필립 로즈데일(Philip Rosedale)이 미드저니의 수석 고문으로 참여하고 있다는 사실입니다.

세컨드라이프는 2003년부터 시작된 가상 현실 플랫폼으로, 사용자들이 아바타를 만들고 가상 부동산을 소유하며 경제 활동을 할 수 있는 공간입니다. 플랫폼의 자체 화폐인 린든 달러는 초기 암호화폐 시장과 연결되었고, 현재는 NFT 기술을 도입하여 가상 자산 거래를 확장하고 있으며, 메타버스 플랫폼의 선구자적 역할을 하고 있습니다.