[25호] 크리에이터를 위한 AI

💌 뉴스레터 25호

💻 4월 넷째주, 인디&임팩트 25번째 뉴스레터입니다~

이번 호는 알파고 이래 가장 뜨거운 관심을 받고 있는 인공지능 관련 소식으로 찾아왔습니다. 어떤 이에겐 여전히 난해한 기술이거나 인간을 대체할 존재적 위협으로 다가올 수도 있지만 잘만 사용하면 꽤나 괜찮은 창작 보조자가 될 수도 있는 AI.

기획, 글쓰기에서부터 각종 자료 생성과 후반작업에 이르기까지 독립 창작자들에게 도움이 될 만한 인공지능 정보들을 모아 한눈에 알기 쉽게 소개합니다. 그리고 균형잡힌 시각을 위해 편리한 AI의 한계와 주의할 점도 함께 살펴봅니다. 🤖

📚 목록

1. [동향] 엄마도 아는 ChatGPT, 써봤나요?

2. [동향] 인공지능과 함께 창작하기

#1. [동향] 엄마도 아는 ChatGPT, 써봤나요?

얼마 전 엄마가 전화로 ‘ChatGPT’ 얘기를 꺼냈다. 내가 관련 분야를 공부하기 시작한 이후로 XR이나 AI 관련 소식을 보면 너도 그런 걸 공부하냐고 물어보신다. 누군가의 생일파티에서도, 가족 단톡방에서도 ChatGPT에 대한 얘기가 나오는 걸 보면서 AI에 대한 관심이 뜨겁다는 것을 느낀다. 뜨겁게 과열된 AI의 부흥기다. 인공지능 분야는 매주 새로운 기술이 등장하고 있고, 그 주기가 점차 빨라지고 있다. ChatGPT 이후로도 GPT-4가 출시되어 이전 버전의 기록을 갈아치우고 있다. 초거대 멀티모달* AI인 GPT-4는 이미지도 읽어낼 수 있으며, 미국 변호사 시험과 SAT에서 상위 10%의 성적을 받을 정도로(Open AI에 의하면) 정보 정확도도 높아진 것으로 알려져 있다.

[주*] '멀티모달'은 시각, 청각을 비롯한 여러 인터페이스를 통해서 정보를 주고받는 것을 말하는 개념이며, 이렇게 다양한 채널의 모달리티를 동시에 받아들여서 학습하고 사고하는 AI를 '멀티모달 AI'라고 한다.

GPT는 Generative Pre-Trained Transformer의 약자로 OpenAI에서 개발한 거대 언어 모델이며, 인간이 사용하는 자연어를 생성하도록 디자인 된 AI이다. 엄청난 양의 텍스트 데이터–이제는 이미지도-를 입력하여 모델을 학습시켜서 어떤 말(token) 다음에 올 가장 그럴듯한 말을 찾아내는 방식으로 작동한다. ChatGPT가 사용하는 AI 모델은 일종의 함수로, 어떤 입력값을 넣었을 때 원하는 출력값이 나올 수 있도록 문제와 정답을 둘 다 넣어주고, 정답을 맞추는 쪽으로 매개변수를 업데이트하게 되는데 이걸 학습이라고 부른다. 굉장히 인간적인 ‘학습’이라는 단어가 오해를 불러올 수 있지만, 결국 아직 AI는 확률을 계산하는 기계에 가깝다고 볼 수 있다.

ChatGPT 홈페이지에 제시된 ChatGPT가 할 수 있는 것들과 한계

기술적인 얘기를 늘어놓은 이유는, ChatGPT를 비롯한 AI의 작동원리에 대한 신비화나 오해를 줄이기 위해서다. 이 글에서 소개할 생성 AI들은 그럴듯한 말과 이미지를 빠르게 생산할 수 있는 능력을 가지고 있기에 좋은 보조자가 될 수 있지만, 스스로 생각하거나 판단할 수 있는 능력을 가지지 않았기에 인간의 판단과 주의를 필요로 한다. 이런 점을 주의한다면 ChatGPT, GPT-4(이후 GPT)의 거대한 데이터를 기반으로 한 자연어 생성과 번역 등의 능력은 독립영화 제작자들의 효율성을 크게 높여줄 수 있을 것이다.

글을 더 읽기 전에 아직 ChatGPT를 한 번도 써보지 않은 독자라면, 읽기를 중단하고 지금 당장 사용해보자. 아무 질문이라도 해보면, 뒤에 나오는 TIP들이 더 유용하게 보일 것이다. GPT-4를 사용하려면 구독이 필요하지만, ChatGPT는 아직 무료로 테스트할 수 있다.

ChatGPT 바로 가기

GPT로 무엇을 할 수 있을까? : 대본 아이디어 생성, 스크립트 작성, 홍보자료 제작

그렇다면 우리는 GPT를 가지고 무엇을 할 수 있을까? 다시 말하면 GPT는 무엇을 잘할까? 앞서 말한 것처럼 GPT는 그럴듯한 말을 생성하는 것을 잘한다. 이는 영화제작자들이 스토리를 구축할 때 활용할 수 있는 능력이다. 그렇기에 대본 아이디어 생성, 스크립트 작성 또는 홍보자료 작성과 같은 영화 제작 전반에서 GPT를 초안 작성용 보조도구로 사용할 수 있다. ChatGPT의 이전 버전인 GPT-3까지만 해도 GPT의 스토리 생성 능력은 매우 한계적이어서 독창적인 이야기를 생성하기 위해서는 질문(Prompt)을 잘 쓰는 요령이 중요했으나, 지금은 꽤 성능이 향상되어 어떤 질문에든 꽤 괜찮은 답을 뱉어낸다. 그러나 아직까지 완성된 시나리오를 GPT-4가 써줄 거라고 기대하지는 말길 바란다. 형식적으로는 완벽할지 모르나 독창성을 장담하기 어렵다. 그것보다는 주제에 따른 다양한 아이디어를 받아보는 방식으로 활용해보길 권한다.

‘인간과 기계가 공동 창작한 이야기’ AI 대본 생성에 특화된 스토리텔링 AI 서비스 ‘ScriptBook’. 다양한 스토리 생성 AI 서비스가 있으나, chatGPT가 광범위한 업무를 수행할 수 있게 되면서, 개별 서비스의 희소성이 약해질 것으로 예상된다. [출처: scriptbook.io/#!/deepstory]

TIP1. 가끔은 짧은 질문이 낫다. 원하는 스토리에 대한 너무 자세한 설명보다는 간단한 설명을 할 때 더 창의적인 답변이 나오기도 한다. 이미 완결성 있는 줄거리를 넣어줄 경우, 앞의 말을 반복하게 되는데, 이는 앞의 단어에 부합하는 단어를 생성해내는 GPT 모델의 특성 때문에 생기는 한계이다. 질문의 맥락을 부여하되, 너무 자세한 설명은 하지 말자.

TIP2. Step by Step 답변을 유도하자. GPT가 단계적 사고에서 더 정확한 답변을 한다는 관찰 결과가 있다. 따라서 원하는 답변을 단계적으로 물어보는 게 효율적이다. 예를 들어 ‘이 영화 주인공이 위기 상황에서 할 만한 이상한 행동을 5가지 말해줘’라거나, ‘ㅇㅇ 주제를 가지고 영화를 만들려고 하는데, 스토리를 기-승-전-결로 단계에 따라 써줘’라고 물어보자. step by step이 마법의 단어라는 것을 알게 될 것이다.

TIP3. 영어로 질문해보자. GPT-4에서는 한글로 질문하고 답변하는 것도 꽤나 자연스럽다. 그러나 조금 더 유창한 답변을 원한다면 영어를 사용하는 게 낫다.

character.ai는 대화에 특화된 AI 에이전트로 사용자가 자신이 원하는 캐릭터를 생성하여 대화할 수 있으며, 캐릭터끼리 대화하도록 할 수도 있다.

ChatGPT : 똑똑한 새내기 대학원생, 혹은 막 입사한 경력직 직원

개인적으로는 GPT에게 스토리텔링 능력보다 더 유용하다고 생각하는 것은, GPT를 마치 개인 비서처럼 쓰는 일이다. GPT는 주어진 글을 요약하거나 다른 형태로 바꾸는 것에도 소질이 있다. 예를 들어 어떤 스토리를 영화 스크립트 방식으로 전환하거나, 줄거리를 홍보용 기사로 만드는 등의 작업은 시도해볼만하다. 해외 영화제의 출품을 위해 프로그래머에게 보낼 이메일의 초안을 번역해달라고 할 수도 있다. 만약 홍보담당자가 따로 없는 저예산 영화감독이라면, 미드저니(Midjourney)로 포스터 이미지를 생성하기 위한 효과적인 명령어(prompt)를 써달라고 할 수도 있다.

GPT의 번역 능력은 꽤나 우수해서 영화의 주인공을 남자에서 여자로 바꾸고 싶을 때도 높은 정확도로 기존 글을 변환해준다. 이름을 바꿔주고 ‘그’를 ‘그녀’로 문맥에 맞게 변환해준다. GPT는 독창성이 필요한 일보다는 논리적인 일에서 더 빛을 발한다. 이 능력은 빠르게 무언가를 학습해야하는 상황에서 도움이 되는데, 다뤄본 적 없지만 써야하는 영화제작 툴의 개요를 알려달라고 하거나, 프로그램의 기능이 오류가 날 때 구글 검색 대신 ChatGPT를 이용해보면 훨씬 빠르게 원하는 답을 얻을 수 있다.

TIP4. GPT에게 역할을 부여해보자. ‘네가 영화 시나리오 작가라고 생각하고 작성해줘’ 라거나, ‘네가 쿠엔틴 타란티노라고 생각하고 이 시나리오를 평가해줘’, ‘유능한 홍보 전문가로서 이 영화 홍보를 위한 10가지 방안을 말해줘’ 등의 역할을 부여하면 좀 더 목적에 부합하는 답변을 얻을 수 있다.

TIP5. GPT가 이것까지 할 수 있을까? 싶은 걸 도전해보자. ChatGPT나 GPT-4는 생각보다 많은 것을 할 수 있다. 작성한 글을 교정해달라고 해보자. Premiere Pro에서 그림자를 지우는 방법을 알려달라고 해보자. 스토리보드를 작성하는 요령과 구체적인 팁을 달라고 해보자.

영화 제작 산업 깊숙이 들어와 있는 AI 기술

독립영화와 독립미디어 제작에 있어서 AI는 시간과 자원을 절약해주는 좋은 도구가 될 수 있다. AI는 아이디어 보조 도구를 넘어서서 VFX 분야 및 영화 산업 전반에서 효율성을 높이는 도구로서 사용되고 있다. 폴란드 영화 ‘Champion’은 영어 더빙을 하면서 배우의 입모양을 AI로 생성하는 Lip sync 기술을 사용했고, 영화 ‘Comandante’에서는 In-camera VFX 기술로 영화를 촬영하면서 배우와 배경을 실시간으로 분리하는 AI 기술을 활용해 고화질 실시간 합성이 가능하도록 했다.

그러나 생성 AI는 학습에 이용된 작가들의 저작권 문제와 질 낮은 대량의 데이터를 쏟아내어 정보의 바다를 어지럽히는 문제, 편향적이거나 정확하지 않은 정보를 배포하는 문제 등, 해결하지 않은 문제들을 가지고 있다. 그럼에도 AI 기술이 폭발하는 시대에 창작자는 AI와 함께 창작하는 방법을 익히는 것이 똑똑한 생존전략이 될 수 있다. 미국작가협회에서도 AI로 쓴 책이 시장에 넘쳐나는 상황을 비판하면서도, AI 사용을 전면 금지하는 대신, AI를 도구로 한 작가의 권리를 인정하는 입장을 밝힌 바 있다.

ChatGPT나 Character.ai의 웹사이트에 보면, '여기서 생성된 말들은 모두 만들어낸 것이고 정확한 정보가 아닐 수 있다' 라는 주의 문구가 있다. 어떤 방식으로 GPT를 사용하건, 사용자는 GPT가 생산해내는 정보의 진위 여부를 가릴 수 있는 능력을 갖추고 있어야 함을 잊지 말자.

🌈 글쓴이. 권세미

연극, 공동체미디어 등 다방면에서 활동해오다 현재는 기술과 문화가 융합된 뉴미디어로 영역 확장을 위한 도움닫기 중이다.

#2. [동향] 인공지능과 함께 창작하기

1. 인간의 얼굴을 한 로봇

친근한 모습으로 다가오긴 했지만 적지 않은 사람들이 위협으로 느끼는 듯하다. 이세돌 9단과 바둑을 둔 알파고 이후 인공지능은 낯선 화두는 아니지만 지금처럼 인간의 영역에 깊게 들어온 적은 없어서일까. 특히 생성형 인공지능이란 녀석은 인간 고유의 능력이라 생각했던 창작까지 넘본다니 인간은 무얼 해야 하나 존재론적 위기감까지 느끼는 건 자연스럽다. ‘창의성이란 무엇인가’만 갖고도 논쟁할 거리는 많지만 이번에는 일단 인공지능을 창작의 동료로 받아들이고 함께 무언가 만들어가는 방법과 가능성만 논하려고 한다.

2. 누가 생성형 인공지능을 잘 쓸 수 있을까 (한계와 주의점)

1) 전통적 개념의 창작으로부터 자유로워지기

현대미술에서는 예술가가 직접 붓을 들 필요가 없다. 작품의 개념을 기획하는 능력이 중요할 뿐. 타인에게 시켜도 예술이고, 우연에 맡겨도 예술이다. 심지어 의도하지 않은 관객의 참여로 완성될 수도 있다. 고전적 예술의 범주에 얽매이지 않은 사람이 유리할 것 같다.

2) 창작 과정을 전반적으로 이해하는 능력

필요한 것을 주문하고 생성하는 것에 그치지 않고 그것을 어떻게 사용할지, 어느 수준까지 작품에 반영할지, 저작권 문제나 활용 범위는 어떻게 해야 할지 미리 생각을 갖고 있어야 한다.

3) 기본적인 제작(수정) 능력

글쓰기라면 원하는 글의 구성을 미리 생각하고 있고, 인공지능의 산출물을 의도대로 윤문할 수 있어야 한다. 이미지 생성이라면 손가락이 6개로 나왔을 때 5개로 수정할 수 있어야 하고, 자신이 원하는 바를 암호 같은 프롬프트(명령어)로 바꾸어 입력할 줄 알아야 한다. 동영상이나 음악처럼 물리적 길이와 리듬 같은 게 중요한 콘텐츠를 주문할 때도 원하는 게 나올 때까지 반복해서 생성하고 수정하고 기다릴 줄 알아야 한다.

4) 우연까지 받아들일 수 있는 유연성

근래의 생성형 인공지능은 그럴싸한 결과물을 금방 만든다. 단순히 완성도를 넘어 미처 생각하지 못한 방향으로 접근한 결과물을 보면 사람보다 낫다는 말까지 나오는 수준이다. 나만의 작품이라는 생각보다는 인공지능과 ‘함께’ 만든다는 생각을 해보면 어떨까.

5) 책임지는 자세

단순하게는 베끼기(트레이싱) 논란이 나올 수도 있고, 크게는 최종 역할의 지분 문제까지 나올 수 있다. 아이디어만 얻을 수도 있고 협업을 할 수도 있지만 내 이름으로 발표한다면 결국 내가 책임져야 한다. 이왕 사용한다면 당당하게 사용 여부와 범위를 밝힐 필요가 있다.

6) 기술을 겁내지 않는 태도

지금까지 나온 기술들은 애들 장난처럼 느껴질 정도로 앞으로도 많은 앱과 서비스가 쏟아져 나올 것이다. 적어도 자기 분야에서는 어떤 신기술이 나오고 있는지, 선구자들이 어떻게 활용하는지는 적극적으로 추적하며 관심을 둘 필요가 있다.

3. 분야별 유용한 기술

1) 기획•글쓰기

ChatGPT*나 뤼튼*을 보면 글쓰기 솜씨는 뛰어나다. 하지만 과거 자료를 바탕으로 작동하고 어떻게든 글을 완성해야 한다는 강박으로 인해 생기는 환각(Hallucination)때문에 사실 여부가 중요한 글쓰기에는 적합하지 않다. 그보다는 로그라인이나 트리트먼트, 라디오 방송대본처럼 구조에 의존하여 쓰는 글의 초안을 작성하거나 아무 열쇳말이나 던져주고 마음껏 상상해 보라고 맡기는 브레인스토밍에 유용하다. 글쓰기가 익숙하지 않은 초보 창작자나 반복적인 패턴의 글쓰기를 자주 하는 작가들에게 도움이 될 것이다.

2) 이미지 생성

가장 쉽게 사용할 수 있고 효과가 뚜렷할 분야가 이미지 생성이다. 유명 화가의 화풍을 흉내내거나 클립아트를 대체할 일러스트를 만드는 것을 넘어 웹툰이나 그래픽 노블로 바로 발표해도 좋을 수준의 그림들이 꾸준히 만들어지고 있다. 처음에는 Dall-E*가 주목받았지만 MidJourney*나 NovelAI 같은 유료 서비스들이 등장하고, 오픈소스 진영의 Stable Diffusion* 파생 서비스가 우후죽순 등장하며 다양한 분야에서 사용되고 있다. 영감을 얻기 위한 그림 생성으로 시작해서 배경 그림, 디자인용 클립아트나 로고까지 만들 수 있고, 심지어는 명령어만 구체적으로 입력하면 실사와 구분이 안 가는 사진도 만들어낼 수 있다. 그림 그릴 능력이 없는 사람도 줄거리만 준비되어 있다면 동화책 한 권 뚝딱 만들 수 있는 시대가 도래했다.

생성형 인공지능으로 줄거리를 쓰고 그림을 그린 만화책이 이미 시판되고 있다.

3) 음악•음성 생성

이미 많은 창작자들이 클로바더빙*의 인공지능 성우의 목소리를 활용해서 유튜브 영상이나 뉴스, 팟캐스트를 만들고 있다. 음악은 아직까진 완성도가 떨어지기 때문에 배경음악 같은 부차적 수준에서만 쓰이긴 하지만, 저작권에서 자유로운 음악을 무한대로 만들 수 있다는 점 때문에 앞으로의 가능성은 무궁무진할 것이다. 원고만 넣으면 그럴싸한 목소리로 읽어주고, 분위기와 길이와 빠르기만 결정하면 알아서 음악을 만들어주는 인공지능, 안 쓸 이유가 없다.

누군가의 목소리 샘플 약간만 있으면 음성을 복제할 수 있는 서비스도 속속 나오고 있다. 가짜뉴스를 위한 준비 완료.

4) 동영상 생성

사실적인 촬영 영상을 완전히 대체하긴 어렵지만, 필터 입히는 수준을 넘어선 애니메이션은 꽤 쉽게 만들 수 있다. 자신의 사진이나 AI 아바타에게 생명을 불어넣는 방식으로 숏폼 비디오를 만들 수 있고, 보도물을 제작할 수도 있다. 사전 시각화나 스토리 보드 제작을 위한 활용도 가능하다. 아직까진 대부분 유료 서비스고, 단독 작품으로 공개하기엔 완성도가 떨어지긴 하지만 쓰는 사람에 따라선 그런 결점도 창작의 요소로 받아들일 것이고, 대량의 영상을 ‘생산’해야 하는 제작자라면 충분히 용납할 수 있을 것 같다. 주목할 서비스 하나를 추천한다면 RunwayML*인데, 웹브라우저 기반으로 영상을 편집하는 기능 이외에도 인공지능을 활용한 인물 배경 지우기, 영상 속 특정 물체를 지우기, 글을 써서 동영상 만들기, 동영상을 다른 느낌으로 바꾸기 등 다양한 기능이 속속 추가되고 있다.

4. 학습 과제

생성형 인공지능을 당장 창작에 활용하려는 사람은 딱 두 가지만 공부하면 좋을 것 같다. 하나는 인공지능에게 지시할 때 원하는 결과물을 얻어내기 위한 ‘프롬프트 잘 입력하기’다. 글이든 그림이든 추상적이고 두루뭉술한 명령어를 입력하면 전혀 의도하지 않은 결과가 나온다. 그렇기 때문에 자신이 쓰는 서비스에서 요구하는 명령어 입력방식을 숙지하고 다른 고수들이 공유하는 프롬프트를 잘 참고해서 생성할 필요가 있다. 다른 하나는 ControlNet이다. 이미지나 영상을 생성하면 구도나 인물의 자세 등이 무작위로 나온다. 그러나 콘트롤넷이란 플러그인 기술을 활용하면 내가 업로드한 그림을 기반으로 이미지를 생성하거나 같은 자세의 인물을 생성한다. 심지어는 관절인형을 갖고 놀 듯 결과물의 자세를 원하는 대로 바꿀 수도 있다. 한동안 프롬프트 엔지니어란 직업이 각광받을 것 같다고 하는데, 창작자에게도 남의 일은 아닌 듯 싶다.