최근 K-pop 비즈니스에서 가장 뜨거운 키워드 중 하나는 단연 AI Idol, 가상 아티스트입니다.
실존 인물이 아닌 캐릭터가 앨범을 내고, 팬덤을 만들고, 실제 매출을 일으키는 사례가 하나둘 늘고 있습니다. 그 뒤에는 이 캐릭터의 얼굴과 세계관을 처음부터 끝까지 설계하는 사람들이 있는데, 아직 이들을 부르는 이름조차 업계에 정착되지 않았습니다.
채용 공고에는 크리에이티브 디렉터, 3D 아트 디렉터, AI 실무자의 역할이 한 사람에게 동시에 요구됩니다. 캐릭터의 얼굴 비율을 잡는 일부터, 생성형 AI 결과물 중 브랜드에 맞는 한 장을 고르는 일, 세계관과 팬덤 서사를 짜는 일까지 전부요.
이 자리를 채우고 있는 사람들은 원래 무슨 일을 하던 사람들일까요? 그리고 지금은 실제로 어떤 기준으로 판단하고, 어떤 파이프라인으로 일할까요?
원래 3D 캐릭터 모델링과 셰이더 디렉팅을 담당하다 지금은 가상 아티스트의 얼굴과 세계관을 직접 설계하고 있는 AI Artist Director님과의 인터뷰를 통해 이 신생 직무의 실무와 판단 기준을 정리했습니다.
안녕하세요!
저는 3D 캐릭터 모델링과 셰이더/머티리얼 세팅을 기반으로 캐릭터 디렉팅을 해오다, 지금은 가상 아티스트의 얼굴부터 세계관, 콘텐츠 파이프라인까지 총괄하는 AI Artist Director로 일하고 있습니다. 아직 업계에 정착된 직함도, 표준화된 업무 범위도 없다 보니, 매번 제 역할을 새로 설명해야 할 때가 많네요. (하하)
AI가 이미지 백 장을 몇 초 만에 뽑아내는 시대에, 그중 어떤 것이 진짜 이 아티스트다운 한 장인지 판단하는 것, 그리고 그 판단을 기술팀과 크리에이티브팀 양쪽에 각자의 언어로 통역하는 것이 제 일의 실체에 가깝습니다.
불쾌한 골짜기를 넘는 디테일, 캐릭터 일관성을 지키는 기술적 워크플로우, 그리고 이 모든 걸 만드는 과정에서 실제로 부딪히는 현실을 가감 없이 말씀드리겠습니다!
1. 경력 서사
Q. 원래 어떤 업무를 주로 하셨나요? 그 시절 경험 중 "AI 시대에도 대체되지 않는 내 무기"는 무엇이었나요?
저는 원래 3D 캐릭터 모델링과 셰이더/머티리얼 세팅, 그리고 3ds Max/Maya 기반의 캐릭터 디렉팅을 주로 담당하던 3D 아트 디렉터였습니다.
AI 시대가 되어도 절대 대체되지 않는 제 무기는 '미적 감각을 바탕으로 한 비주얼 퀄리티 컨트롤(QA) 능력'과 '캐릭터의 뼈대를 만드는 구조적 이해도'입니다.
프롬프트나 AI 알고리즘이 이미지 백 장을 몇 초 만에 뽑아낼 수는 있지만, 그중 어떤 컷이 브랜드 톤앤매너에 맞는지, 인체 비율이나 빛의 어색함(불쾌한 골짜기)이 어디서 오는지를 짚어내고 수정 방향을 지시하는 건 결국 디렉터의 눈과 3D/미술적 기본기에서 나오거든요.
Q. 생성형 AI 기술을 처음 접했을 때 솔직한 느낌과 빠져들게 된 계기는 무엇인가요?
처음 Midjourney나 SD(Stable Diffusion)를 접했을 땐 솔직히 충격이면서도 커다란 해방감을 느꼈습니다.
기존 3D 파이프라인에서는 컨셉 아트 하나를 3D 프로토타입으로 제작하고 렌더링하기까지 수주일이 걸렸는데, AI를 활용하니 아이디어 프리프로덕션(Pre-production) 속도가 10배 이상 빨라졌으니까요. '이건 내 자리를 뺏는 도구가 아니라, 내 머릿속 세계관을 가장 빠르고 정교하게 현실화해 줄 사기적인 무기다'라는 확신이 들어서 ComfyUI와 LoRA 학습을 깊게 파기 시작했습니다.
Q. 이 직무의 핵심(70%)은 '기술'인가요, '전통적 크리에이티브'인가요?
단언컨대 70%는 '전통적인 크리에이티브와 미적 감각'입니다. 30%의 기술(Tool)은 시간이 지나면 상용화되어 평준화됩니다. 하지만 팬들이 빠져들 만한 캐릭터의 매력, 세계관에 어울리는 톤앤매너, 글로벌 K-Pop 시장에서 통할 비주얼 스토리텔링을 설계하는 능력은 툴 숙련도만으로는 절대 채울 수 없습니다.
2. 직무 정체성 & 크리에이티브 철학 (Hybrid Identity)
Q. 기존 아트 디렉팅 방식과 AI를 결합했을 때 발생한 창작 프로세스의 변화는 무엇인가요?
가장 큰 변화는 '비선형적(Non-linear) 워크플로우'로의 전환입니다.
예전에는 [기획 → 컨셉 스케치 → 3D 모델링 → 리깅 → 렌더링 → 합성]으로 일직선 단계를 거쳤다면, 지금은 기획 단계부터 AI로 수십 가지 비주얼 텍스처와 포즈를 다각도로 생성해 보면서 역으로 컨셉을 구체화합니다. 아이디어의 시각화 타임라인이 혁신적으로 단축되었습니다.
Q. 메인 코어(Main Core)와 부족한 영역을 메우는 방법은 무엇인가요? 그리고 이런 강점의 유무가 단순 플레이어와 전체 맥락을 잡는 'AI Artist Director'를 가르는 차이라고 보시나요?
제 메인 코어는 '3D 기반의 캐릭터 구조 이해 및 카툰/실사 렌더링 감각'입니다. 3D 프로토타이핑이나 셰이더 설정에서 강점이 있죠.
상대적으로 보완이 필요한 최신 AI 알고리즘이나 논문 파악, 고도화된 ComfyUI Custom Node 구축 등은 engineering 부문의 TA(Technical Artist)나 개발팀과의 긴밀한 소통을 통해 커스텀 툴을 내재화하는 방식으로 메워나가고 있습니다.
이런 의미에서 단순 플레이어는 '예쁜 이미지 한 장'을 잘 뽑아내는 사람입니다. 반면 AI Artist Director는 '이 이미지 속 캐릭터가 앨범 아트는 물론, 3D 퍼포먼스, 숏폼 영상, 굿즈/MD로 확장될 때의 일관성과 서사를 제어할 수 있는 사람'입니다. 비주얼의 결과물이 상업적 완성도와 글로벌 IP 확장성을 갖추도록 총괄하는 책임의 유무가 차이점입니다.
3. 캐릭터 설계 & 비주얼 일관성 (R&D & Consistency)
Q. 기술적인 부분도 여쭤보고 싶어요. 캐릭터의 얼굴, 톤앤매너, 일관성을 유지하기 위한 사전 기술적 가이드라인은 무엇인가요?
저희는 '하이브리드 3D-AI 파이프라인'을 구축해 이 문제를 해결하고 있습니다.
메인 캐릭터의 3D 프로토타입 모델(Maya/3ds Max)을 구축하여 정확한 인체 비율과 얼굴 골격을 fixation(고정)합니다. 이를 기반으로 다각도 렌더링 에셋을 추출해 자체 LoRA(Low-Rank Adaptation) 모델을 학습시킵니다.
실제 포즈와 구도는 ControlNet 및 ComfyUI 워크플로우를 활용해 3D 메시 포즈 데이터와 결합함으로써, 앨범 커버나 컨셉 포토에서도 동일한 인물과 정체성이 유지되도록 구축했습니다.
Q. 가상 아티스트의 '불쾌한 골짜기(Uncanny Valley)'는 주로 어디서 오나요? 그리고 이를 극복하는 디렉팅·포스트 프로덕션 노하우가 있으신가요?
불쾌한 골짜기는 주로 '어색한 눈빛(시선 처리)', '피부 질감의 이질감', '자연스럽지 못한 입모양'에서 옵니다. 저희는 완전히 실사로 가기보다 적절한 스타일라이즈드(Stylized) 감각이나 카툰렌더 기반의 매력적인 셰이더를 섞어 비주얼 정체성을 잡습니다.
또한 렌더링 후 인물 눈동자의 하이라이트, 마블러스 디자이너를 활용한 주름 커스텀, 피부 셰이더 보정 작업을 꼼꼼히 거쳐 감정선이 살아있는 미형 캐릭터를 만듭니다.
여기에 더해, AI 생성물은 전체적 분위기는 훌륭하지만 손가락, 악세사리 텍스처, 그래픽 레이아웃 등 미세한 디테일에서 깨짐이 발생합니다. 그래서 생성된 에셋을 그대로 쓰지 않고, Photoshop에서 인물 리터칭 및 합성 작업을 거친 뒤, 필요시 After Effects나 DaVinci Resolve에서 컬러 그레이딩 및 모션 그래픽 합성을 수행합니다.
즉, AI는 80%의 베이스 생성을 담당하고, 나머지 20%의 후반 작업으로 상업적 완성도를 채웁니다.
4. 기술 파이프라인 구축 (Tech & Pipeline)
Q. 현재 준비 중인 AI 아티스트 제작 파이프라인 단계는 어떻게되시나요?
저희가 현재 구축 중인 파이프라인은 기획부터 최종 마스터링까지 총 5단계로 유기적으로 연결되어 있습니다.
가장 먼저 [기획 & 콘셉팅] 단계에서는 A&R 및 크리에이티브 팀과 함께 아티스트의 고유한 세계관과 비주얼 서사를 정교하게 수립합니다.
이 서사가 잡히면 [3D Base & AI Generation] 단계로 넘어가는데요, 자체적으로 구축한 3D 프로토타입 모델로 아티스트의 뼈대와 비율을 고정한 뒤, 이를 자체 학습된 LoRA와 ComfyUI 워크플로우에 결합하여 캐릭터 일관성이 보장된 고품质 멀티모달 이미지를 일차적으로 생성해 냅니다.
그 다음 [Post-Production] 단계에서는 AI 특유의 어색함이나 오류를 잡기 위해 Photoshop과 3D 툴을 활용한 인물 리터칭, 디테일 합성, 그리고 엄격한 퀄리티 QA 작업을 거칩니다.
이렇게 완성된 비주얼을 바탕으로 [Motion & Video Transformation] 단계에 진입하는데, Runway, Kling, Veo 같은 최신 Video AI 툴과 언리얼 엔진의 3D 애니메이션 데이터를 결합해 생동감 있는 무빙 콘텐츠와 영상으로 확장시킵니다.
마지막 [Final Touch] 단계에서 디테일한 컬러그레이딩과 사운드 매칭, 그리고 AI 업스케일링 기술을 통한 최종 마스터링을 거쳐 상업적으로 완벽한 결과물을 완성해 내는 구조입니다.
Q. 2D 생성 AI와 3D 프로토타이핑/게임 엔진(Unreal 등) 결합 시 기술적 갭은 어떻게 해결하시나요? 그리고 최신 AI R&D와 실제 프로덕션 파이프라인 이식 사이의 밸런스는 어떻게 잡으시나요?
무엇보다도 2D AI의 랜더링 느낌과 3D 엔진(Unreal/Unity)의 리얼타임 라이팅 간 오차를 줄이는 게 핵심입니다. 이를 위해 카툰렌더 셰이더와 머티리얼을 커스텀 제작하여 3D 엔진 상에서도 AI 컨셉 아트와 동일한 톤앤매너가 연출되도록 맞추고 있습니다.
기술 아티스트(TA)와 협력하여 3D 캐릭터의 UV 텍스처 맵에 AI로 생성한 디테일한 텍스처를 이식하는 기법 등을 적극 실험하고 있습니다.
이렇게 기술적 갭을 메우는 과정에서도 R&D에만 매몰되면 데뷔 일정을 맞출 수 없고, 기존 방식에만 안주하면 퀄리티 격차가 벌어집니다.
따라서 파이프라인의 '메인 뼈대(Core)'는 검증된 ComfyUI+3D 툴로 안정화해 두고, 신규 릴리즈되는 기술(예: 새로운 영상 생성 모델이나 3D 가우시안 스플레이팅 등)은 별도의 'R&D 스프린트' 기간을 두어 파이프라인 상의 특정 단계(포토샵 리터칭 단계를 줄일 수 있는지 등)에 부분 도입하는 방식으로 안전하게 파이프라인을 고도화합니다.
5. 조직 내 협업 & 가이드라인 (Collaboration & Management)
Q. AI 실무자(엔지니어/TA)와 순수 크리에이터(A&R/디자이너) 간의 통역 노하우가 있으신가요?
크리에이터에게는 '엔지니어링 언어'가 아닌 '비주얼 무드보드'로 이야기하고, 엔지니어에게는 '감성적 언어'가 아닌 '정확한 수치와 데이터'로 번역해 주는 역할이 필요합니다.
A&R 팀이 '좀 더 신비롭고 아련한 느낌'을 요구하면, 저는 TA/엔지니어에게 '색온도를 낮추고, 피사체 주변의 가우시안 블러 및 특정 빛 굴절 셰이더 파라미터를 조정하자' 혹은 'LoRA Weight 값을 0.6에서 0.8로 올려보자'처럼 명확한 스펙으로 전달하여 간극을 좁힙니다.
Q. 외부 파트너사/외주용으로 준비 중인 가이드라인 및 에셋 기준이 있으신가요?
아티스트의 정체성을 담은 'AI Visual Style Guidebook'과 '공통 에셋 Pack'을 준비 중입니다. 가이드북에는 단순 컬러 팔레트뿐 아니라, 캐릭터의 금기 포즈/표정, Lighting 가이드, 사용 가능한 프롬프트 네거티브 키워드, 그리고 자체 LoRA 모델 파일 및 ControlNet 3D 포즈 템플릿을 패키지 형태로 제공하여, 외부 제작사에서도 일관된 퀄리티를 구현할 수 있도록 표준화 작업을 진행하고 있습니다.
핵심 정리
첫째, AI Artist Director는 신직업이 아니라 기존 디렉터의 본질이 확장된 형태다:
단순히 프롬프트를 다루는 플레이어가 아니라, 기존의 3D·아트 디렉팅·기획 내공을 바탕으로 전체 비주얼 맥락과 브랜드 정체성을 총괄하는 역량이 핵심이다. AI 툴 숙련도(30%)보다 미적 감각과 QA 및 큐레이션 능력(70%)이 이 직무의 진입 장벽을 결정짓는다.
둘째, 하이브리드 파이프라인(3D+AI)이 캐릭터 일관성 유지의 핵심 열쇠다:
AI 생성물의 최대 단점인 불확실성과 무작위성을 극복하기 위해, 3D 프로토타이핑으로 뼈대와 인체 비율을 먼저 고정한 뒤 자체 LoRA 학습과 ComfyUI, ControlNet을 결합해 매 콘텐츠마다 동일한 정체성을 유지하는 워크플로우를 구축한다.
셋째, AI 생성물은 완성품이 아니라 80%의 베이스 재료일 뿐이다:
생성형 AI가 뽑아낸 이미지나 영상을 그대로 사용하지 않고, 3D/Photoshop/Post-Production을 통한 인물 리터칭 및 합성, 셰이더 보정을 거치는 20%의 후반 작업이 불쾌한 골짜기를 넘어 상업적 완성도를 확보하는 결정적 차이를 만든다.
넷째, 디렉터의 핵심 관리 역량은 기술과 크리에이티브 언어 사이의 '번역'이다:
A&R/디자이너의 감성적·비주얼 언어를 TA/엔지니어가 이해할 수 있는 수치와 데이터 파라미터(LoRA Weight, 색온도, 셰이더 스펙 등)로 번역하고, 반대로 기술적 한계를 크리에이티브 팀에 명확히 전달하여 리드하는 통역자 역할이 필수적이다.
다섯째, 데뷔 전 R&D 단계의 성패는 표준화된 가이드라인과 떡밥(서사) 배치에 달렸다:
외부 파트너사와 제작 확장을 대비해 LoRA 모델, 3D 포즈 템플릿, 프롬프트 가이드북을 패키지화하여 퀄리티를 시스템화해야 한다. 동시에 글로벌 팬덤이 몰입할 수 있도록 미세한 인간적 디테일과 세계관 비주얼 떡밥을 캐릭터에 사전 배치하는 전략이 요구된다.
의견을 남겨주세요