9.AI가 웹툰을 만들기 위해 해결해야 할 것들

요즘 '웹툰 AI'라는 단어가 자주 들리고 있다. 심지어 웹툰 AI 스타트업들이 우후죽순 생겨나고 있다. 하지만 내가 열심히 개발 중인 웹툰 에이전시 툴을 만들면서 느낀 점은, 실제로 웹툰을 만들기 위해서는 단순히 '그림 AI'를 연결하는 것보다 훨씬 더 복잡한 요소들이 필요하다는 것이다. 그 복잡한 요소들을 하나씩 살펴보자.

그림 AI와 웹툰 AI가 다른 점

현재 다양한 웹툰 AI가 등장하고 있다. 내가 알고 있는 리스트만 해도 아래 정도.

하지만, 이렇다 할 성과를 내고 있는 서비스는 보이지 않고 있다. 왜일까? 이는 그림 AI와 웹툰 AI의 근본적인 차이점 때문이다. 많은 개발자들이 '그림 AI'를 잘 연결하면 '웹툰 AI'가 된다고 생각하기 쉽다. 하지만 큰 오해다.

웹툰은 단순한 '그림'이 아니라 '정지된 그림 기호'와 '글 기호'가 혼합된 복합 기호매체이며, 스크롤 요소가 들어가면서 출판 만화와도 다르다. 이런 특성을 이해하지 못하면 결코 좋은 웹툰 AI를 만들 수 없다.

지난 AI 웹툰 스터디에서 참가자들이 가장 많이 겪은 시행착오도 바로 이 점이었다.

그럼 무엇을 해결해야 진정한 웹툰 AI가 될 수 있을까?

적당한 일관성

가장 이해하기 쉬운 차이점이기도 하다. 그림 AI는 매번 다른 이미지를 생성하므로, 일관성 유지가 쉽지 않다. 그림 AI로 웹툰을 시도할 때 가장 눈에 띄는 문제점이기도 하다.

"왜 주인공 얼굴이 계속 바뀌죠?" 이런 질문은 AI 웹툰을 처음 접하는 사람들의 공통적인 반응이다.

하지만, 흥미로운 점은 일관성을 너무 높인다고 해서 반드시 좋은 것도 아니라는 사실이다. 사실 어느 정도의 차이점은 '적당히' 넘어가는 것이 인간의 인지 특성이다. 실제 웹툰에서도 완전히 동일한 얼굴이나 의상을 그리진 않는다.

여기서 중요한 것은 한 가지다. '기호'로서 적절히 동작하는가?

독자가 "이 인물이 주인공이구나"라고 인식할 수 있으면 일관성의 기본 목적은 달성된 것이다.

그럼 일관성을 어떻게 높이면 좋을까? 사실 일관성을 높이는 가장 효과적인 방법은 3D 캐릭터를 만들고 LoRA를 통한 캐릭터 학습이다. 비용이 높은 것이 단점이지만, 장기적으로는 가장 안정적인 방법이다. 최근에는 서드파티(meshy.com 등)에서 괜찮은 퀄리티의 AI 3D 툴이 많이 등장하고 있으므로 이를 이용하는 것도 좋은 방법이다.

의도성

작가의 의도를 얼마나 잘 반영하는가. 이것은 카메라 연출, 표정 연기, 감정 표현을 모두 포함한다. 사실 이러한 부분은 눈에 보이지 않기에 독자나 투자자가 이해하기 힘든 영역이다. 웹툰 AI 서비스가 수없이 나왔다가 실패하는 근본적인 이유이기도 하다. 투자자들은 "왜 이게 안 되는데?"라고 묻지만, 실제 작가들은 "이건 내가 의도한 연출이 아니야"라고 말한다. 하지만, '작가' 입장에서는 더할 나위 없이 중요한 부분이다. 이번 웹툰 AI 스터디에서 나를 포함한 많은 참가자들이 가장 고생한 부분이기도 하다.

현재 가장 현실적인 해결책은 '직접' 배치해서 그리는 것이다. 내가 원하는 표정과 포즈를 정확히 전달하기 위해서는 결국 손으로 그리는 것이 가장 빠를 때가 많다.

다만, 이런 부분이 작화의 시간을 잡아먹는다. 작가 수명을 갉아먹는 부분이기도 하다.

내가 개발 중인 웹툰 에이전시 툴에서는 '완전 자동 작화'보다 '작가 보조'에 더 초점을 맞추고 있다. 작가가 원하는 부분은 빠르게 그릴 수 있도록 도구를 제공하고, 나머지 반복적인 부분은 AI가 처리하는 방식이다.

이는 완전 자동화가 아닌 인간-AI 협업 모델로, 의도성 문제를 해결하는 현실적인 접근법이다. 실제로 작가들이 가장 지루해하는 배경이나 반복적인 요소는 AI에게 맡기고, 캐릭터의 표정과 감정 같은 핵심 요소는 작가가 직접 컨트롤하는 방식이다.

스토리텔링 구조

웹툰은 단순한 그림 모음이 아니라 이야기를 전달하는 매체다. 스토리텔링 구조, 특히 웹툰 특유의 세로 스크롤 연출은 AI가 이해하고 생성하기 어려운 부분이다.

세로 스크롤은 독자의 호흡과 감정을 컨트롤하는 중요한 요소다. 느린 전개가 필요한 부분, 빠른 전개가 필요한 부분, 임팩트가 필요한 부분을 어떻게 구분하고 생성할 것인가?

현재 웹툰 에이전시 툴은 글콘티 단계에서 이러한 연출 의도를 입력하고, 스토리보드 단계에서 이를 반영하는 방식으로 접근하고 있다. 이는 작가의 의도를 AI가 이해하고 적용할 수 있는 구조를 만드는 것이며, 작가는 '이 장면은 빠르게 넘어가도록', '이 부분은 독자가 몰입하도록' 등의 지시를 내릴 수 있다.

내가 실제로 스튜디오에서 총괄 PD로 일할 때도 사실상 가장 신경을 쓴 부분이기도 하였다. 이런 연출 의도가 AI에 반영되지 않으면 웹툰 퀄리티는 절대 올라갈 수 없다.

작업 파이프라인

실제 웹툰 제작은 복잡한 파이프라인을 거친다. 시놉시스 → 글콘티 → 스케치 → 펜선 → 채색 → 효과 → 출판 등의 과정이다. 각 단계마다 다른 전문가가 참여하는 에이전시 시스템에서는 이 흐름이 체계적으로 관리된다. 하지만 AI 웹툰 시스템은 이러한 파이프라인을 어떻게 구현할 것인가?

내가 개발 중인 웹툰 에이전시 툴은 이 문제를 세 가지 공간으로 해결하고 있다:

이 세 공간은 데이터를 자연스럽게 주고받으며, 웹툰 제작 파이프라인을 AI로 구현한다.

특히 시놉시스→시나리오→스토리보드로 이어지는 데이터 흐름은 실제 에이전시에서의 "PD 지시 → 글작가 작업 → 그림작가 작업"의 흐름을 모방한다. 이런 구조가 없다면, AI가 아무리 좋은 그림을 그려도 웹툰으로서의 가치는 떨어질 수밖에 없다.

앞으로의 과제

AI 웹툰 도구는 아직 발전 중이다. 해결해야 할 과제는 여전히 많다.

이런 피드백은 앞으로 우리가 가야 할 방향을 분명히 보여준다.

결론: 1인 웹툰 에이전시의 미래

웹툰 AI의 목표는 작가를 대체하는 것이 아니다. 오히려 작가가 1인 웹툰 에이전시가 되어 여러 역할을 수행할 수 있도록 돕는 것이다. AI는 반복적이고 시간 소모적인 작업을 대신해주고, 작가는 창작의 본질인 이야기와 감정 표현에 집중할 수 있는 환경을 만드는 것. 그것이 내가 개발 중인 웹툰 에이전시 툴이 지향하는 방향이다.

앞으로도 계속 개발하면서 이 도구들을 발전시켜 나갈 예정이다. 실제 작가들의 피드백을 받아가며, 더 유용하고 실용적인 도구로 만들어갈 것이다. 웹툰 창작의 진입 장벽은 낮추고, 작가들의 창의성은 더욱 빛나게 하는 것. 그것이 1인 웹툰 에이전시 프로젝트가 지향하는 궁극적인 목표다.

AI는 작가의 도구이지, 작가의 대체품이 아니다. 1인 웹툰 에이전시의 미래는 AI와 작가의 완벽한 협업에 있다.