AI로 영상 편집을 자동화했다는 얘기가 솔솔 들립니다.

과연 딸깍일까? 싶었는데 딸깍까지는 아니고 따알깍은 되겠더라고요!!

그 과정.. 꽤 간단해서 오늘 뉴스레터는 조금 날로 먹을 수 있을 것 같다는 생각이 듭니다.

페낭 국제학교에 다녀와서 도와드리기로 한 마케팅 중 '영상 편집'이 남아 있었어요.

인터뷰한 교장 선생님의 인터뷰 영상
페낭에서의 삶을 재미있게 담은 홍보용 영상

저는 이 영상 편집을 AI와 함께 하기로 마음 먹었답니다.

인터뷰 영상 편집기 - 단순 컷편집 + 애니메이션

1단계: 영상 편집을 수동으로 한다고 상상하며 그 과정 잘게 쪼개보기

이렇게 쌩으로 촬영한 영상이 있습니다. 이걸 제가 수동으로 편집한다면 이런 과정을 거치겠죠?

영상 + 음성 합성 (음성은 따로 마이크로 땄거든요.)
컷편집: 저의 질문 부분과 말실수 부분 덜어내기
자막: 교장선생님의 말씀 자막으로 깔기, 내 질문은 덜어낸 대신 별도 자막 효과로 더하기
시작, 종료에 들어가는 멋진 모션 효과 넣기

2단계: 영상 편집 스킬의 각 역할 이해하기

`Video-use` 영상을 읽는 편집 엔진

코딩 에이전트로 영상을 편집하게 해주는 오픈소스예요. AI가 영상을 보는 게 아니라, 음성을 단어 단위로 전사하고 화자를 분리해서 '글자로 읽어요'. 원본을 폴더에 넣고 대화하면 완성본이 나옵니다.

✅ 이럴 때 : 인터뷰, 강연, 브이로그처럼 '말'이 중심인 긴 영상을 컷 편집할 때

`Remotion` 코드로 영상을 만드는 프레임워크

설치 명령어)

npx create-video@latest

리액트(React) 코드로 영상을 만드는 도구예요. 자막, 로고 모션, 화면 전환, 표 애니메이션 같은 걸 손으로 그리지 않고 코드로 만듭니다. 실험 1의 로고 타이틀, 실험 3의 자막이 다 여기서 나왔어요.

✅ 이럴 때 : 자막·모션 그래픽·데이터 표를 '매번 똑같은 규칙'으로 반복 생성할 때

`Remotion-best-practices` Remotion 사용 설명서 스킬

설치 명령어)

https://github.com/anthropics/skills --skill remotion-best-practices

Remotion을 다룰 때 AI가 참고하는 노하우 모음이에요. 자막 처리, FFmpeg로 영상 자르기, 오디오 파형 시각화, 트랜지션, 폰트 넣기 같은 세부 규칙이 정리돼 있어요. AI가 '대충'이 아니라 '제대로' 만들게 잡아주는 안내서죠.

✅ 이럴 때 : Remotion으로 만든 결과물의 완성도를 한 단계 올리고 싶을 때

`HyperFrames` HTML로 영상을 그리는 렌더러

헤이젠(HeyGen)이 공개한 오픈소스로, HTML·CSS·JS로 영상을 만듭니다. AI가 영상을 '애니메이션 웹페이지'로 코딩하면, 헤드리스 브라우저가 프레임을 찍어 영상 파일로 바꿔줘요. 자막·오버레이·모션 그래픽 같은 '그래픽 레이어'에 특히 강해요.

✅ 이럴 때 : 더 강력한 모션 그래픽을 만들고 싶을 때

3단계: 위 1단계에서 정한 업무를 프롬프트화하기

아래 작업은 클로드코드, 코덱스, 안티그래비티 모두 동일하게 시킬 수 있습니다.

제가 영상 편집을 하기 위해 초기에 던진 프롬프트를 잘 살펴볼까요?

❶ 스킬 사용 지시: Video-use, Remotion, Remotion-best-practices 3가지
>> Remotion 관련 스킬 2개는 위 드린 명령어를 채팅창에 던져 설치하고, Video-use는 그냥 깃헙 주소를 채팅창에 던지면 스킬을 알아서 설치해서 사용까지해요.
(위 프롬프트에는 리모션 관련 스킬 설치가 생략되어 있으니 꼭 선행하세요!)

❷ 중요 정보를 포함했어요: 교장선생님의 타이틀과 이름

❸ 공식 사이트 주소를 줬어요: "영상에 적용할 브랜드 색상, 로고 알아서 따와"

❹ 제가 편집 전 영상과 음성 파일을 저장해 둔 폴더 경로를 줬어요: 영상-음성 파형 참고해서 음성 교체해줘.

❺ 기타 요청 사항: 인터뷰어의 발화 부분은 들어낼 것, 대신 질문은 텍스트 효과로 얹을 것

마지막으로... "시키는 것만 하지말고 퀄리티 끌어올려라..." 강조했습니다.