구독자 님, 안녕하세요?
AI 트렌드를 전달해드리는 Trendium.ai 입니다.
오늘은 실시간 VTubing 기술 소식을 전해드립니다.
by 💜Cutico @cuticogent
실시간 VTubing 기술의 새로운 혁신, 'WarpTuber'가 오픈소스로 공개되었습니다. 이 획기적인 도구는 실시간 카메라 입력을 활용하여 사용자의 모습을 다양한 디지털 아바타로 변환할 수 있는 기능을 제공합니다.
특히 주목할 만한 점은 일러스트레이션, CG 캐릭터, 실제 인물 등 폭넓은 스타일의 아바타를 지원한다는 것입니다. MIT 라이선스로 출시되어 누구나 자유롭게 활용하고 수정할 수 있어, VTubing 커뮤니티에 새로운 가능성을 열어줄 것으로 기대됩니다.
시작하기
WarpTuber - AI 기반 VTubing 설정 가이드 (요약 및 번역)
📌 요구 사항
- Python (3.10.09 사용)
- RTX 시리즈 GPU 권장
- CUDA 및 cuDNN 설치 필요할 수도 있음
1. 프로그램 다운로드 및 설치
- Hugging Face에서 7zip 파일 다운로드 후 압축 해제
- 파일 경로가 너무 길어 오류가 발생할 경우, C 드라이브 루트에 직접 압축 해제
- 주요 실행 파일:
- camera_image.bat: 정지 이미지 애니메이션용
- camera_video.bat: 루프 비디오 애니메이션용
- mask_template.png 파일은 반드시 유지
2. 이미지 및 비디오 파일 설정
- main.jpeg 또는 main.mp4로 파일명을 변경해야 정상 작동
- 웹캠 인덱스 오류 발생 시, 다른 숫자로 변경하여 재시도
- iPhone + Epoch Cam 앱(30FPS, Full HD) 사용 가능
3. 모션 조정 및 최적화
- 프로그램 실행 후 얼굴 각도에 맞춰 Multiplier 값 조정
- 프로그램 종료 시 설정값이 저장되지 않으므로 스크린샷 저장 추천
- 상대적 모션(얼굴만 애니메이션 vs. 머리까지 회전) 설정 가능
4. OBS(Open Broadcaster Software) 설정
- 두 가지 방법 제공:
- 필터 및 색상 보정 가능
5. 애니메이션 효과 및 배경 설정
- 입자(Particle) 오버레이 추가 가능
- 배경 애니메이션 활용 가능
- 마이크, 캐릭터 등을 분리하여 레이어 별 편집
- 배경 제거 후 그린스크린 적용하여 OBS에서 조합
6. AI 기반 아바타 생성
- Google Gemini(Imagine 3) 활용해 아바타 이미지 생성
- ComfyUI 및 ControlNet을 사용해 스타일 조정
- 특정 스타일(픽사, Arcane 등) 적용 가능
7. 아바타 이미지 수정 및 최적화
- 머리 일부가 잘릴 경우 Outpainting(확장) 기능 활용
- 배경 제거 및 분리(ComfyUI, Foul 필터 등 사용)
- 인페인팅(Inpainting)으로 디테일 보완
8. 애니메이션 적용 및 최종 조합
- Kyber AI, Runway 등 활용하여 루프 애니메이션 생성
- 자연스러운 움직임을 위해 동일한 시작 및 종료 프레임 사용
- 여러 개의 애니메이션을 스티칭하여 더 긴 영상 제작 가능
📌 결론: WarpTuber를 활용하면 AI 기반으로 VTuber 아바타를 생성하고, OBS와 결합하여 실시간 스트리밍이 가능함.
](https://cdn.maily.so/7g3ppzrr5mrolbn9as3xzh2xarhm)
카메라로 입력받은 나의 모습이 실시간으로 일관된 캐릭터로 유지되어 버튜버 활동이 가능해진다는 점이 매우 흥미롭습니다. 이제 누구나 자신만의 디지털 페르소나를 만들어 온라인 활동을 할 수 있는 시대가 열리고 있네요.
WarpTuber는 실시간 립싱크와 자연스러운 표정 인식을 통해 AI 화상 회의의 혁신을 가져올 것으로 예상됩니다. 이는 원격 커뮤니케이션을 더욱 효과적으로 만들면서도 개인정보를 보호하고 전문적인 이미지를 유지할 수 있게 해줍니다.
또한 온라인 강의나 프레젠테이션에서 다양한 디지털 페르소나를 활용할 수 있게 되어, 소셜 미디어 상에서도 상황에 맞는 캐릭터를 선택적으로 사용할 수 있게 됩니다.
더불어 콘텐츠 제작의 진입장벽이 낮아져 더 많은 크리에이터들이 활동할 수 있게 되며, 이는 메타버스와 버추얼 엔터테인먼트 시장의 성장으로 이어질 것입니다.
앞으로도 계속해서 발전하는 AI 기술과 버추얼 콘텐츠 제작 도구들을 소개해드리도록 하겠습니다. 여러분의 많은 관심과 응원 부탁드립니다! 다음 뉴스레터에서 더 흥미로운 소식으로 찾아뵙겠습니다. 💫
오늘의 Midjourney Prompt
by 💜Cutico @cuticogent
[prompt] A frame from a fashion film featuring four women of different races in colorful and wigs, looking down at the viewer, against a blue sky background, shot from a low angle, in the style of Wes Anderson. The image is a close-up, high-resolution, high-quality, and high-detail cinematic photograph with bright colors, professional color grading, soft shadows, low contrast, clean sharp focus, depth of field, and film grain. --ar 91:66 --v 6
의견을 남겨주세요