🥽Sora 영상 속 그 사람이 노래를 부른다면?

'Sora'가 공개된 지 시간이 좀 흘렀는데요. 새롭게 추가 되고 있는 👀혁신을 살펴보도록 할게요.

1.Text to Video

OpenAI가 'Sora'를 공개했습니다. Sora는 텍스트-동영상 생성 모델인데요. 아웃풋 수준이 너무 놀라워 테크뿐만 아니라 영상 업계도 적지 않은 충격을 받았어요.

Sora로 생성된 약 1분 길이의 몇 가지 샘플 영상을 공개했는데요.
가방이 흔들리거나, 젖은 도로 등을 표현하는데 어색함이 거의 느껴지지 않을 정도로의 자연스러움이 특히 인상적이었습니다.
카메라 구도나 시각 등 편집한 것과 같은 느낌을 살려주는 포인트도 부각되었는데요. 사람이 촬영 한 것 같은 느낌을 전달하는데 충분 했어요.

Sora 이전에도 텍스트-동영상 서비스는 이미 시장에 나와 있었습니다. 런웨이나 피카 같은 서비스들이 네임드 플레이어고요. But, Sora는 런웨이나 피카 같은 기존 서비스들의 한계를 극복 했다는 점에서 더 주목 받고 있습니다.

먼저 영상 길이의 한계를 극복 했어요. 기존 서비스들은 몇 초 길이의 영상 밖에 생성 할 수 없었는데요. Sora는 설명 드린대로 1분 길이의 영상을 만들어 낼 수 있어요.

큰 동작을 구현 할 수 있다는 점도 런웨이나 피카 대비해 Sora가 보여준 획기적인 개선 사항이라고 할 수 있습니다. 모델이 걷는 모습, 가방이 자연스럽게 흔들리는 것 모두 큰 동작의 예시인데요. 이전에는 입술을 움직이는 것 처럼 작은 동작 구현만 가능 했습니다.

2. Image and Audio

알리바바는 EMO(Emote Portrait Alive) 모델을 공개 했어요. EMO는 오디오와 얼굴 이미지를 활용해 영상을 만들어내는 모델 입니다.

예를 들어 얼굴 이미지와 노래 오디오 파일을 업로드 하면, 이미지가 노래 가사를 따라 부르는 영상을 만들어 낼 수 있어요.
단순히 입술만 움직이는 게 아니에요. 가사와 음의 높낮이에 따라서 얼굴 표정 또한 변화 시킬 수 있어요.
노래에만 국한되는 것이 아니고요. 평온한 대화 음성으로도 얼굴 움직임을 구현해 낼 수 있습니다.
같은 이미지라고 해도 음성 파일이 달라진다면 얼굴 움직임과 표현을 전혀 다르게 묘사해 낼 수 있어요. 샘플 영상은 여기에서 확인 할 수 있습니다.

3. In action

블룸버그가 실적 분석 AI를 공개 했습니다. 대부분의 증권사들은 블룸버그 터미널이라는 서비스를 이용하고 있는데요. 터미널을 이용하는 사람이라면 누구나 분석 AI를 사용 할 수 있어요. 전체 어닝 스크립트를 요약 할 수도 있고, 구체적인 수치 관련 질문에도 답을 할 수 있습니다.
엣시는 'Gift mode'라는 생성 AI 서비스를 추가 했어요. Gift mode는 퀴즈 기반의 선물 추천 AI에요. 몇 가지 퀴즈를 통해 선물 유형이나 좋아하는 제품 군을 선택하면 생성 AI가 옵션을 추천해 주는 형태로 이용 할 수 있습니다.
마이크로소프트가 코파일럿에 디자인 중심의 기능을 업그레이드 했습니다. 이미 코파일럿에서는 이미지를 생성 할 수 있는데요. 이번 기능 업그레이드로 생성된 이미지를 채팅 내에서 편집 할 수 있다고 합니다. 이미지를 카툰 스타일로 변경한다거나, 배경 색깔을 바꾸는 등의 편집 기능을 제공하는 것이죠.

4. Efficiency

HopSkipDrive라는 회사가 있습니다. 어린이 전용 교통 서비스를 운영하는 회사인데요. 최근 AI를 통한 스쿨버스 운영 최적화를 위해 힘쓰고 있습니다.

Strategic Routing이라는 AI 서비스를 활용해 몇 명의 학생들을 픽업해야 하는지, 어느 지역에 몇 명의 학생이 거주 하고 있는지 등의 정보를 분석 하고 있어요.
스쿨 버스 운영 효율화로 버스 기사 부족 현상을 해결하고자 하는데요. 콜로라도 스쿨 디스트릭트 11에서는, Strategic Routing 적용 이후 버스 운영 횟수를 100회에서 55회까지 감소 시키는데 성공 했습니다.