리포트

[번역] 일본 디지털 휴먼의 바람직한 활용법에 관한 의견서

디지털 휴먼 협의회는 사용자와의 자연스러운 상호작용을 통해 사회 문제 해결에 기여할 수 있는 디지털 휴먼 기술의 윤리적 활용, 권리 보호, 시스템 구현 및 잠재적 위험에 대한 종합적인 접근법을 제시한다.

2025.05.10 | 조회 256 |
0
|
0xPlayer의 프로필 이미지

0xPlayer

-

첨부 이미지

제1장 서론

디지털 휴먼에 대한 사회적 관심이 날로 높아지고 있다. 일본 국내에서도 실제 활용 사례가 많아졌다. 스기 약국에서의 디지털 휴먼 실증실험 등이 대표적인 예이다. 디지털 휴먼 관련 사업자들이 창의적인 노력을 기울여 디지털 휴먼을 활용해 더 나은 사회를 만들어 간다면, 우리나라의 다양한 문제 해결에 도움이 될 것으로 기대한다. 물론, 사회적으로 바람직하지 않은 사용은 피해야 한다.

디지털 휴먼 협의회는 2023년 4월 설립 이후, 디지털 휴먼의 사회적 적용 방안에 대해 사업자들을 중심으로 논의를 거듭해 왔다. 그 중간 결과물로 2023년 10월, 「디지털 휴먼 백서 2023」을 발행하여 디지털 휴먼의 기술적 개요부터 일본 내 예상 활용 사례까지 제시했다.

이후 실제 사회 적용 사례가 늘어남에 따라, 디지털 휴먼 협의회는 피해야 할 용도를 명확히 제시하는 것이 시장의 지속적인 성장에 꼭 필요하다고 판단했다. 협의회는 이러한 검토 내용을 내부 논의에만 그치지 않고 공개하여, 독자들의 다양한 의견을 수렴하고 더 나은 사회를 만드는 데 기여하고자 한다.

본 의견서에는 협의회 내에서 여전히 논의 중이거나 의견이 갈리는 부분, 또는 충분히 검토되지 못한 내용도 포함되어 있다. 따라서 여기에 제시된 모든 내용이 회원 전체의 합의를 거친 것은 아니다. 그럼에도 앞서 언급한 이유로, 협의회 내부의 논의 과정을 이와 같은 형태로 공개하기로 결정했다.

또한, 의견서 말미에는 실제 당사자의 소중한 의견을 담아, 연예 활동 중 자신을 디지털 휴먼으로 제작한 쿠리에미 씨의 인터뷰를 실었다.

이 의견서를 읽은 독자들의 소중한 의견이나 감상을 꼭 듣고자 한다. 더불어 협의회의 구성원으로서 논의의 장에 함께 참여하기를 바란다.

문의처 - 디지털 휴먼 협의회 (digitalhumans-council.com)

본 의견서는 디지털 휴먼 협의회 참여 기업의 뜻있는 이들이 협력하여 정리한 것이다. 다시 한번 언급하지만, 여기에 기술된 의견이나 해석은 각 집필자가 소속된 기업의 공식적인 견해가 아니며, 디지털 휴먼 협의회에 참여한 집필자 개인의 것이다.


제2장 검토 배경

최근 기술 발전이 눈부시다.

Mike et al. (2023) 1에 따르면, 영상 기술의 발전과 AI의 진보 덕분에 챗봇이 크게 발전하여 인간의 소통 방식을 모방할 수 있게 되었다고 한다. 2023년 중국의 알리바바(Aribaba, 2023) 2는 사진이나 그림으로 동영상을 만드는 Animate Anyone을 발표했다. Yuwei et al. (2024) 3에서는 비슷한 효과를 내는 Animate Diff가 공개되었고, 깃허브(GitHub)에 소스 코드가 공개되었다. 또한 알리바바(Alibaba, 2024) 4가 발표한 EMO 기술은 노래와 정지된 사진을 합쳐 사진 속 인물이 노래하는 듯한 영상을 만들 수 있다.

이러한 기술들은 누구나 사용할 수 있도록 공개되면서 순식간에 인터넷으로 퍼져나갔다. 그 결과 2024년 초에는 프로그램을 다루지 못하는 일반 사용자도 사진으로 손쉽게 동영상을 만들 수 있게 되었다.

기계 학습으로 특정 음색을 재현하는 음성 기술 또한 최근 눈부시게 발전하고 있다. 보이스 체인저가 대표적인 예이다. RVC(Retrieval-based-Voice-Conversion)는 메타버스에서 남성 목소리를 여성 목소리처럼 바꾸는 데 사용되는 보이스 체인저 기술이다. RVC는 음성을 기계에 학습시킬 수 있다.

이 기계 학습 기능을 이용하면 특정인의 목소리와 똑같은 소리를 만들어 낼 수 있다. 이를 활용하면 어떤 사람의 노래를 다른 가수 목소리로 바꾸거나, 특정인의 연설을 다른 사람 목소리로 변환하는 것도 가능하다.

이처럼 2024년 현재, 영상 기술이 빠르게 발전하고 음성 기술이 고도화되면서, 실제 사람이 나오는 듯한 영상이나 음성을 이전보다 훨씬 쉽게 만들 수 있게 되었다. 이러한 기술 발전이 디지털 휴먼에 적용되어 디지털 휴먼이 사회에 더 쉽게 통합된다면, 인력 부족과 같은 사회 문제를 해결하고, 사람이 꼭 하지 않아도 되는 일로부터 해방될 수 있다는 기대감이 커지고 있다.

반면, 기계 학습에 사용되는 데이터의 여러 권리 문제나, 노동자에게서 보람 있는 일을 부당하게 빼앗을 수 있다는 위험도 쉽게 예상할 수 있다. 또한, 겉보기에는 디지털 휴먼과 사람을 구분하기 어려운 경우도 생겨나고 있어, 소위 딥페이크 기술을 악용한 사칭 등 여러 문제도 발생할 수 있다.

따라서 본 협의회는 다음 장부터 설명할 여러 위험에 대해 사업자들이 미리 적절히 대비해야 한다고 생각한다.


제3장 디지털 휴먼의 이용 목적

제1절 권장되는 이용 목적

디지털 휴먼 협의회가 발표한 「디지털 휴먼 백서 2023」에서 제시했듯이, 디지털 휴먼은 사람에게 도움이 되는 방식으로 사용되어야 한다. 예상되는 유스케이스는 아래와 같다.

<「디지털 휴먼 백서 2023」에 제시된 유스케이스>

A. "대접의 최적화"

B. "자신의 분신"

C. "호흡이 맞는 파트너"

D. "반복 연습 대상"

E. "비밀 대화 상대"

F. "입이 무거운 상담역"

G. "상주 감시원"

H. "디지털 아이돌"

I. "디지털 커뮤니티"

구체적인 사례는 다음과 같다. 제1장에서 언급한 스기 약국 사례는 방문객과 소통하며 추천 상품을 소개하는 등 '대접의 최적화'를 목적으로 하는 디지털 휴먼의 국내 우수 사례이다.

NTT 도코모는 '도코모 오픈하우스 24 5'에서 "커뮤니케이션 AI가 실현하는 AI 접객"이라는 시연을 공개했다. 이 AI 접객 시연에서는 디지털 휴먼을 프론트엔드에 배치하고 여러 AI 기술을 조합했다. 이를 통해 사용자의 프로필 정보와 당시 감정에 맞춘 응대를 하며 휴대전화 서비스 플랜을 제안할 수 있게 되었다.

해외 사례를 보면, 델(DELL)은 온라인 쇼핑 웹사이트에 디지털 휴먼을 표시하여 용도에 맞는 기종 선택을 돕는 콘셉트 모델을 발표했다. 현재 본격적인 도입을 준비 중이다. 또한 카타르 항공은 메타버스 환경 "Qverse" 6에서 디지털 휴먼을 통한 접객 업무를 이미 시작했다.

온라인 쇼핑몰과 같은 웹사이트에서는 디지털 휴먼과 실시간 대화를 통한 접객이 가능하다. 여기에 더해 로그인 등으로 고객을 식별하고, 고객별 구매 및 소통 이력 데이터를 바탕으로 맞춤형 대화를 진행하여 최적의 응대를 실현할 수 있다.

구매할 상품 선택이나 서비스 맞춤 설정 등 방문부터 구매에 이르는 과정에서 컨설팅이 필요한 상품이 있다. 이런 상품은 고객별로 최적화된 일대일 응대가 요구되는 경우가 많다. 이는 앞서 언급한 컴퓨터 기종 선택이나 휴대전화 서비스 플랜 제안뿐만 아니라, 보험 상담 및 견적, 여행 계획 수립, 패션이나 인테리어 코디 제안 등 다양한 업종의 고객 응대에 해당된다. 이러한 업종에서 웹이나 메타버스상의 고객 응대에는 디지털 휴먼 활용이 적합하다.

실제 매장에서의 일대일 응대는 소위 '단골' 고객에 대해 매장 직원이 개인적으로 응대하며 이루어져 왔다. 앞으로는 실제 매장에 설치된 디지털 휴먼에게도 같은 수준의 응대가 요구될 것이다. 앞서 언급했듯이 웹사이트나 메타버스에서 디지털 휴먼이 제공하는 일대일 고객 응대는 고객 개인을 식별할 수 있다면 실제 매장에서도 동일하게 적용할 수 있다. (고객 식별은 매장에 디지털 휴먼을 표시하는 디지털 기기가 설치되므로 어떤 방법으로든 실현될 가능성이 높다.)

즉, 디지털 휴먼은 실제 매장, 웹, 메타버스 등 다양한 환경에서 활용할 수 있다. '응대의 최적화'는 디지털 휴먼과의 소통을 통해 수집된 빅데이터를 활용하여 실현된다. 이를 통해 24시간 365일 여러 언어로 수준 높고 일관된 품질의 고객 응대를 제공하는 데 디지털 휴먼이 사용된다.

디지털 휴먼을 통한 일대일 소통은 고객 응대뿐만 아니라, 마음이 맞는 대화 상대, 반복 연습 상대, 비밀 대화 상대, 입이 무거운 상담 창구와 같은 여러 활용 사례를 실현하기 위한 기본 조건이다. 제일생명보험 7은 영업사원과 동행하며 지원하는 '디지털 버디'를 발표했다. 이는 고객과 영업사원이 만나는 자리에 디지털 휴먼을 제3자로 참여시켜 활용하는 새로운 방식으로, 이러한 사례도 등장하고 있다.

활용 사례에 따라 대화 내용을 생성형 AI(LLM)로 만드는 경우에는 프롬프트 구성 방식이나 LLM 자체의 미세 조정(파인튜닝) 등으로 구현할 수 있다. 반면, 다이얼로그플로우(Dialogflow)나 왓슨 어시스턴트(Watson Assistant)와 같은 시나리오 기반 챗봇 엔진을 사용하는 경우에는 시나리오 제작 방식이 중요해진다.

하지만 어떤 경우든 일대일 소통을 실현하는 핵심은 데이터라는 점이 분명하다. 따라서 디지털 휴먼이 단일 환경이나 하나의 활용 사례(점)에 국한되지 않고, 여러 환경과 다양한 활용 사례(면)에서 활동해야 한다. 이를 통해 광범위한 소통 데이터를 확보하고 고객별 빅데이터를 구축하는 것이 필요하다. 또한 확보하는 데이터에는 대화 내용뿐 아니라 고객의 표정이나 음성에서 파악할 수 있는 감정 변화 등도 포함될 수 있다. 이는 언어적·비언어적 소통이 모두 가능한 디지털 휴먼만의 특징이라는 점을 기억해야 한다.

이토엔의 TV 광고(CM) 사례는 디지털 휴먼을 모델이나 배우로 활용한 경우이다. 이는 이 절에서 주로 다룬 고객 응대 업무에서의 활용 사례와는 성격이 크게 다르지만, 디지털 휴먼 활용법 중 하나로 흥미로운 예이다. "실사 같다", "불쾌한 골짜기를 넘어섰다"는 평가가 나오는 것을 보면, 최근 디지털 휴먼 기술의 발전을 엿볼 수 있다.

「디지털 휴먼 백서 2023」에서 제시한 '디지털 아이돌' 활용 사례에는 팬과의 교류나 무대 밖 일상 공유에 대한 언급이 있다. 이는 일대일 소통을 접목할 가능성을 시사한다. 이 점은 실제 연예인의 전략과 마찬가지로, 미디어에만 등장할 것인지, 아니면 '만나러 갈 수 있는 아이돌'을 추구할 것인지에 따라 달라진다.

제2절 권장되지 않는 사용 방법

권장되는 사용 방법이라도 법적 범위 내에서 사용되어야 한다. 특히 저작권 등 지식재산권과 관련해서는 문제가 생길 수 있으므로 충분한 확인이 필요하다. 더불어 퍼블리시티권도 고려해야 한다. 인물의 얼굴, 행동, 음성 등을 활용하는 데에는 이용 허락 등이 필요하다.

덧붙여 인물이나 캐릭터의 세계관에 어긋나거나, 캐릭터 디자인 가이드라인을 벗어난 방식의 사용도 피해야 한다. 예를 들어 폭력물, 성인물 제작이나 정치적·종교적 발언, 특정 사상 전파(프로파간다) 등에 사용하는 것은 특히 주의해야 한다. 또한 딥페이크 기술을 악용하여 가짜 뉴스나 혐오 발언에 사용해서는 안 된다. 디지털 휴먼 관련 사업자는 이러한 사용을 피해야 한다.

또한 총무성과 경제산업성이 공동으로 발표한 'AI 사업자 가이드라인'을 참고하여 AI 개발자 및 제공자로서의 책무를 다해야 한다. 앞 절에서 언급했듯이 디지털 휴먼의 효과적인 활용에는 데이터가 필수적이다. 개인 정보 보호와 보안 확보는 물론, 데이터 수집·이용 방법의 투명성과 책임성이 요구된다는 점은 두말할 필요가 없다.


제4장 디지털 휴먼의 디자인

제1절 디지털 휴먼의 진화와 응용

디지털 휴먼은 엔터테인먼트, 교육, 헬스케어 등 다양한 분야에서 활용된다. 엔터테인먼트 분야에서는 가상 캐릭터가 팬과 더 깊이 소통한다. 교육 분야에서는 디지털 휴먼이 교사 역할을 하며 학습을 돕는다. 헬스케어 분야에서는 감정 인식 기술을 활용해 환자와 자연스럽게 대화할 수 있게 되었다.

최신 기술 덕분에 디지털 휴먼은 실시간으로 감정을 이해하고 사용자에게 맞춤형으로 응답할 수 있게 되었다. 이로써 디지털 휴먼은 단순한 도구를 넘어 사용자와 신뢰 관계를 구축하는 중요한 존재로 발전하고 있다. 이러한 기술 발전은 사용자 행동 데이터를 기반으로 고도로 개인화된 경험을 제공한다. 이는 새로운 사용자 경험(UX) 디자인의 가능성을 넓히고 있다고 볼 수 있다.

제2절 AI의 역할과 그 영향

디지털 휴먼에 사용되는 AI는 데이터 분석과 맞춤형 콘텐츠 제공에 중요한 역할을 한다. 수집된 데이터를 바탕으로 사용자 행동 패턴과 요구(니즈)를 분석하여 최적의 콘텐츠나 서비스를 제공할 수 있다. 또한 AI가 생성하는 고품질 텍스트와 이미지 덕분에 디지털 휴먼은 더 복잡하고 다양한 작업(태스크)을 처리할 수 있게 되었다. 이처럼 AI가 발전함에 따라 작업(태스크) 자동화와 정확도 높은 예측이 가능해졌다. 이로 인해 교육, 금융, 의료 등 여러 분야에서 알고리즘을 활용한 통찰력을 제공하고 중요한 의사 결정을 지원할 것으로 기대된다. 더불어 디지털 휴먼의 사용자 경험(UX)은 더욱 자연스럽고 효과적으로 변화하고 있다.

하지만 복잡한 작업(태스크)에서는 아직 사람에 비해 부족한 점이 종종 드러나므로, 사용 범위에 대해 충분히 고려해야 한다.

제3절 디지털 휴먼과 AI의 융합으로 인한 UX 디자인의 변혁

디지털 휴먼의 발전은 다음과 같은 새로운 사용자 경험(UX) 디자인의 가능성을 만든다고 본다.

  • 개인화된 상호작용 디지털 휴먼은 사용자 과거 행동 데이터를 활용해 개인에게 최적화된 지원과 콘텐츠를 제공할 수 있다. 이를 통해 사용자 경험의 개인화가 더욱 기대된다.
  • 상호작용적이고 자연스러운 경험 실시간 데이터 분석 능력과 디지털 휴먼의 대화 능력을 결합하면 자연스럽고 직관적인 인터페이스를 구현할 수 있을 것이다. 이를 통해 사용자는 더욱 상호작용적이고 자연스러운 경험을 할 수 있을 것으로 본다.
  • 투명성과 신뢰성의 향상 앞으로 기술이 발전하면 데이터 관리의 투명성이 높아져, 사용자는 더욱 안심하고 서비스를 이용할 수 있을 것이다. 이를 통해 사용자 신뢰도가 높아지고 서비스 이용이 늘어날 것으로 기대된다.

제4절 디지털 휴먼의 UX/UI 디자인의 이상이란

사실적인 모습(포토리얼)이나 애니메이션 형태 등 다양한 유형의 디지털 휴먼이 앞으로도 등장할 것으로 예상된다. 하지만 어떤 디지털 휴먼이든 다음과 같은 사용자 경험(UX)과 사용자 인터페이스(UI)가 필요하다고 본다.

  • 투명성 데이터 수집·이용 방법을 사용자에게 명확히 알리고 투명성을 확보하는 것이 매우 중요하다.
  • 일관성과 예측 가능성 일관된 디자인과 예측 가능한 조작감을 제공하여 사용자가 직관적으로 이용할 수 있도록 하는 것이 사용자 경험(UX) 측면에서 바람직하다.
  • 반응성 있는 피드백 사용자 입력에 신속하고 적절히 반응하는 피드백을 제공하는 것이 사용자 경험(UX) 측면에서 바람직하다.
  • 사용자 친화적인 디자인 간단하고 사용하기 쉬운 디자인으로 사용자 부담을 줄이고 직관적인 이용을 돕는 것이 사용자 경험(UX) 측면에서 바람직하다.

제5절 신뢰할 수 있는 디지털 휴먼을 실현하기 위해

디지털 휴먼이 사회에 널리 보급되기 위해서는 무엇보다 먼저 신뢰할 수 있는 존재가 되어야 한다. 신뢰할 수 있는 디지털 휴먼을 구현하기 위해서는 다음 요소가 중요하다고 본다.

  • 투명성 확보 디지털 휴먼이 데이터를 어떻게 수집하고 이용하는지 명시하며, 사용자에게 투명하게 정보를 제공하는 것이 이상적이다.
  • 개인정보 보호 사용자 데이터를 안전하게 관리하고 개인 정보를 보호해야 한다. 사용자가 자신의 데이터를 통제할 수 있게 되면 신뢰도 향상을 기대할 수 있다.
  • 윤리적 디자인 디지털 휴먼 설계와 운용에 있어 윤리적 고려를 통해 사용자 신뢰를 얻는 것이 중요하다. 이를 통해 디지털 휴먼 이용이 건전하고 지속 가능하게 될 수 있다.
  • 소통(커뮤니케이션)의 이상형 소통(커뮤니케이션)에 관해서는 특히 다음 요소들을 고려할 수 있다.
    • a. 공감적 응답 사용자 감정이나 상황에 공감하는 반응을 보이며 신뢰 관계를 구축하는 장면이 나타날 것으로 본다.
    • b. 일관된 소통(커뮤니케이션) 스타일 일관된 어조나 언어 사용을 유지함으로써 사용자는 안심감을 느낄 수 있다고 본다.
    • c. 개인 맞춤형 대응 사용자의 과거 상호작용이나 취향을 고려해 개별적으로 대응함으로써 사용자 신뢰감을 높일 수 있다.
    • d. 명확하고 정확한 정보 제공 때로는 잘못된 정보를 피하고 신뢰도 높은 정보를 제공해야 한다.

제6절 애착이 가는 디지털 휴먼

활용 사례(유스케이스) 중에는 신뢰성뿐 아니라 애착을 느낄 수 있는 디지털 휴먼이 필요한 경우도 있다. 애착 가는 디지털 휴먼을 만들기 위해서는 감정적 연결을 강화하는 것이 중요하다. 이를 위해 다음과 같은 검토가 필요하다고 본다.

개인 맞춤형 경험 사용자 요구(니즈)나 취향에 맞춘 대응을 통해 깊은 관계를 구축하는 기능 검토가 필요하다.

공감 능력의 향상 사용자 감정이나 상황에 공감하는 반응을 보이는 디지털 휴먼에 대한 검토가 필요하다.

지속적인 상호작용 장기적으로 지속 가능한 상호작용을 설계하여 디지털 휴먼을 일상생활의 일부로 받아들이도록 하는 방안 검토가 필요하다.

제7절 디지털 제품에서의 UI 변화

디지털 휴먼 등장으로 사용자 경험(UX)과 사용자 인터페이스(UI)는 크게 변화하고 있다. 다음은 앞으로의 변화 예측이다.

능동적 UI에서 양방향 UI로 기존 사용자 인터페이스(UI)는 사용자가 능동적으로 조작하는 방식이었지만, AI와 디지털 휴먼 도입으로 UI는 양방향 소통 및 상호작용이 가능한 형태로 변화했다. 이를 통해 사용자와 시스템 간의 자연스러운 대화가 가능해지고, 조작 편의성이 크게 향상될 것으로 기대된다. 디지털 휴먼은 사용자와의 대화를 통해 더욱 직관적이고 자연스러운 경험을 제공할 것이다.

웹이나 앱 UI의 변혁 디지털 휴먼이 사용자 인터페이스(UI) 일부로 통합되면서 기존 버튼이나 메뉴 방식에서 대화형 방식으로 전환될 것이다. 이를 통해 사용자는 서비스를 더욱 직관적으로 이용할 수 있을 것으로 본다. 또한 AI 기술 덕분에 사용자 인터페이스(UI)의 투명성과 신뢰도가 높아져, 사용자는 안심하고 상호작용할 수 있을 것으로 본다.

제8절 본 장의 요약

디지털 휴먼과 AI 기술이 융합되면서 사용자 경험(UX) 디자인은 큰 변화를 맞이하고 있다. 이러한 기술을 적절히 통합하여 사용자에게 가치 있는 경험을 제공하는 것이 필요하다. 미래의 사용자 경험(UX)은 기술 발전에 따라 더욱 인간 중심적이고 신뢰할 수 있으며, 감성에 호소하는 경험을 제공하는 방향으로 발전해 갈 것이다. 기업은 이러한 기술을 활용해 차세대 사용자 경험(UX) 디자인을 만드는 혁신적인 접근법을 찾아야 한다.

신뢰할 수 있는 디지털 휴먼, 양방향 사용자 인터페이스(UI), AI의 투명성과 신뢰도를 결합하여 새로운 시대의 사용자 경험을 만들 수 있다고 본다. 이처럼 사용자에게 새로운 가치를 제공하려면 디지털 휴먼과 AI 기술을 융합하고, 차세대 사용자 경험(UX) 디자인을 추진하는 것이 중요하다.

사용자는 더욱 개인에게 맞춰지고, 상호작용하며 신뢰도 높은 경험을 누릴 수 있게 될 것이다. 사업자는 이러한 기술을 활용해 사용자 기대를 뛰어넘는 가치를 제공하기 위한 새로운 접근법을 계속 찾아야 한다. 이것이 미래 사용자 경험(UX) 디자인에서 성공의 열쇠가 될 것이다.


제5장 디지털 휴먼과 라이센스의 미래 예측

제1절 라이센스의 진화

디지털 휴먼의 보급에 따라 라이센스의 개념도 진화해 갈 것으로 예상된다. 다음은 미래의 디지털 휴먼과 라이센스의 예측이다.

  • 브랜드 파트너십과 상업적 성공 디지털 휴먼이 브랜드의 앰배서더나 인플루언서로서의 역할이 증대되어 상업적인 성공을 거둘 가능성이 있을 것이다. 이미 Lil Miquela 10와 같은 디지털 인플루언서가 여러 고급 브랜드와 제휴하여 성공을 거둔 사례도 등장하고 있다.
  • 다국어 대응 디지털 휴먼 디지털 휴먼은 다국어 대응 능력을 갖춤으로써 글로벌 커뮤니케이션 향상에 기여할 것으로 기대할 수 있을 것이다. 예를 들어, 미국 아마릴로시에서는 다국어 대응 디지털 휴먼이 공공 서비스를 제공하는 계획이 있다.
  • AI와의 통합 디지털 휴먼은 AI 플랫폼과의 통합이 진행됨으로써 사용자 상호작용의 중심적인 인터페이스가 될 것으로 예측된다. 이를 통해 더 자연스럽고 몰입감 있는 사용자 경험 제공이 기대된다.
  • AR과 VR 역할의 확대 증강현실(AR)이나 가상현실(VR) 기술이 발전함에 따라 디지털 휴먼은 이러한 기술을 활용하여 교육이나 엔터테인먼트 분야에서 몰입형 경험을 제공하는 중요한 역할을 할 가능성도 생각해 볼 수 있다.
  • 메타버스와 Web3의 성장 디지털 휴먼은 메타버스나 Web3의 성장에 따라 더 개인화된 상호작용을 제공하는 역할을 할 것으로 예상된다. 이로 인해 디지털 휴먼의 활용 범위가 넓어지고, 더 상호작용적이고 분산형 플랫폼이 구축될 것으로 생각된다.
  • 라이센스와 법적 과제 디지털 휴먼의 사용이 확대됨에 따라 라이센스나 법적 과제도 복잡해질 가능성이 있을 것이다. 특히 다음과 같은 라이센스나 규제가 중요해질 것으로 예측된다.

제2절 필요하게 될 라이센스의 종류

디지털 휴먼이 더 일반적으로 사용되기 위해 다양한 권리와 그에 따른 개념이 보호되어야 한다. 다음은 그 예시이다.

  • 초상권 라이센스 디지털 휴먼의 외모나 캐릭터에 관한 권리를 보호하기 위한 초상권 라이센스가 필요할 가능성이 있다. 이를 통해 디지털 휴먼의 부당한 사용이나 무단 상업적 이용을 방지할 수 있을 것으로 기대된다.
  • 저작권 라이센스 디지털 휴먼의 디자인, 애니메이션, 음성 등에 관한 저작권을 보호하기 위한 라이센스가 중요해질 가능성이 있을 것이다. 이를 통해 창작자의 권리를 지키고, 디지털 휴먼의 이용에 관한 수익 배분이 적절히 이루어질 것으로 기대된다.
  • 디자인권이나 상표권 라이센스 디지털 휴먼이 브랜드의 일부로 사용될 경우, 디자인권이나 상표권 라이센스가 필요하게 될 것으로 생각된다. 이를 통해 브랜드 이미지의 일관성을 유지하고, 부당 사용을 방지할 수 있을 것으로 기대된다.
  • 데이터 프라이버시 라이센스 디지털 휴먼이 수집·처리하는 개인 데이터에 관한 라이센스가 필요해질 수도 있다. 이를 통해 사용자 데이터의 개인정보 보호가 확보되고, 규제에 준수한 데이터 관리가 이루어질 것으로 기대된다.
  • AI 알고리즘 라이센스 디지털 휴먼의 동작을 지원하는 AI 알고리즘에 관한 라이센스도 중요해질 것이다. 이를 통해 알고리즘의 투명성과 윤리적인 이용이 확보될 것으로 기대된다.

제3절 본 장의 요약

디지털 휴먼의 진화는 브랜드 파트너십, 다국어 대응, AI 통합, AR/VR 활용, 메타버스와의 연계 등 다양한 분야에서 큰 변혁을 가져올 가능성이 있다. 이에 따라 초상권, 저작권, 디자인권, 상표권, 데이터 프라이버시, AI 알고리즘에 관한 라이센스 등 기존에 인정된 권리부터 새로운 개념까지 폭넓은 검토가 중요해질 것으로 예측된다. 기업이나 개발자는 이러한 변화에 대응하고 적절한 전략을 구축하는 것이 요구될 것이다.


제6장 구현

이 장에서는 디지털 휴먼을 이용한 시스템 구현 시 과제를 다룬다. 디지털 휴먼은 매체를 가리지 않고 다양한 장소에서 활용된다. 하지만 여기서는 메타버스나 가상현실(VR) 등 가상 공간이 아닌, 디지털 사이니지 등을 통해 현실 공간에 시스템을 구축하는 경우를 중심으로 설명한다.

우선 서비스 내용을 고려하여 어떤 사용자 경험을 제공할지 개념(콘셉트)을 충분히 검토해야 한다. 이를 바탕으로 사양을 결정할 때는 이용 환경에 맞는 디스플레이 장치나 부대 기기 등을 적절히 선택하는 것도 필수적이다. 또한 운영과 관련해서도 디지털 휴먼 특유의 과제가 있으므로, 아래 각 항목별로 자세한 내용을 설명한다.

제1절 장소의 구현

음성 중심의 디지털 휴먼 대화 장소는 주고받는 정보 성격에 따라 일반 대화 부스처럼 개인 정보 보호를 고려한 설계가 필요하다. 하지만 여기서는 디지털 휴먼에 특화된 과제를 중심으로 다룬다.

  • 디스플레이 장치(디스플레이 등) 디지털 휴먼을 전신으로 표시할지, 상반신이나 얼굴 등 일부분만 표시할지에 따라 사용자 경험이 달라진다. 또한 실제 크기로 표시할지, 축소 또는 확대해서 표시할지에 따라서도 경험이 달라진다. 이에 맞춰 디스플레이 위치도 신중히 고려해야 한다.
  • 입력 장치(카메라 등) 대화 상대를 인식하기 위해 카메라를 설치할 경우 고려할 점이 많다. 대화 상대 위치를 고정할지(예: 의자에 앉도록 유도), 어느 정도 자유롭게 움직이도록 할지 결정해야 한다. 또한 대화 상대가 한 명인지 여러 명인지에 따라 카메라 종류나 설치 위치를 설계해야 한다.
  • 마이크 실제 운영에서 가장 문제 되는 부분은 음성 입력이다. 개인실에서 일대일로 대화하는 경우라면 비교적 문제가 적다. 하지만 소음이 많은 장소에 설치하거나 여러 명이 동시에 대화 상대가 될 경우에는 시스템 처리뿐 아니라, 장소 설계나 기기 선택을 통한 소음 감소가 중요해진다.
  • 스피커 마이크와 마찬가지로 장소 설계, 기기 선택 및 배치가 중요해진다. 대화 내용에 따라 개인 정보 보호가 필요하다면 특히 주의해야 한다. 다만 디지털 휴먼은 음량 또한 감정 표현의 하나이므로, 대화 내용에 맞는 음량 조절은 시스템에서 담당하는 것이 바람직하다.
  • 기타 디지털 휴먼 시스템은 통신량이나 전력 소비량이 비교적 많은 편이다. 따라서 설치 장소의 통신 환경이나 전원 확보에 유의해야 한다.

제2절 시스템의 구현

서비스 제공 시스템에서 디지털 휴먼은 여러 기술이 통합된 인터페이스로 작동한다. 여기에는 디지털 휴먼 표시를 위한 렌더링 엔진, 입 모양 맞추기(립싱크)를 포함한 동작(모션) 데이터, 대화를 위한 음성 합성이 포함된다. 또한 대화 내용 생성을 위한 LLM, 사용자와의 대화를 위한 마이크 기반 음성 인식, 사용자 움직임 인식을 위한 카메라 기반 이미지 인식 기술 등도 통합된다. 디지털 휴먼을 구성하는 기술에 대해서는 2023년 10월에 발표한 본 협의회 백서에서 제시한 바와 같다.

디지털 휴먼 시스템을 구현할 때는 앞 절에서 언급한 장치를 포함한 현장 설치(세팅)가 중요하다. 또한 이러한 하드웨어와 소프트웨어 조합을 통한 일련의 동작은 사용자 경험에 큰 영향을 미친다.

  • 클라우드 활용 각 시스템 구성 요소의 작동을 로컬(자체 설비)에서 처리할지, 또는 네트워크를 이용할 경우 온프레미스(자체 구축형) 환경으로 할지 클라우드 환경으로 할지 선택해야 한다. 지연 발생을 전제로 화면 표시 방식이나 제공 내용 등을 설계하여, 사용자가 어색함을 느끼지 않도록 신경 써야 하는 경우도 있다.
  • 오류(에러) 처리 디지털 휴먼 이용 시스템은 예기치 않은 작동 오류가 사용자에게 큰 어색함을 줄 수 있다. 예를 들어 LLM 지연으로 인한 작동 중단이나 PC 부하로 인한 어색한 표정 또는 자세로 멈추는 경우 등이다. 사람 모습이기에 사용자 경험을 크게 해칠 수 있다. 따라서 오류 발생 시 대처 방안이나 오류 화면 전환 등 적절한 처리 방법을 설계해야 한다.
  • 통합 디자인 이 의견서의 여러 주장을 관통하는 '새로운 소통(커뮤니케이션)'을 실현할 가능성이 큰 디지털 휴먼 구현에 있어 가장 중요한 것은 통합 능력임을 강조한다. 여러 기술, 개발, 디자인이 교차하는 디지털 휴먼 제작 현장에서는 기존과 다른 프로젝트 관리 능력이 필요하다. 현장에서는 디지털 휴먼 시선을 사용자와 맞추기 위해 픽셀 단위로 컴퓨터 그래픽(CG)을 조정한다. 또한 부자연스러운 지연이 생기지 않도록 LLM이나 네트워크 환경을 조정하는 등 기술 간 경계를 넘나드는 통합 능력이 필수적이다. 전례 없는 소통(커뮤니케이션) 경험을 만들려면 수많은 시행착오에도 좌절하지 않고 항상 최적의 답을 찾는 자세가 필요하다. 또한 프로젝트 관련 회사뿐 아니라 업계 전체의 협력도 중요하다.

제3절 운영에 관하여

여기서는 디지털 휴먼 이용 시스템 운영 시 검토하면 좋은 몇 가지 항목을 제시한다.

  • 디지털 휴먼임을 명시 애플리케이션이나 예상 사용자를 고려하여, 대화 상대가 디지털 휴먼이며 AI로 작동한다는 사실을 미리 알릴지 선택해야 한다.
  • 대화 시작과 종료 신호 서비스 내 상호작용에 강약을 조절하고 사용자 관심을 끌기 위해서도 대화 시작과 종료를 알리는 신호가 효과적이다. 특히 설치형 서비스는 사용자 회전율을 높이는 데도 이러한 고려가 효과적이다.
  • 디지털 휴먼 관찰(모니터링) 디지털 휴먼 효과를 측정하려면 대화 내용이나 행동을 포함하여 시스템에서 지속적으로 관찰(모니터링)하는 것이 효과적이다. 관찰(모니터링)할 경우, 내용을 어디까지 저장하고 활용할지 판단해야 한다. 또한 그 내용에 따라 사용자 동의를 얻고 정보를 적절히 취급하는 것이 필수적이다. 또한 수집한 정보는 시스템 운영 주체와 도입 주체 간 권리 및 관리 의무 구분을 명확히 해야 한다.

제7장 미해결 문제

제1절 마인드컨트롤

행동을 유도하는 디지털 휴먼은 물리적 제약에서 자유롭기 때문에 다양한 소통(커뮤니케이션) 활동을 넓힐 수 있다. 또한 디지털 휴먼을 사용하면 이용자는 설득력 있는 이야기를 듣게 된다. 그래서 대화를 통해 이용자가 바람직한 행동을 하도록 이끄는 활용 방법에 기대가 크다. 반면, 디지털 휴먼을 활용해 사람들을 세뇌하거나 정신을 지배(마인드컨트롤)하는 일이 있어서는 안 된다. 디지털 휴먼은 기대가 큰 만큼, 활용 시 윤리적 측면에서 엄격한 규칙 제정이 필요하다.

제2절 광고

디지털 휴먼이 광고를 보여줄 때도 사람이 광고를 전달할 때와 같은 규칙을 적용하는 것이 적절하다. 또한 전달하는 광고 내용도 4장에서 설명한 대로 저작권이나 「경품표시법」에 맞아야 한다. AI를 활용한 광고 전달에 관해서는 총무성이 지침(가이드라인)을 발표했다. 다른 부처도 다양한 기준을 마련하기 위해 노력하고 있다. 광고 전달 주체가 디지털 휴먼이 되는 더 심층적인 영역은 앞으로 검토할 사항이다. 따라서 관련 부처와의 협의가 필요하다고 본다.

제3절 AI임을 명시

디지털 휴먼이 정교해지면서 실제 사람과 구별하기 어려워지고 있다. 이러한 상황에서 대화 상대가 AI인지 사람인지를 명확히 밝히는 것에 대한 논의가 있다. 명시 여부는 각각 장단점이 있어 논의가 계속되고 있다.

제4절 경제 안전 보장

디지털 휴먼이 사람과 원활하게 대화하려면 대화 이력을 실시간으로 분석해야 한다. 그러나 상대 동의 없이 대화 이력을 대화 이외 목적으로 분석하거나 활용하는 것은 개인 정보 보호(프라이버시) 원칙에 어긋난다고 본다.

또한 분석된 대화 자료(데이터)는 귀중한 정보가 되어 다른 여러 산업에도 활용할 수 있다. 디지털 휴먼을 통해 축적되는 자료(데이터)는 기존 개인 정보 이상의 의미를 지닌다. 따라서 권리 보호와 활용 방안을 국가적 차원에서 논의해야 한다고 본다. 권리 보호와 활용 규칙은 국제적 상황도 고려해야 하므로, 국제 정세를 살피며 지속적으로 검토하고자 한다.


제8장 맺음말

이 의견서에서는 디지털 휴먼 협의회에 참여하는 사업자들이 생각하는 위험(리스크)에 대해 언급했다. 여기서 다룬 위험(리스크)에는 사람에게 명백히 해를 끼치거나 권리 및 재산을 침해하는 위험뿐 아니라, 이상과 현실의 차이 또한 위험으로 간주하여 굳이 이상적인 목표를 제시한 부분도 있다.

의견서에서 지적할 필요도 없이, 디지털 휴먼을 명백히 불법적인 일에 사용해서는 안 된다. 또한 당장 불법이라 할 수 없는 일이라도 그 위험(리스크)에 대해 충분히 고려해야 한다. 그때 참고할 만한 지침으로는 앞서 제시된 여러 지침(가이드라인)이 있다. 특히 정부가 제시하는 지침(가이드라인)은 충분히 고려하는 것이 바람직하다.

한편, 우리나라에는 아직 디지털 휴먼에 특화된 지침(가이드라인)이 드물다. 따라서 어떤 지침을 우선적으로 따라야 하는지가 명확하지 않다. 이상에 미치지 못하는 부분은 사업자가 끊임없는 노력으로 그 차이를 메워야 한다. 따라서 사업자가 스스로 여러 위험(리스크)에 대한 대처 방안을 검토하고 노력함으로써 사회적 신뢰를 얻을 수 있다고 본다. 동시에 디지털 휴먼 보급도 촉진될 것으로 본다.

이 의견서는 모든 위험(리스크)을 망라하여 제시하는 것을 목적으로 하지 않는다. 사업자들이 모인 협의회 관점에서 다루었을 뿐이며, 다양한 생각이 있을 수 있다. 디지털 휴먼이 사람에게 도움 되는 형태로 사회에 적용되기를 바라며, 앞으로도 계속 논의를 이어가고자 한다.


부록: 쿠리에미씨 인터뷰

𝐊𝐔𝐑𝐈𝐄𝐌𝐈/くりえみ

기업가, 회사 경영자, 모델, 방송인(탤런트) 등 다양한 면모를 지닌 SNS의 '페치 천사'이다. 2023년 12월, 일본 최초의 버추얼 휴먼 연예 기획사를 설립했다. SNS 팔로워는 250만 명에 달한다. 자기 연출(프로듀싱)에 능하며, 자신의 SNS 채널 구축과 자체 브랜드 구축도 다수 담당하고 있다. 새로운 기술의 힘으로 세상의 통념과 고정관념, 상식을 뒤집는 것을 목표로 한다.

Q: 디지털 휴먼의 가능성에 대해, 특히 연예계에서의 활용에 대해 어떻게 생각하시나요?

쿠리에미: 디지털 휴먼의 가능성은 연예인이나 방송인(탤런트)의 두 번째 경력(세컨드 커리어) 구축에 큰 영향을 미칠 것이라고 생각한다. 현재 연예 기획사에 소속된 방송인(탤런트) 모두가 자신의 급여에 만족하는 것은 아니며, 투입한 노력 대비 성과가 낮다고 느끼는 사람도 많다. 디지털 휴먼을 사용함으로써 활동 범위를 넓히고, 생활과 행동의 자유도가 높아지는 것이 큰 이점이다.

또한 디지털 휴먼의 영역이 확장될 것은 확실하며, 교육과 엔터테인먼트 분야에서도 활약이 기대된다. 예를 들어 점술가나 문화인 같은 정보 제공자가 일대다 관계에서 일대일 관계로 전환하는 것이 가능하다. 디지털 휴먼을 사용하면 개인에게 맞춤형 조언이나 소통(커뮤니케이션)이 가능해진다. 이를 통해 엔터테인먼트나 교육의 폭이 넓어지고, 일대일 엔터테인먼트가 가능해질 것이라고 생각한다.

Q: 현재의 사회 문제와 디지털 휴먼이 해결할 가능성에 대해서는 어떻게 생각하시나요?

쿠리에미: 많은 사람이 현재의 불편함을 인지하지 못하는 경우가 많다고 생각한다. 예를 들어 이메일이 라인(LINE)으로 바뀌었을 때 처음으로 이메일이 불편하다고 느꼈다. 마찬가지로 새로운 기술이 등장하면서 비로소 편리함을 깨닫는 경우가 많다.

연예계 문제로는 시간에 많이 제약받아 다른 일을 하기 어렵고 수입이 적다는 점 등이 있다. 디지털 휴먼을 사용함으로써 이러한 문제들이 해결될 가능성이 있다. 또한 기업에서도 전화 상담(텔레마케팅)이나 챗봇 효율을 높이는 데 디지털 휴먼을 활용할 수 있으며, 이는 인건비 절감으로도 이어질 것이다.

Q: 디지털 휴먼이 있는 사회와 전망에 대해 어떻게 생각하시나요?

쿠리에미: 사람은 항상 새로운 도움을 찾는다. 새로운 기술은 명확한 문제 해결책이 불분명하더라도, 미래의 외로움이나 불안을 해소해 줄 것이라는 기대를 갖게 할 수 있다. 디지털 휴먼 또한 미지의 가능성을 품고 있으며, 사람들 마음을 움직이는 힘이 있다.

디지털 휴먼 발전으로 새로운 엔터테인먼트나 교육 형태가 탄생하기를 기대한다. 일본 최초의 기술로서 혁신적인 일을 이루고, 앞으로 미래를 개척해 나가기를 기대한다.


원문: https://digitalhumans-council.com/wp-content/uploads/2024/06/Digitalhumans_Opinionpaper_2024.pdf

본 콘텐츠는 2024년 6월 4일 일본 디지털 휴먼 협의체에서 발행한 "デジタルヒューマンの望ましい活用法に関する意見書" 리포트를 번역한 것입니다.

저는 전문 번역가가 아니기 때문에 오역이 있을 수 있습니다. 또한 본 글은 원저작자의 요청에 따라 불시에 삭제될 수 있습니다. 감사합니다.

 

다가올 뉴스레터가 궁금하신가요?

지금 구독해서 새로운 레터를 받아보세요

✉️

이번 뉴스레터 어떠셨나요?

0xPlayer 님에게 ☕️ 커피와 ✉️ 쪽지를 보내보세요!

댓글

의견을 남겨주세요

확인
의견이 있으신가요? 제일 먼저 댓글을 달아보세요 !

다른 뉴스레터

© 2026 0xPlayer

-

뉴스레터 문의lowell9195@gmail.com

메일리 로고

도움말 오류 및 기능 관련 제보

서비스 이용 문의admin@team.maily.so 채팅으로 문의하기

메일리 사업자 정보

메일리 (대표자: 이한결) | 사업자번호: 717-47-00705 | 서울특별시 송파구 위례광장로 199, 5층 501-8호

이용약관 | 개인정보처리방침 | 정기결제 이용약관 | 라이선스