🧠 딥러닝, 어디까지 왔을까?

IT에 관심 있는 밀레니얼 세대를 위한 뉴스레터, 1 STEP입니다.

4차 산업혁명이라는 키워드로 ‘머신 러닝, 딥러닝’ 같은 이야기를 많이 들어 보셨을 텐데요. 오늘은 흐릿하게 이해하고 넘어갔던 머신 러닝과 딥러닝에 대한 이야기를 키워드를 딥하게 알아보면 어떨까요?

딥러닝, 그게 뭔데?

딥러닝은 머신러닝의 한 종류입니다. 기존의 머신러닝에서는 학습하려는 데이터의 여러 특징 중에서 어떤 특징을 추출할지를 사람이 직접 분석하고 판단해야 했지만, 딥러닝은 기계가 자동으로 학습하려는 데이터에서 특징을 추출하여 학습한다는 특징이 있습니다.

이처럼 딥러닝과 머신러닝의 가장 큰 차이점은 바로 기계의 자가 학습 여부로 볼 수 있습니다. 따라서 딥러닝이란 기계가 자동으로 대규모 데이터에서 중요한 패턴 및 규칙을 학습하고, 이를 토대로 의사결정이나 예측 등을 수행하는 기술로 정의내릴 수 있습니다.

보통 딥러닝보다는 AI라는 말이 익숙하실 텐데요, 요새 광고에서 'AI', '인공지능' 서비스라고 하는 제품들은 다 딥러닝 기반의 모델이라고 보시면 됩니다. 우리도 모르는 사이에 우리 생활 반경에 아주 가까이 다가온 딥러닝의 사례를 알아볼까요?

👩 이미지 생성

한 번쯤 보셨을 수도 있는 엔비디아의 얼굴 생성 딥러닝 모델은 '그럴듯한 가짜'를 만들어내는 GAN 모델입니다. 성별, 나이, 머리, 자세와 다른 조건을 조합해 진짜 같은 가짜 사람의 얼굴을 만들어내죠. 이 모델은 얼굴을 생성하지만, 학습하는 이미지가 동물이라면 동물, 가구 사진이라면 가구 등 무엇이든 만들 수 있습니다.

🎤 음성 생성

최근 방영했던 한 예능 프로그램에서는 실제 가수와 AI가 학습해 생성한 노래를 들려주고, 방청객에게 진짜 가수를 맞출 수 있는지 실험을 해봤습니다. 가수의 기존 음악 데이터를 학습시키면, 실제 가수가 한 번도 부른 적 없는 노래를 본인의 목소리로 생성할 수 있죠. 

사실 아직은 진짜 목소리보다 살짝 어색한 기계음이 느껴지긴 하지만, 가수의 호흡과 바이브레이션까지 알려주지 않았는데도 학습해서 재현하고, 한 번 학습에 걸리는 시간은 단 10분이라고 합니다. (실제로는 몇만 번 이상을 학습해야 성능이 괜찮게 나오는 모델도 많아서, 10분은 방송용 과장이라고 생각해 주세요. ㅎㅎ)

네이버의 클로바는 최근 특별한 사연을 가진 10여 명의 목소리를 녹음해 나눔 AI 보이스로 만들었습니다. 클로바 더빙을 통해 무료로 이용할 수 있는데요, 기존에는 합성 음성을 제작하는데 전문 성우가 40-100시간을 녹음했어야 했는데, 이제는 40분 분량의 400개 문장 파일 데이터만으로 자연스러운 합성음성을 만들 수 있다니 놀라울 따름입니다. (역시 학습은 수천, 수만 번을 시켜야겠지만요.)

🔠 기계 번역

번역 엔진으로는 구글과 파파고 번역이 대중적입니다. 구글은 사람의 뇌가 학습하는 과정을 본뜬 '신경망 번역'을 내세우는데요, 사실 구글과 파파고 둘 다 신경망 기반의 번역입니다. 두 번역기를 다 자주 사용하는 입장에서 보기엔, 구글 번역기는 구글 인터넷 검색 결과 페이지를 학습시키고, 네이버는 네이버 기반의 다양한 한글 문장을 학습시켜서 그런지 파파고 번역이 좀 더 자연스러운 한국어로 번역해주는 느낌입니다. 구독자님이 사용해보셨을 땐 어떠셨나요?

🔤 텍스트 생성

Inferkit 사이트에 문장을 입력하면, 다음에 올 법한 문장들을 자연스럽게 생성해줍니다. 페이스북에서 만든 딥러닝 모델을 사용하는 이 사이트는, 대규모로 학습된 언어 데이터셋을 기반으로 사용자가 입력한 문장에 이어질 단어와 문장을 예측하는 식으로 문장을 생성합니다. 위의 이미지를 보면, 꽤 창의적이고 톡톡 튀는 문장을 생성하네요.

❔ 질문 답변

정답: 찰스 다윈
모델 답변: 찰스 다윈

정답: 알래스카 주
모델 답변: 캘리포니아

인터넷의 방대한 언어 데이터셋(주로 위키피디아를 먼저 학습시킵니다)을 학습한 딥러닝 모델은 일반 상식적인 질문도 곧잘 답하곤 합니다. 사실 어떤 데이터셋을 학습시킨 후에 어떤 질문을 하느냐에 따라 정답률은 크게 좌우되기 때문에, '딥러닝 모델이 자신이 생성하는 문장을 이해하는 건 아니다'고 학계에서는 말하기도 합니다.

🦜 이미지 번역

파파고에서는 최근 이미지 번역 기능을 선보였습니다. 사실 구글이나 갤럭시에서도 전부터 있던 기능인데요, 촬영한 이미지에서 글자를 인식하고, 이를 번역한 후 배경을 지우고 배경과 화면에 번역물을 띄우는 방식입니다. 

웨일 브라우저를 쓰면 웹사이트의 이미지 안의 글자도 번역할 수 있으니, 외국어로 된 페이지를 검색하신다면 참고하세요!

🖼️ 이미지 생성

앞에서 자연어처리 모델들이 그럴듯한 말을 생성해내는 걸 보셨는데요, 만약 이 모델에 대량의 이미지를 학습시킨다면 어떨까요? 자연스러운 문장을 생성하듯, 자연스러운 이미지도 만들어낼 수 있을 것입니다.

맨 오른쪽의 이미지가 원본인데요, 맨 왼쪽의 이미지처럼 반쯤 가려진 사진을 넣으면 2~5번째와 같이 여러 장의 새로운 이미지를 생성할 수 있습니다.

🥑 텍스트→이미지 생성

 텍스트로부터 이미지를 만들 수도 있습니다. 텍스트와 이미지를 짝지은 데이터로부터 학습을 한 다음, 텍스트로 명령을 주면 기존 이미지를 변형해서 자연스러운 이미지를 생성하는 거죠.

🤔 인공지능, 그거 편견 학습하는 거 아니야?

위 사진은 AI가 운동 유니폼과 꽃이라는 주제로 여성과 남성을 어떻게 구분하는지 보여줍니다. 꽃과 관련된 이미지임에도 남성은 주로 정장을 입고 있고, 여성은 꽃에 둘러싸여져 있네요. 운동복의 경우, 여성은 활동적인 모습을 할 때 남성으로 잘못 분류되었습니다. 하지만 비키니를 입으면 여성으로 분류되었네요.

이처럼 인공지능 모델은 학습된 데이터로 결과물을 도출하기 때문에, 애초에 편향된 데이터로 학습한 인공지능 모델은 편향을 공고히 학습합니다. 예를 들어, 여자들이 분홍색 옷을 입고 화장을 한 채 소극적인 포즈를 한 사진과, 남자들이 파란색 옷을 입고 자신감 넘치는 활동적인 포즈를 한 사진이 많다면, 인공지능이 '여성'을 분홍색 옷, 화장, 소극적인 포즈로 분류할 확률이 높습니다.

하지만 프린스턴대학교의 연구원 올가 루사코프스키와 대학원생 안젤리나 왕은 인공지능 모델에서 이미지 데이터에 존재하는 편견을 사전 식별할 수 있도록, 데이터 안의 인물 성별에 따른 데이터셋 정보를 분석하여 보여줍니다. 성별뿐 아니라 데이터셋 안의 데이터셋의 국가 정보 또한 함께 볼 수 있어 국가 비율이 선진국에만 치우치지 않도록 합니다. 이렇게 편향된 데이터를 인지하면, 편향을 줄이고 편견 없는 인공지능을 만들기 위해서 노력할 수 있는 것이지요.

오늘 뉴스레터에서는 어느새 우리 곁으로 훌쩍 다가온 딥러닝 모델들과 간단한 작동 원리를 살펴보았습니다. 사실 오늘 소개해드린 것은 빙산의 일각입니다. 정말 다양한 분야에서 딥러닝을 이용한 제품/서비스들이 우리 곁에 존재하고 있거든요. 구글의 자동 자막, 구글과 애플의 사진 자동 분류, 핸드폰의 얼굴 인증, 태블릿 기기로 글씨를 쓰고 이를 텍스트로 변환하는 기술에도 다 딥러닝이 쓰입니다.

더 많이 다뤄보고 싶지만, 분량상 오늘 소개해드릴 내용은 여기까지입니다. 이 주제에 대해, 혹은 다른 주제에 대해 더 궁금하시고 알고 싶으시다면 아래의 주제 건의를 통해 알려주세요. 🤗

피드백은 1 STEP이 더 좋은 콘텐츠를 고민하고 만드는 데 큰 도움이 됩니다.

1 STEP 다음 주제 제안하기