Stable Fast 3D: 스테이블 디퓨전의 신상 3D AI

3디자인레터는 3D 디자인 협업 과정을 혁신하는 Mehsed가 제작한 세계 유일의 3D 디자인, 모델링 뉴스레터에요.

평소 진입 장벽도 높고 정보도 부족한 3D 디자인으로 고민이 많으셨다면, 3디자인레터를 구독해 보세요!

업계 동향, 최신 기술부터 교육 정보와 커리어 개발까지 3D 디자인과 관련된 알찬 정보를 보내드릴게요.

📌 이런 분이 읽으면 좋아요

1️⃣ 이 세상의 모든 3D 디자이너

2️⃣ 3D로 고통받는 건축학과 대학생

3️⃣ 3D 업계에 종사하고 싶은 취준생

안녕하세요 구독자님. 오랜만에 인사드립니다! 에디터 Jun입니다.
그 동안 잘 지내고 계셨나요?
저희는 더 나은 Meshed 개발을 위해 한 달이라는 시간 동안 잠시 재정비를 하고 왔습니다.
늦은 만큼, 더 알차고 유익한 정보를 전달해 드릴게요!

Stable Fast 3D

최근 AI회사 Stable Diffusion에서 Stable Fast 3D를 발표했습니다.

이미지를 넣으면 3D 모델로 변환해주는 생성형 AI인데요,
기존 3D AI와는 다른 기술을 사용하여 더 빠르고, 정확하게 모델을 생성할 수 있다고 합니다.

Stable Fast 3D와 기존 3D AI와의 기술 차이점을 정리해보면 다음과 같습니다.

Learn Illumination in the Scene

기존 3D AI는 입력 이미지의 Radiance만을 학습했는데요, 이는 Light를 다시 넣을 때 에셋에 정확하게 효과가 가지 않는다는 단점이 있었습니다.

SF3D는 이와 다르게 장면의 Light를 학습하는데, 이는 Albedo 컬러로 부터 Light를 제거할 수 있게 하는 효과를 가져옵니다. 더 정확하게 모델에 Light를 넣을 수 있게 되는 것이죠!

Vertex Color do not produce sharp textures

SF3D는 기존 3D AI가 주로 쓰던 Vertex Color가 UV unwrapping을 느리게 만들고, 정확한 texture을 만들지 못한다고 생각했습니다.

이 이유로 SF3D는 오히려 UV Unwrapping 단계에 집중하였고, 결과적으로 정확한 로우 폴리곤의 텍스쳐를 100 ms에 생성하도록 발전시켰습니다.

Train model to be mesh aware and learn displacements and shading normals

이전 대부분의 방법은 메쉬 추출을 위해 Marching Cube에 의존했습니다.
이는 높은 해상도에서도 명확한 계단 아티팩트가 남을 수 있는 단점이 있었는데요,

대신 SF3D는 메쉬를 인식하도록 훈련하고, Displacement와 Shading Normal을 학습하여 부드러운 에셋을 생성할 수 있도록 만들었다고 하네요!

No material parameters

대부분의 방법은 재질 파라미터를 예측하지 않습니다. 이는 적절한 반사 속성이 없는 비현실적인 렌더링을 불러 일으키게 됩니다.

그러나, SF3D는 각 객체의 roughness와 metallic 파라미터를 예측하여 렌더링 품질을 크게 향상시킬 수 있다고 합니다.

Stable Fast 3D의 성능

백문이 불여일견이라고, 직접 써보면서 비교해 봐야 그 성능을 제대로 알 수 있겠죠?

그래서 제가 직접 사용해봤습니다.

먼저, 오늘의 실험 대상은 스테이블 디퓨전 홈페이지에 있는 이 귀여운 다람쥐인데요,

먼저, Meshy ai를 통해 다람쥐를 3D로 변환시켜 봤습니다.

Meshed에 올려 모델을 확인해봤습니다.

다람쥐가 아니라 퀴렐 교수님이 등장했네요

오랜만입니다. 옆에 있는 얼굴이 딱 볼드모트 처럼 생겼습니다.

무엇보다, 목도리의 텍스쳐와, 귀가 갑자기 뿔로 변해버린 모습이 이상함을 확인할 수 있습니다.

Organic 버전은 사진과 비슷하게 변환되었습니다.

어디서 힘들게 일하고 온 다람쥐가 등장했네요

아쉽게도 에셋 뒷모습에는 전혀 텍스쳐가 적용되지 않았고, 목도리 또한 과하게 커다란 느낌이 있습니다.

그럼 이제 SF3D를 이용해 다람쥐를 만나볼까요?

사진과 거의 동일하게 변환이 되었습니다!
3초도 안 되는 시간 안에 이렇게 제작된 건 놀라웠는데요, 퀄리티에 있어서도 발전이 느껴져 좋았습니다.

다만, 화면에 작게나마 보이는 것처럼 뒷 모습은 파란색으로 변환이 되었다는 점, 이는 텍스쳐가 잘못 된 것 같았습니다...

또, 만약 사람이었다면 목도리와 다람쥐를 각각의 에셋으로 따로 제작했을 것 같은데 하나로 제작되어 텍스쳐를 따로 적용하기 어렵다는 점이 좀 아쉽습니다.

아직 3D AI는 갈길이 멀다는 개인적인 생각이 드네요..

Stable Fast 3D 이용방법

SF3D는 아래 링크를 클릭하시면 이용할 수 있습니다.

https://huggingface.co/spaces/stabilityai/stable-fast-3d

* SF3D에는 이미지를 올리면 자동으로 배경을 제거해주고 있습니다. 따라서 오브젝트만 변환시킬 수 있는 걸로 보입니다.

* HDR Environment Map을 적용할 수 있으니 이를 이용해보시는 것도 좋아보입니다.

*현재 변환시킨 3D 모델은 obj로만 다운이 가능합니다. fbx나 glb 등은 지원이 되는 것 같지 않습니다.

다양한 클라우드 서비스와 AI를 통해 디자인 분야도 시간과 장소의 구애를 받지 않는, 효율적인 업무가 가능해진 것에 비해, 3D 디자인은 여전히 경직된 업무 환경을 가지고 있습니다.

Meshed는 3D 디자인 영역에 있어서도 보다 효율적인 업무 환경을 제공하기 위해,
무거운 3D 파일들도 쉽게 관리할 수 있고 다양한 AI를활용할 수 있는 3D 디자인 클라우드를 개발하고 있으며, 보다 실용적인 서비스를 위해 3D 실무자분들의 이야기를 듣고 있습니다.