2024. 12. 17. 10:40ㆍ3D AI Generator
이전부터 계속, 이미지에서 3D 모델링을 만드는 3D AI Generator가 출시할 때마다 테스트를 해보았다.
Stability.AI와 메타에서 내놓은 vfusion3D가 있었는데 아무래도 이미지만으로 3D를 만들기에는 한계가 있어보이는 결과물을 볼 수 있었다. vfusion3D는 일부 방향에서 봤을 때 메쉬가 제대로 만들어지지 않는다던지 Stability는 이미지 텍스쳐 품질이 멀리서 봤을 때도 퀄리티가 조금 떨어지는 결과물을 만들어내기도 했다.
오랜만에 링크드인 피드를 보다가 1촌 중에 TRELLIS에 대해 공유한 글을 보고 Huggingface 사이트에서 시도해보았다.
HuggingFace 페이지
TRELLIS - a Hugging Face Space by JeffreyXiang
Running on Zero
huggingface.co
페이지 하단에는 이전의 AI Generator 보다 훨씬 많은 예시 이미지가 있는 것을 볼 수 있었다. Stability.AI와 마찬가지로 단순 일러스트레이터 이미지 보다는 이미지 안에서 빛의 영향을 받는 3D 느낌의 이미지를 사용해야 모델링 퀄리티가 잘 나올 수 있을 것 같다는 추측을 해볼 수 있다.
해골 장식이 있는 상자 이미지를 넣고 Generate를 누르면 우측 위에 Generated 3D Asset 이름의 칸에 회전 영상이 만들어지는 것을 볼 수 있다. 왼쪽은 기본 또는 Diffuse 맵이, 오른쪽은 Normal 모습을 보여주는 듯 하다.
Extract GLB를 통해서 glb 파일 포맷 형식으로 다운로드 받을 수 있다.
다운받은 모델은 glTF 뷰어를 통해서 살펴볼 수도 있고, Blender와 같은 DCC 툴을 이용해서 살펴보거나 수정할 수 있다.
glTF Viewer
Drag glTF 2.0 file or folder here
gltf-viewer.donmccurdy.com
Blender에서 살펴보면, 멀리서 봤을 때 상당히 괜찮은 비주얼을 보여주는 것을 볼 수 있었다.
메쉬의 Topology가 깔끔하지는 않은 모습
일부 디테일한 부분에서 메쉬가 온전하지 않거나 깨진 모습을 볼 수 있었다.
텍스쳐 이미지는 glb 파일에 포함되어 있으며 UV 또한 알아서 잘 펴져있기 때문에 텍스쳐 걱정은 안해도 될 것 같다.
텍스쳐 이미지를 보면 마치 라이트가 베이크 된 것처럼 어두운 부분도 있고 모델링 뷰에서도 이 부분이 잘 들어가 있는 것은 신기했다. 아마 이미지를 기반으로 그림자까지 만들어주는 듯 하다.
다른 예시로, 꽤나 복잡해보이는 로봇을 시도해봤다.
이 결과물 또한 이미지와 흡사한 모델링으로 나오는 것을 볼 수 있었는데, 주목할 점은, 이미지에 전혀 보여지지 않는 로봇의 뒷 부분이 나름 일리가 있도록 만들어졌다는 점이다.
물론 이 뒷부분은 AI가 앞부분을 토대로 예측하여 생성하는 부분이기 때문에 만들 때마다 조금씩 다른 모습으로 만드는 것을 확인할 수 있었다.
역시나 아쉬운 점은 디테일한 모델링이 들어가기 보다는 큰 덩어리 형태의 모델링 후 이미지를 입혀놓았기 때문에 가까이서 본다면 어설픈 그림이 그려져 있는 느낌이 든 다는 점이다. 가장 효율적인 방법이지만 매우 정교한 모델링은 아직까지 무리가 있는 것처럼 보인다.
추가로, 그림으로 정교함을 대체한다고 하면 Normal 맵을 생성하여 같이 사용할 수도 있을텐데 아직 거기까지도 닿지는 않은 것 같다.
총평
다른 샘플을 시도해보지는 않았지만, 두 모델의 공통점으로는 모델링이 1m x 1m x 1m 크기 내에서 만들어지는 것을 볼 수 있었다.
Triangles 수 또한 2만 개 정도를 유지하는 모습도 볼 수 있었다. 모델링을 만드는 데에 설정 값으로 정해져 있는 듯.
아직 AI가 디테일한 모델링을 해내는 것은 무리가 있지만 주요하지 않은 배경 모델링 등으로는 이미 너무나 괜찮은 퀄리티를 보여주어서 놀라웠다. 앞으로의 기술 발전이 기대되는 부분이다.