소규모 게임사도 고품질 디지털 휴먼을, 유니티 '에너미즈'

지난 3월, 유니티는 GDC 2022에서 새로운 ‘유니티 헤어 시스템’과 향상된 ‘디지털 휴먼 툴세트’를 기반으로 제작된 테크 데모 ‘에너미즈(Enemies)’를 공개했다. 에너미즈는 사실적인 눈, 머리카락, 피부 표현이 구현된 시네마틱 티저로, 4K 해상도에서 실시간으로 렌더링된 작품이다. 

유니티 R&D 팀과 데모 팀의 긴밀한 협업으로 만들어진 이번 티저는 ‘반지의 제왕’ 시각효과로 유명한 ‘웨타 디지털’과 실시간 변형 및 시뮬레이션 아티스트 툴로 유명한 ‘지바 다이나믹스’를 인수하며 제작 툴을 일원화하기 시작한 유니티의 도전 결과물이었다. 과연 유니티는 이 테크 데모를 위해 어떤 기술을 준비했으며, 어떤 미래를 말하고자 할까? 이를 통해 유니티 이용자들에게 어떤 경험을 제공하고자 하는 걸까? 

이에 대한 해답을 찾기 위해 게임메카는 유니티 그래픽스 부사장을 역임한 ‘나탈리아 타타척’ 유니티 프로페셔널 아티스트리 & 그래픽스 이노베이션 부문(Professional Artistry & Graphics Innovation) 기술 펠로우 겸 수석 아키텍트(Distinguished Technical Fellow and Chief Architect)와 인터뷰를 진행했다.

이번에 선보인 데모는 작은 일부분일 뿐이다. 티저에 등장하는 인물 외에도 또 다른 인물이 등장하는데, 두 인물은 권력을 손에 쥐기 위해 싸우는 위험하면서도 역동적인 관계를 이룬다.

유니티 헤어 시스템으로 크리에이터는 원하는 저작툴에서 모발을 구현하고 유니티로 가져와서 실시간으로 연결하고 시뮬레이션할 수 있다. 에너미즈에서는 Maya XGen를 사용했다. 그다음 프로젝트에 사용되는 렌더링 파이프라인에 따라 원하는 셰이딩을 적용할 수 있다.

우리는 한두 달 이내에 이 시스템을 커뮤니티에 공개할 예정이다. 또, 사실적인 모발 렌더링을 위해 유니티는 이미 HDRP를 통해 전용 모발 셰이딩을 제공하는 중이다.

우선 유니티 2022 릴리스에서는 확장 가능하며 실제 제작에 사용할 수 있게 기능하는 품질 개선과성능을 최적화하는 HDRP(고해상도 렌더 파이프라인) 기능 개선에 초점을 뒀다. 셰이더 그래프 모션 벡터 지원, 전역 조명을 위한 어댑티브 프로브 볼륨, SSGI 및 화면 공간 반사에 대한 주요 개선 사항을 비롯한 많은 시스템도 기능 세트에 새롭게 추가됐다.

뛰어난 화질을 제공하기 위해 (툴세트의)모든 기능을 에너미즈 데모에 활용했다. 데모에서는 실시간 레이트레이싱과 유니티의 NVIDIA DLSS(딥 러닝 슈퍼 샘플링) 기본 지원이 활용되며, 이를 통해 기본 해상도에 견줄 수 있는 이미지 품질로 4K 데모를 실행할 수 있다. 이는 유니티 개발자가 현재 실제로 사용 가능한 기술이기도 하다.

또, 새로운 유니티용 머리카락 기반 헤어 시스템을 개발했다. Hair 시스템을 사용하면 크리에이터는 원하는 저작 툴에서 모발을 구현하고 유니티로 가져와 실시간으로 연결 후 시뮬레이션 할 수 있다. 유니티는 한두 달 이내에 이 시스템을 커뮤니티를 통해 공개할 예정이다. 디지털 휴먼 툴세트의 업그레이드 버전도 준비하고 있다. 이 버전에는 사실적인 눈, 혈류, 주름을 구현할 수 있다. 여기에 피부 셰이더나 얼굴의 솜털을 구현할 수 있는 피부 부착 시스템 등 에너미즈 제작을 위해 특별히 개발한 모든 개선 사항이 포함될 것이다.

에너미즈에서 구현된 품질 수준의 얼굴을 제작하는데 드는 비용과 시간은 이 기술을 통해 대폭 절약할 수 있다. 지바 팀은 다양한 제작 수준에 적합하도록 확장 가능한 솔루션을 개발하고 있는데, 이를 통해 소규모 인디 게임 스튜디오부터 전문 VFX 기업까지 모든 규모의 크리에이터에게 툴을 제공할 수 있게 될 예정이다.

에너미즈는 더 헤러틱으로 이어졌던 기초 작업의 연장선이다. 에너미즈를 통해 사실적인 디지털 휴먼을 고품질로 제작할 수 있는 기술을 선보이는 것이 목표였다. 에너미즈는 소규모 제작 팀(비 AAA 스튜디오)이라도 고품질 비주얼 품질을 구현할 수 있다는 것을 보여준다. 특히, 이번 데모는 웨타 디지털과 지바의 툴을 유니티로 통합하는 과정의 뼈대를 마련했다.

외부 사용자가 되어 본 데모 팀은 “크리에이티브 프로젝트를 개발하고 제작 하는 과정의 시작과 끝을 경험하면서 발생하는 모든 문제를 해결하고 새로운 고품질 수준에 도달하기 위해 유니티의 기술 역량을 키우고 싶다”며, “이러한 시도를 통해 더 나은 품질 제작 기회를 고객들에게 제공할 수 있고, 내부적으로는 다음 출시와 분기 시점을 예상할 수 있다. 저희 팀은 콘텐츠 제작의 미래에 주목하고 있고, 관련 커뮤니티의 장기적 요구 사항을 충족할 수 있도록 내부적으로 준비하고 있다”고 말했다.

더 헤러틱 데모의 디지털 휴먼은 해결에 성공한 기술적 과제를 보여준다. 더 헤러틱에 등장한 두 캐릭터는 쉐이프 시프팅 변형을 거쳐 실시간으로 디자인과 조작이 이루어졌고, 이 프로세스는 CG나 VFX 제작 환경에 새로 도입돼 앞으로도 가능성이 무궁무진하다.

에너미즈를 통해서는 완성된 헤어와 피부 솔루션을 보여준다. 더 헤러틱에서는 기초 작업만 진행되었을 뿐 그 당시에는 기술 개발에 따르는 문제들을 해결하지 못했다. 다른 피부색을 표현하는 데는 여러 기술적인 문제가 따른다. 예를 들어, 어두운 피부를 표현하는 것은 비교적 쉽지만, 밝은 피부일수록 피부의 표면이 투명해지기 때문에 혈류가 더 잘 드러나 보인다. 그래서 더 헤러틱에서는 처리하지 못한 기술적 문제를 에너미즈에서는 해결해야만 했다.

풀버전 시네마틱 데모의 사전 제작을 포기하고, 티저 제작에만 1년여를 보냈다. 제작과 기술 향상에 많은 시간을 쏟았다. 안정된 헤어 시스템과 셰이딩, 렌더링까지 검증된 원활한 워크플로를 제공할 수 있도록 유니티 엔지니어링 팀과 협업했다.

기술 개발과 함께 콘텐츠 제작 과정 전반에도 변화가 있었다. 배우를 캐스팅하여 리허설을 하고, 촬영을 진행해 연기의 초안을 마련했다. 제작 의도에 부합하는 결과가 나왔을 때, 더 헤러틱에 사용한 4DMax 스튜디오의 3D 스캔, Infinite Realities의 4D 스캔, R3DS의 데이터 프로세싱과 같은 스캐닝 파이프라인을 다시 활용했다. 신체와 손의 움직임을 구현하기 위해서는 손 애니메이션을 전문으로 하는 프랑스 파리의 MocapLab과 함께 작업했다.

헤어는 완전히 별개의 작업으로, VFX 업계의 헤어 전문 아티스트와 협업했다. 여러 종류의 모발 형태를 제작하여 헤어 시스템을 개발하면서 다양한 시도를 해보았다. 이를 통해 앞으로 헤어 솔루션을 통해 다양한 모발 형태와 스타일 제작이 가능할 것이고, 계속 개발을 이어갈 예정이다.

지바의 툴을 유니티의 일반적인 파이프라인으로 통합하는 과정은 이미 이루어지고 있고, 그 통합 과정에서 탄생한 것이 바로 에너미즈의 캐릭터다. 유니티에 지바의 기술이 적용되면서 크리에이터는 Ziva VFX를 통한 생체공학적 시뮬레이션을 사용해 최고 품질의 캐릭터를 제작할 수 있다. 시뮬레이션된 캐릭터들은 지바의 독점 머신 러닝 툴과 Ziva RT Trainer를 통해 상호작용이 가능하다.

사실적인 얼굴 표정을 구현하고 싶다면 클라우드 기반의 Ziva Face Trainer를 사용해서 하면 된다. 그런 다음 퍼펫을 애니메이션 공간에서 활용할 신경망과 함께 Ziva RT 플레이어와 런타임 엔진으로 가져와서 유니티와 언리얼, 그 외 게임 엔진으로 불러올 수 있는 기능을 제공한다.

오프라인 렌더링을 구축해 DCC 디포머 파이프라인으로 통합하려고 했을 때는 Ziva RT 플레이어를 통해 워크플로 속도를 향상할 수 있다. 이를 통해 복잡한 변형 성능을 대폭 개선할 수 있고, 애니메이터는 이 복잡성과 별개로 실시간 작업이 가능하다. 손쉽게 헤어와 털을 구현할 수 있는 Weta Digital Barbershop 기반의 헤어 솔루션도 제공될 예정이고, 이를 통해 유니티와 그 외 엔진사는 런타임 시뮬레이션과 향상된 렌더링 데이터를 확보하게 될 것이다.

기술의 발전과 유니티 엔진 기능 향상으로 사실적인 디지털 휴먼 제작 과정에서 만나는 장애물이 사라지고 있다. 다만 최고 품질의 프로덕션에서도 생생하고 사실적인 캐릭터를 제작하는 일은 매우 복잡하고, 전담 팀도 상당한 전문 지식을 갖춰야 하며, 제작에 많은 시간이 소요된다. 게다가 현재 파이프라인 단계의 복잡도로 인해 개발자와 크리에이티브 전문가는 게임이나 스토리 디자인과 캐릭터 설정을 반복하는 바쁜 일정에서 역량을 발휘하기 어렵다. 이로 인해 전달할 수 있는 스토리나 플레이어가 캐릭터와 상호작용할 수 있는 범위도 제한된다.

캐릭터 제작은 게임 제작에 있어 가장 비용이 많이 드는 부분 중 하나다. 하지만 동시에 가장 필요한 부분이다. 대규모 스튜디오에도 어려우니, 인디 크리에이터에게는 엄청난 부담으로 다가올 것이다. 유니티는 이 문제를 해결하기 위해 Ziva Faces, Ziva RT Trainer 등의 툴로 제작 파이프라인을 대폭 단순화하는 일에 중점을 뒀다. 이를 이용하면 클라우드에서 간편한 제작이 가능하다.

 

또 다른 목표는 다양한 플랫폼과 기기에서 사실적인 캐릭터 움직임을 쉽게 제공할 수 있게 하는 것이다. 유니티는 고사양 헤드 마운트 카메라뿐만 아니라 모바일 기기에서도 고품질의 움직임을 구현하도록 간편한 움직임 캡처를 위한 접근성 높은 파이프라인을 구축하기 위해 노력 중이다. 기술 수준과 관계없이 크리에이터가 캐릭터 제작 파이프라인을 쉽게 사용하여 뛰어난 결과물을 얻을 수 있도록 웨타 디지털과 함께 간소화 작업도 진행 중이다.

 

유니티 코리아 팀이 제작에 참여한 수아는 흥미롭게 생각했던 캐릭터였고, 제작 과정을 살펴본 적이 있다. 몇 년 전 트위터에서 처음 보았던 수아는 더 큰 성장을 이루었다. 현재 수아는 광고나 여러 작품에서 활동하고 있는 영향력 있는 디지털 인플루언서이자 배우로 성장했다.

수아를 제작한 팀을 하루 빨리 만나 디지털 셀럽의 매니지먼트 노하우를 얻고, 영화 업계 매니지먼트와 얼마나 비슷하고 다른지 비교해보고 싶다. 비즈니스 모델과 가상 캐릭터 개발과 관련해서는 한국과 일본이 앞서가고 있고, 해당 국가에서는 실시간 기술이 사용되기 전인 1970년대에도 많은 크리에이터가 존재했다. 3D와 2D 캐릭터를 사용한 관련 작업들은 이미 두 국가의 기업들에 의해 진행되어온 바 있다.

유니티의 비전은 변하지 않는다. 고품질 그래픽 구현을 위해 유니티로 가능한 일을 끊임 없이 도전하는 것이다. 도전에는 끝이 없고, 유니티는 매번 새로운 시도를 거듭한다. 한 가지 확실한 점은 웨타와 지바의 인수가 앞으로 유니티의 미래에 중요한 역할을 할 것이라는 사실이다.

유니티 툴의 혁신과 민주화로 나아갈 수 있는 원동력은 모든 크리에이터다. 유니티는 크리에이터 여러분의 다음 작품을 기대한다.