포드 GT40 환경 만들기
"사전 MRTK, Unreal을 사용하여 HoloLens 2 개발은 모든 공간 상호 작용을 C++로 직접 코딩해야 했기 때문에 조금 지루했습니다. Unreal용 MRTK는 동일한 작업을 많이 간단하게 만들었습니다. 초기 프로토타입에 필요한 시간을 절반으로 줄일 것으로 예상합니다." - Jose Rodriguez, 소프트웨어 개발자
"포드 GT40 환경은 높은 충실도의 HoloLens 2 앱이 단 몇 달 만에 완료될 수 있다는 증거이며, 예산이 적지만 여전히 매우 영향력 있는 결과를 제공합니다." - 다니엘 치탐, 최고 혁신 책임자, 해피 피니시
크리에이티브 프로덕션 회사인 Happy Finish는 Unreal용 MRTK(Mixed Reality Toolkit)를 사용하여 르망 24시간 동안 페라리를 이긴 전설적인 경주용 자동차인 포드 GT40에 대한 새로운 관점을 제공하는 HoloLens 2 경험을 제공했습니다!
사용자는 다양한 자연스럽고 직관적인 공간 상호 작용을 사용하여 GT40의 아름다움, 성능 및 엔지니어링을 탐색할 수 있으며, 모두 Unreal Engine 제공하는 높은 시각적 충실도를 활용하는 방식으로 제공됩니다. 전체 프로젝트에 대한 소프트웨어 개발은 Unreal의 시각적 스크립팅 및 디자인 환경에 대한 MRTK에서 3개월 이내에 단일 개발자에 의해 완료되었습니다.
HoloLens 2 Microsoft Store에서 앱 다운로드
HoloLens 2 디바이스가 있는 경우 디바이스에서 앱을 직접 다운로드하여 설치할 수 있습니다.
질문
해피 피니시(Happy Finish)는 포드, 마이크로소프트, 나이키, 넷플릭스, 보다폰 및 기타 가계 이름을 포함한 고객 기반을 갖춘 세계 최고의 크리에이티브 프로덕션 회사 중 하나입니다. 이 회사는 3D 공간 디자인 및 상호 작용을 통해 몰입형 스토리텔링의 우수성에 대한 헌신을 확장하기 전에 영화와 CGI로 확장하는 고급 사진 보정 기관으로 시작했습니다.
2020년 중반, Microsoft는 Happy Finish에 접근하여 Unreal Engine HoloLens 2 지원을 기반으로 하는 Unreal용 새로운 Mixed Reality 도구 키트(MRTK)에서 사용할 수 있는 가능성을 보여 줄 수 있는 데모 앱을 제작했습니다. 이 시점에서, 회사는 이미 벨트 아래 두 개의 성공적인 Unreal-on-HoloLens 2 프로젝트를 했다. 둘 다 전 세계적으로 인정받는 소비자 브랜드로, 고객 자체의 하이엔드 제품을 가장 잘 선보이기 위해 필요한 대로 높은 시각적 충실도를 위해 내부 R&D/B2B 판매 도구로 HoloLens 2 Unreal을 선택했습니다.
솔루션 자체는 해피 마침에 남아 있지만 몇 가지 주요 지침을 충족해야 했습니다. 첫째, 게임 산업 외부의 HoloLens 2 Unreal의 유틸리티를 설명하기 위해 엔터프라이즈 시나리오에 집중해야 했습니다. 둘째, 대상 프레임 속도와 시각적 품질을 얻기 위해 네트워크 연결 및 외부 처리 능력을 요구하지 않고도 독립 실행형 데모 역할을 할 수 있는 디바이스 전용이어야 했습니다. 셋째, MRTK에서 지원하는 직관적인 상호 작용의 범위를 원활하고 자연스러운 환경으로 혼합해야 합니다. 마지막으로 제안된 솔루션은 셰이더 효율성과 같은 Unreal Engine 자체의 고유한 시각적 충실도 및 기타 이점을 보여 주어야 합니다.
이러한 지침을 감안할 때, 해피 마침은 가능성을 브레인스토밍하기 시작했으며, 공간 상호 작용을 사용하여 브랜드 이름, 고부가가치 제품의 가치를 전달하는 혼합 현실 환경에 대한 아이디어를 내놓았습니다. 시계, 카메라, 자동차, 개인 제트기를 포함한 다양한 물체를 고려한 해피 마침은 2019년 블록버스터 영화 포드 대 페라리에서 포드가 24시간 르망에서 페라리를 이겼을 때 1966년 자동차 전설인 포드 GT40을 결정했습니다.
기존 해피 피니시 클라이언트인 포드(Ford)로부터 인수를 받으면서 이 회사는 클래식 자동차 아이콘에 대한 새로운 관점을 제공하기 시작했습니다.
솔루션
이 작업은 2020년 5월 7일에 시작되었습니다. GT40 모델 파일을 가져온 후 3D 아티스트는 다각형 모델, UV 매핑, 텍스처 맵 다시 그리기 및 해당 맵을 가능한 한 적은 수의 텍스처로 압축하는 데 3주를 보냈습니다. 기술 아티스트는 병렬로 3D 아티스트의 출력을 벤치마킹하고, 지정된 대상 프레임 속도에 따라 최적의 텍스처 크기를 결정하고, Unreal에서 사용자 지정 셰이더를 적용하는 가장 좋은 방법을 알아냈습니다. 이 모든 사전 프로덕션 작업은 디바이스 내 환경을 최적화하기 위해 수행되었습니다.
크리에이티브 디렉터 알렉스 램버트는 사전 제작 작업이 끝난 후 사진을 입력했습니다. 그는 포드 대 페라리를 보면서 시나리오와 상호 작용에 대한 이야기를 함께 짜는 방법에 대해 생각하면서 시작했습니다. 그는 또한 GT40 dashboard 이미지, 르망 경마장의 시각적 개체 등 UI 아티스트에 대한 시각적 참조를 수집하고 사운드 디자이너를 위해 작동하는 GT40의 오디오 녹음을 수집했습니다.
내러티브가 정의되고 최적화된 사전 프로덕션 자산을 손에 들고 프리랜서 소프트웨어 개발자 호세 로드리게스(Jose Rodriguez)가 이 모든 것을 하나로 모으기 위해 참여했습니다. 로드리게스는 Unreal용 MRTK가 출시되기 전에 해피 마침이 수행한 이전 두 개의 Unreal-on-HoloLens 2 프로젝트의 개발자였습니다.
Unreal용 MRTK에서 제공하는 값은 초기에 분명하게 드러났으며, 로드리게스는 1주일 만에 초기 프로토타입을 제공할 수 있도록 지원했습니다. 그는 램버트가 확인한 GT40의 주요 측면 각각에 대해 하나씩 세 가지 독특한 시나리오인 아름다움, 성능 및 엔지니어링을 구현했습니다. 각 시나리오에서 Rodriguez는 MRTK를 사용하여 사전 프로덕션 단계의 최적화된 3D 자산을 다양한 공간 상호 작용으로 통합했습니다.
Unreal용 MRTK를 사용하여 Rodriguez는 C++에서 모든 것을 구현하는 대신 시각적 UMG(Unreal Motion Graphics) UI Designer 사용하여 각 시나리오를 빌드했습니다. MRTK 내의 UX 구성 요소와 구성 요소를 포함하는 플러그 인인 Unreal용 UX 도구는 입력 시뮬레이션, 시각적으로 스크립팅 손 조작, 누름 단추, 3D 이미지 조작, 표면 자성 등을 위한 Unreal Blueprints를 모두 코드 없는 끌어서 놓기 디자인 환경 내에서 제공했습니다.
로드리게스는 "MRTK 이전의 경우 Unreal을 사용하여 HoloLens 2 개발하는 것은 모든 공간 상호 작용을 C++로 직접 코딩해야 했기 때문에 조금 지루했습니다. "Unreal용 MRTK는 동일한 작업을 많이 간단하게 만들었습니다. 초기 프로토타입에 필요한 시간을 절반으로 줄일 것으로 예상합니다."
프로토타입을 손에 들고 팀은 환경을 구체화하기 위해 매주 반복을 시작했습니다. 램버트는 "Mixed Reality 캡처 기능과 Windows 장치 포털이 정말 유용해졌을 때입니다. "디자인 리뷰를 캡처하고, 다른 사용자에게 피드백을 브로드캐스트하고, 변경 내용을 공동 작업하는 데 사용했습니다. 그런 도구가 없었다면 그렇게 고립되어 작업하는 것은 불가능했을 것입니다."
램버트가 UI 요소의 위치 변경 또는 단추 동작 변경과 같은 변경을 요청함에 따라 로드리게스는 이를 구현했습니다. 일부 변경 내용에는 작은 코드 조정이 필요했지만 대부분은 Unreal 비주얼 디자이너에서 처리되었습니다. 로드리게스는 "내가 얼마나 빨리 반복할 수 있는지에 놀랐다. "시간이 낭비되지 않았습니다. 디자이너를 변경한 다음 재생을 눌러 장치에서 즉시 볼 수 있습니다. MRTK는 내 작업을 정말 간소화했습니다."
또한 Rodriguez는 모든 개발 도구가 얼마나 프로덕션 준비가 되었는지에 깊은 인상을 받았다고 회상합니다. "코드에서 작업을 다시 구현하거나 최적화하지 않고도 초기 프로토타입에서 최종 프로덕션까지 원활하게 진행했습니다.
최종 빌드
해피 피니시(Happy Finish)는 2020년 7월 28일 HoloLens 2 포드 GT40 익스피리언스 제작을 완료하여 전설적인 레이스카에 대한 새로운 관점을 제시했습니다. 환경은 시작 화면으로 시작한 다음, 사용자가 Ford 로고를 잡고 테이블이나 데스크톱과 같은 평평한 표면에 배치하여 앵커를 설정하도록 안내합니다.
아름다움
뷰티 세그먼트는 사용자를 GT40 구성기로 가져오며, GT40을 회전 받침대에 표시하며, 이는 자동차 쇼에서 실제 자동차가 표시되는 방식과 유사합니다. 사용자는 다른 휠 옵션을 적용하고, 다른 색 구성표 중에서 선택하고, 문과 트렁크를 열고 닫을 수 있습니다(또는 영국에서 호출할 때 부팅). 뷰티 환경 전반에 걸쳐 사용자는 자동차를 집어 들고 자세히 보기 위해 자유롭게 조작 할 수 있습니다.
성능
성능 세그먼트는 GT40의 속도와 내구성을 보여줍니다. 음성 해설은 자동차가 어떻게 개발되었는지 설명하고 애리조나 주 포드의 킹맨(Kingman)에서 테스트 트랙에서 GT40이 움직이는 모습을 보여주는 3D 시각적 개체로 시작됩니다. 퍼포먼스 세그먼트 소개가 끝나면 음성 해설은 사용자에게 "르망 버튼을 눌러 경마장에 부딪히라"는 메시지를 표시합니다.
퍼포먼스 부문의 두 번째 부분에서는 프랑스 르망 근처의 서킷 드 라 사르테에서 매년 열리는 르망 24시간 행사에서 드라이버가 경험할 수 있는 다양한 조건에서 GT40을 전시합니다. 3D 보기는 르망 트랙에서 움직이는 차량을 보여주며, 차량이 더 빨리 또는 느리게 이동되도록 하기 위해 단추가 제공됩니다. GT40의 아날로그 속도계와 tachometer가 트랙 보기 위에 떠 있는 이미지로, 더 많은 경주 원격 분석이 배경에 표시됩니다. 사용자는 낮과 야간 보기 사이를 전환하고 건조하고 젖은 운전 조건 사이를 전환하여 켄 마일스와 다른 GT40 드라이버가 실제 경주에서 경험한 것에 대한 현실적이고 생생한 관점을 제공할 수 있습니다.
공학
포드 GT40 익스피리언스의 엔지니어링 부문은 포드가 경주에서 우승하는 데 도움이 된 엔지니어링 혁신 중 하나인 브레이크 로터와 패드를 1분 이내에 교체할 수 있는 능력을 다른 모든 팀이 필요로 하는 20-30분 동안 보여줍니다. 직관적인 제스처를 사용하여 사용자는 GT40 휠 및 브레이크 어셈블리의 자세한 3D 모델을 조작할 수 있습니다. 어셈블리를 확장하기 위해 사용자는 러그 렌치를 선택하고 휠의 가운데 잠금에 맞춰서 시계 반대 방향으로 돌린 다음 휠에서 끌어냅니다. 다른 제스처는 낡은 브레이크 로터와 패드를 제거하고, 새 제스처로 교체하고, 어셈블리를 축소하고, 중앙 잠금을 다시 보안하는 데 사용됩니다. 백그라운드에서 타이머는 경과된 시간을 표시하여 사용자가 Le Mans의 피트 승무원만큼 빨리 프로세스를 완료할 수 있는지 확인할 수 있도록 합니다.
포드 GT40 환경은 Microsoft 스토어에서 다운로드할 수 있으므로 HoloLens 2 있는 모든 사용자가 해피 마침이 전설적인 경주용 자동차에 새로운 관점을 가져다 준 방법을 살펴볼 수 있습니다.
인상적인 시각적 충실도 얻기
포드 GT40 경험에서 지원하는 공간 상호 작용의 범위는 그 자체로 인상적이지만, 경험이 제공하는 창의성과 시각적 충실도는 실제로 빛을 발합니다. 3D 모델 최적화 및 Unreal 사용자 지정 셰이더 사용을 통해 Happy Finish는 앱의 성능 세그먼트 크기가 315,000개에 육박하는 경우에도 초당 60프레이닝 목표를 달성했습니다.
램버트는 "유동적이고 직관적인 상호 작용 세트를 일관되고 매력적인 내러티브로 결합할 수 있었던 것에 정말 기쁩니다. "분명히 HoloLens 2 Unreal Engine 힘은 더 놀랍고 흥미로운 혼합 현실 경험을 위한 새로운 기회의 세계를 열어줍니다. 호환되지 않는 시각적 충실도가 항상 HoloLens 2 엔터프라이즈 애플리케이션의 최종 목표는 아니지만, HoloLens 2 Unreal에 대한 지원은 매우 중요합니다."
신속한 솔루션 제공
최종 사용자인 Ford GT40 Experience만큼 인상적인 것은 전체 프로젝트(사전 프로덕션에서 최종 배달까지)가 12주 만에 완료된 해피 마침이 얼마나 빨리 전달되었는지입니다. 요약하자면, 이 프로젝트는 크리에이티브 디렉터(80시간), UX 디자이너(56시간), UI 디자이너(40시간), 사운드 디자이너(40시간), 3D/기술 아티스트(328시간), 소프트웨어 개발자(408시간), 기술 디렉터(40시간), 생산자(56시간) 및 품질 보증(40시간)과 같이 세분화된 1088시간의 노력을 소비했습니다.
회사의 대화형 사업부를 이끌고 있는 해피 피니시(Happy Finish)의 최고 혁신 책임자인 다니엘 치텀(Daniel Cheetham)은 "전반적으로 우리는 원래 프로젝트 추정치에 매우 근접했습니다. "포드 GT40 환경은 높은 충실도의 HoloLens 2 앱이 단 몇 달 만에 완료될 수 있다는 증거이며, 예산이 적지만 여전히 매우 영향력 있는 결과를 제공합니다."
개발 관점에서, HoloLens 2 Unreal과의 이전 경험을 바탕으로, 로드리게스는 Unreal용 MRTK가 자신의 부분에 필요한 총 시간과 노력을 절반으로 줄인 것으로 추정합니다. 그는 또한 MRTK가 HoloLens 2 함께 일한 적이 없는 개발자가 시작하는 데 어떻게 도움이 될 수 있는지를 설명합니다. "다른 개발자들이 혼합 현실에 관심이 있다고 말할 때, 난 그냥 뛰어 HoloLens 2 개발 스택 및 MRTK를 설치하고, 그것을 위해 이동하는 것이 좋습니다. MRTK를 사용하면 앱을 빠르고 쉽게 빌드할 수 있으며 Unreal 시각적 편집기가 매우 잘 작동하므로 시작하는 데 HoloLens 2 디바이스가 필요하지 않습니다. 전혀 복잡하지 않습니다. 모든 것이 제대로 작동합니다."
잠재적인 Azure 서비스 향상
램버트는 Azure Spatial Anchors를 사용하여 실제 세계에 고정된 다중 사용자 환경을 제공하는 등 Azure 혼합 현실 서비스를 사용하여 포드 GT40 환경을 향상시킬 수 있는 여러 가지 방법을 확인합니다. "창의적인 관점에서 Azure Spatial Anchors는 물리적 세계 내에서 3D 콘텐츠 또는 관심 지점을 매핑, 유지 및 복원하는 기능을 통해 완전히 새로운 범위의 가능성을 열어줍니다.
램버트는 또한 Azure Remote Rendering 또는 Azure에서 앱을 스트리밍하여 더 상세하고 복잡한 3D 모델을 사용하는 동안 원하는 프레임 속도를 달성하는 방법을 구상합니다. "초당 60프레이의 디바이스 대상에 도달하려면 Unreal에서 고도로 최적화된 사용자 지정 셰이더를 구현해야 했습니다." "Azure Remote Rendering 사용하면 다각형 모델을 최적화하고 텍스처 맵을 다시 그리는 등의 작업을 수행하지 않고도 훨씬 더 많은 작업을 수행할 수 있으며 훨씬 더 쉽게 수행할 수 있습니다."
끝없는 새로운 가능성
그렇다면 해피 피니시의 다음 단계는 무엇일까요? 포드 GT40 경험에 대한 포드의 피드백은 압도적으로 긍정적이었으며, 향후 HoloLens 2 프로젝트에 대한 해피 피니시와 포드 간의 추가 논의로 이어졌다. Ford와의 관계 외에 해피 마침은 이미 HoloLens 2 새 프로젝트를 시작하고 있으며, 여기서 Unreal용 MRTK는 대부분의 사용자 환경의 기본 구성 요소입니다.
"우리는 항상 각 새 프로젝트에 대한 기술 중립적 접근 방식을 유지해 왔으며, 고객이 원하는 결과를 얻을 수 있도록 돕는 데 가장 적합한 도구 집합을 제안했습니다. "즉, HoloLens 2 혼합 현실, 특히 기업에서 장치 기능과 지원 생태계의 만연성 측면에서 다른 모든 옵션 위에 머리와 어깨를 서있는 사실상 금본위제로 부상했습니다."
Cheetham에 따르면, 글로벌 전염병은 잠재 고객들 사이에서 몰입형 혼합 현실에 대한 엄청난 새로운 관심을 불러일으켰습니다. "우리는 그 어느 때보다 바쁘며, 잠재 고객의 약 50%가 혼합 현실 옵션에 대해 논의할 수 있습니다. "핵심은 사람들이 시도해 보도록 하는 것입니다. 당신은 하루 종일 혼합 현실에 대해 말할 수 있지만, 당신이 그들에게 자신을 위해 경험하는 HoloLens 2 전달 할 때, 그들은 즉시 게임 체인저가 될 수있는 방법을 얻을. HoloLens 2 Unreal Engine 대한 지원은 우리가 제공할 수 있는 가치만 증가시키므로 가장 까다로운 고객조차도 만족할 수 있는 시각적으로 놀라운 경험을 제공할 수 있습니다."
사용해 보세요!
GitHub의 HoloLens 2 또는 Unreal용 MRTK에 대한 Mixed Reality 개발에 대한 소개를 확인하세요.