개발자를 위한 혼합 현실 캡처(DirectX)

여기에서 시작하기 전에 혼합 현실 캡처 개요 문서를 살펴보는 것이 좋습니다.

PV 카메라에서 렌더링(옵트인)

HoloLens 2는 혼합 현실 캡처가 실행되는 동안 몰입형 앱이 PV 카메라에서 렌더링할 수 있는 기능을 추가합니다. 앱이 추가 렌더링을 올바르게 지원하도록 하려면 앱이 이 기능을 옵트인해야 합니다.

PV 카메라에서 렌더링하면 기본 MRC 환경보다 다음과 같은 향상된 기능을 제공합니다.

• 가까운 상호 작용을 위해 실제 환경과 손에 홀로그램 맞춤은 모든 거리에서 정확해야 합니다. 기본 MRC에서 볼 수 있듯이 포커스 지점 이외의 거리에서 오프셋이 없으면 안 됩니다.
• 헤드셋의 오른쪽 눈은 MRC 출력에 대한 홀로그램을 렌더링하는 데 사용되지 않으므로 손상되지 않습니다.

PV 카메라에서 렌더링을 사용하도록 설정하는 세 가지 단계가 있습니다.

1. PhotoVideoCamera HolographicViewConfiguration 사용
2. 추가 HolographicCamera 렌더링 처리
3. 이 추가 HolographicCamera에서 셰이더 및 코드가 올바르게 렌더링되는지 확인합니다.

DirectX에서 PhotoVideoCamera HolographicViewConfiguration 사용

PV 카메라에서 렌더링을 옵트인하기 위해 앱은 PhotoVideoCamera의 HolographicViewConfiguration을 사용하도록 설정합니다.

var display = Windows.Graphics.Holographic.HolographicDisplay.GetDefault();
var view = display.TryGetViewConfiguration(Windows.Graphics.Holographic.HolographicViewConfigurationKind.PhotoVideoCamera);
if (view != null)
{
    view.IsEnabled = true;
}

DirectX에서 추가 HolographicCamera 렌더링 처리

앱이 PV 카메라에서 렌더링하도록 옵트인하고 혼합 현실 캡처가 시작되는 경우:

1. HolographicSpace의 CameraAdded 이벤트가 발생합니다. 현재 앱에서 카메라를 처리할 수 없는 경우 이 이벤트를 연기할 수 있습니다.
2. 미해결 지연 없이 이벤트가 완료되면 HolographicCamera가 다음 HolographicFrame의 AddedCameras 목록에 표시됩니다.

혼합 현실 캡처가 중지되거나 혼합 현실 캡처가 실행되는 동안 앱이 보기 구성을 사용하지 않도록 설정하는 경우: HolographicCamera가 다음 HolographicFrame의 RemovedCameras 목록에 표시되고 HolographicSpace의 CameraRemoved 이벤트가 발생합니다.

카메라가 속한 구성을 식별할 수 있도록 ViewConfiguration 속성이 HolographicCamera에 추가되었습니다.

셰이더 및 코드가 추가 카메라를 지원하는지 확인

혼합 현실 캡처를 실행하고 비정상적인 맞춤, 누락된 콘텐츠 또는 성능 문제를 확인합니다. 셰이더 및 코드를 적절하게 업데이트합니다.

추가 카메라에 대한 렌더링을 지원할 수 없는 특정 장면이 있는 경우 PhotoVideoCamera의 HolographicViewConfiguration을 사용하지 않도록 설정할 수 있습니다.

앱에서 MRC를 사용하지 않도록 설정

2D 앱

2D 앱은 다음을 통해 혼합 현실 캡처를 실행할 때 시각적 콘텐츠를 가려지도록 선택할 수 있습니다.

• DXGI_PRESENT_RESTRICT_TO_OUTPUT 플래그와 함께 표시
• DXGI_SWAP_CHAIN_FLAG_HW_PROTECTED 플래그를 사용하여 앱의 스왑 체인 만들기
• Windows 10 2019년 5월 업데이트 ApplicationView의 IsScreenCaptureEnabled 설정

몰입형 앱

몰입형 앱은 다음을 통해 혼합 현실 캡처에서 해당 시각적 콘텐츠를 제외하도록 선택할 수 있습니다.

• 연결된 프레임에 대해 혼합 현실 캡처를 사용하지 않도록 HolographicCameraRenderingParameter의 IsContentProtectionEnabled 설정
• 홀로그램Camera의 IsHardwareContentProtectionEnabled 를 설정하여 연결된 홀로그램 카메라에 대한 혼합 현실 캡처를 사용하지 않도록 설정

암호 키보드

Windows 10 2019년 5월 업데이트 사용하면 암호 또는 핀 키보드가 표시되면 시각적 콘텐츠가 혼합 현실 캡처에서 자동으로 제외됩니다.

MRC가 활성 상태인 경우 파악

AppCapture 클래스는 앱에서 시스템 혼합 현실 캡처가 실행되는 시기를 파악하는 데 사용할 수 있습니다(오디오 또는 비디오용).

앱 내에서 MRC 기능 통합

혼합 현실 앱은 앱 내에서 MRC 사진 또는 비디오 캡처를 시작할 수 있으며 캡처된 콘텐츠는 디바이스의 "카메라 롤"에 저장되지 않고 앱에서 사용할 수 있습니다. 사용자 지정 MRC 레코더를 만들거나 기본 제공 카메라 캡처 UI를 활용할 수 있습니다.

기본 제공 카메라 UI가 있는 MRC

개발자는 카메라 캡처 UI API를 사용하여 몇 줄의 코드만으로 사용자가 캡처한 혼합 현실 사진 또는 비디오를 가져올 수 있습니다.

이 API는 사용자가 사진이나 비디오를 찍고 결과 캡처를 앱에 반환할 수 있는 기본 제공 MRC 카메라 UI를 시작합니다. 스트림을 캡처하기 위해 자체 카메라 UI 또는 하위 수준 액세스를 추가해야 하는 경우 사용자 지정 Mixed Reality Capture 레코더를 만들 수 있습니다.

화면 캡처가 있는 MRC

HoloLens 2 2021년 5월 업데이트(Windows Holographic 버전 21H1 빌드 20346.1002)를 통해 개발자는 화면 캡처 API를 사용하여 혼합 현실 비디오 프레임 스트림을 요청할 수 있습니다.

사용자 지정 MRC 레코더 만들기

사용자는 항상 시스템 MRC 캡처 서비스를 사용하여 사진 또는 비디오를 트리거할 수 있지만 애플리케이션은 MRC와 마찬가지로 카메라 스트림에 홀로그램을 포함하는 사용자 지정 카메라 앱을 빌드할 수 있습니다. 이를 통해 애플리케이션은 사용자 입력에서 캡처를 시작하거나, 사용자 지정 기록 UI를 빌드하거나, MRC 설정을 사용자 지정하여 몇 가지 예를 지정할 수 있습니다.

HoloStudio는 MRC 효과를 사용하여 사용자 지정 MRC 카메라를 추가합니다.

다른 애플리케이션은 Windows 미디어 캡처 API를 사용하여 카메라를 제어하고 MRC 비디오 및 오디오 효과를 추가하여 가상 홀로그램 및 애플리케이션 오디오를 스틸 및 비디오에 포함시켜 이 작업을 수행할 수 있습니다.

애플리케이션에는 효과를 추가하는 두 가지 옵션이 있습니다.

• 이전 API: Windows.Media.Capture.MediaCapture.AddEffectAsync()
• 새 Microsoft 권장 API(개체를 반환하여 동적 속성 조작 가능): Windows.Media.Capture.MediaCapture.AddVideoEffectAsync() / Windows.Media.Capture.MediaCapture.AddAudioEffectAsync()는 앱이 IVideoEffectDefinition 및 IAudioEffectDefinition의 자체 구현을 만들어야 합니다. 예제는 MRC 샘플 앱을 참조하세요.

MRC 비디오 효과(Windows.Media.MixedRealityCapture.MixedRealityCaptureVideoEffect)

MRC 오디오 효과(Windows.Media.MixedRealityCapture.MixedRealityCaptureAudioEffect)

동시 MRC 제한 사항

여러 앱이 동시에 MRC에 액세스하는 경우 특정 제한 사항을 알고 있어야 합니다.

사진/비디오 카메라 액세스

HoloLens 1에서는 프로세스가 비디오를 녹화하거나 사진을 찍는 동안 MRC가 사진을 캡처하거나 비디오를 캡처하지 못합니다. 반대의 경우도 마찬가지입니다. MRC가 실행 중인 경우 애플리케이션이 카메라에 액세스하지 못합니다.

HoloLens 2를 사용하면 카메라에 대한 액세스를 공유할 수 있습니다. 해상도 또는 프레임 속도를 직접 제어할 필요가 없는 경우 SharedReadOnly에서 SharedMode 속성을 사용하여 MediaCapture를 초기화할 수 있습니다.

기본 제공 MRC 사진 및 비디오 카메라 액세스

Windows 10에 기본 제공되는 MRC 기능(Cortana, 시작 메뉴, 하드웨어 바로 가기, Miracast, Windows 장치 포털을 통해):

• 기본적으로 ExclusiveControl로 실행됩니다.

그러나 공유 모드에서 작동하도록 MRC 하위 시스템에 지원이 추가되었습니다.

• 앱이 사진/비디오 카메라에 대한 ExclusiveControl 액세스를 요청하는 경우 기본 제공 MRC는 사진/비디오 카메라 사용을 자동으로 중지하므로 앱의 요청이 성공합니다.
• 앱에 ExclusiveControl이 있는 동안 기본 제공 MRC가 시작되면 기본 제공 MRC가 SharedReadOnly 모드에서 실행됩니다.

이 공유 모드 기능에는 다음과 같은 특정 제한 사항이 있습니다.

• Cortana, 하드웨어 바로 가기 또는 시작 메뉴를 통한 사진: Windows 10 2018년 4월 업데이트(이상) 필요
• Cortana, 하드웨어 바로 가기 또는 시작 메뉴를 통한 비디오: Windows 10 2018년 4월 업데이트(이상) 필요
• Miracast를 통해 MRC 스트리밍: Windows 10 2018년 10월 업데이트(이상) 필요
• Windows 디바이스 포털을 통해 또는 HoloLens 도우미 앱을 통해 MRC 스트리밍: HoloLens 2 필요

개발자를 위한 MRC 액세스

MRC를 사용하는 경우 항상 카메라에 대한 배타적 제어를 요청하는 것이 좋습니다. 이렇게 하면 위에 나열된 제한 사항을 알고 있는 한 애플리케이션에서 카메라 설정을 완전히 제어할 수 있습니다.

• 초기화 설정을 사용하여 미디어 캡처 개체 만들기
• SharingMode 속성을 배타로 설정

• 원하는 방식으로 카메라 설정
• 앱을 시작하고, 시작 API를 사용하여 비디오 프레임을 캡처한 다음, MRC를 사용하도록 설정합니다.

홀로그램 얼굴 추적 샘플에서 위의 프로세스의 전체 샘플을 찾을 수 있습니다.

참고 항목

• 혼합 현실 캡처 개요
• HoloLens 사용자를 위한 혼합 현실 캡처