상호 작용 모델

  • 3분

Mixed Reality 도구 키트를 사용하면 컨트롤러, 굴절식 손 또는 음성과 같은 다양한 입력 소스의 입력을 사용할 수 있습니다. 혼합 현실 환경에 가장 적합한 상호 작용 모델을 선택하려면 사용자와 해당 목표를 식별하고 환경에 영향을 미칠 수 있는 상황 또는 환경 요인을 고려해야 합니다. 여기서는 혼합 현실 환경에 대한 세 가지 기본 상호 작용 모델과 Unity에서 입력을 시뮬레이션하는 방법에 대해 알아봅니다.

상호 작용 모델

대부분의 혼합 현실 환경에 적합한 세 가지 기본 상호 작용 모델이 있습니다.

모델 예제 시나리오 맞춤
손 및 모션 컨트롤러 3D 공간 환경(예: 공간 레이아웃 및 디자인, 콘텐츠 조작 또는 시뮬레이션). 새로운 사용자에게 음성, 시선 추적 또는 헤드 게이즈(head-gaze)와 함께 사용하면 좋습니다. 학습 기간이 낮습니다. 손 추적 및 6DoF 컨트롤러에 걸쳐 일관된 UX.
핸즈프리 현장 학습, 유지 보수와 같이 사용자의 손을 다른 일에 사용하고 있는 상황에 맞는 환경. 어느 정도 학습이 필요합니다. 손을 사용할 수 없는 경우 디바이스가 음성 및 자연어와 잘 페어링됩니다.
응시 및 커밋 클릭 경험; 예를 들어 3D 프레젠테이션 또는 데모입니다. 헤드 탑재 디바이스에 대한 학습이 필요하지만 모바일에서는 학습되지 않습니다. 액세스 가능한 컨트롤러에 가장 적합합니다.

여러 상호 작용 모델의 일부를 혼합 현실 환경으로 결합할 수 있지만, 이렇게 하면 동시 손 광선 및 헤드 게이즈 커서와 같은 경쟁 사용자 입력의 위험이 발생한다는 점에 유의해야 합니다. 이 경우 사용자가 당황하고 혼란에 빠질 수 있습니다.

환경에 여러 상호 작용 모델이 필요한 경우 대다수의 사용자가(특히 혼합 현실을 처음 접하는 사용자의 경우) 다른 모델로 전환 시 어려움을 겪을 수 있다는 점에 유의하세요.

손 및 모션 컨트롤러 모델

손 및 모션 컨트롤러 모델에서 사용자는 한 손 또는 양손을 사용하여 홀로그래픽 세계와 상호 작용해야 합니다. 이 모델은 가상 세계와 물리적 세계 사이의 경계를 제거합니다.

몇 가지 구체적 시나리오는 다음과 같습니다.

  • 정보 근로자에게 콘텐츠를 표시하고 제어하는 UI 어포던스가 있는 2D 가상 화면 제공
  • 공장 어셈블리 라인에 대한 일선 작업자 자습서 및 가이드 제공
  • 의료 전문가 지원 및 교육을 위한 전문 도구 개발
  • 3D 가상 개체를 사용하여 실제 세계를 꾸미거나 다른 세계 만들기
  • 실제 세계를 배경으로 사용하여 위치 기반 서비스 및 게임 만들기

다음과 같은 세 가지 손 및 모션 컨트롤러 형식이 있습니다.

  • 손으로 직접 조작
  • 손으로 가리키기 및 커밋
  • 모션 컨트롤러

핸즈프리 모델

핸즈프리 모델을 사용하면 사용자가 손을 사용하지 않고 홀로그램 콘텐츠와 상호 작용할 수 있습니다. 이 방법은 사용자가 실제 목표를 달성하기 위해 손을 사용해야 할 수 있고 손 및 컨트롤러 기반 인터페이스와 상호 작용하는 데 어려움을 겪을 수 있는 경우에 사용하는 것이 가장 좋습니다.

몇 가지 구체적 시나리오는 다음과 같습니다.

  • 사용자가 손을 사용할 수 없을 때 작업을 안내
  • 사용자가 손을 사용할 수 없을 때 자료 참조
  • 손 피로
  • 추적할 수 없는 글러브
  • 손으로 물건 운반
  • 큰 손 제스처를하는 사회적 어색함
  • 비좁은 공간

다음 두 가지 핸즈프리 형식이 있습니다.

  • 음성 입력
  • 응시 및 유지

응시 및 커밋

응시 및 커밋은 마우스를 사용하여 가리키고 클릭하여 컴퓨터와 상호 작용하는 방식과 밀접하게 관련된 입력 모델입니다. 응시 및 커밋은 간접 조작을 사용하는 거리가 먼 입력 모델로 간주됩니다. 따라서 손이 닿지 않는 홀로그램 콘텐츠와 상호 작용할 때 응시 및 커밋을 사용하는 것이 가장 좋습니다. 응시 입력(머리 응시 및 시선 응시)과 커밋 동작에는 두 가지 유형이 있습니다.

사용자가 응시를 사용하여 개체 또는 UI 요소를 대상으로 지정한 후 사용자는 보조 입력을 사용하여 상호 작용하거나 선택할 수 있습니다. 이를 입력 모델의 커밋 단계라고 합니다. 커밋 방법에는 음성 명령, 단추 누르기 또는 손 제스처가 포함됩니다.

Unity 편집기 내 입력 시뮬레이션

Unity 편집기 내 입력 시뮬레이션을 통해 손 또는 시각 상호 작용을 사용할 때 홀로그래픽 개체 동작을 테스트할 수 있습니다.

장면에서 이동하는 방법:

  • 카메라를 앞쪽/왼쪽/뒤쪽/오른쪽으로 이동하려면 W/A/S/D 키를 사용합니다.
  • Q/E 키를 사용하여 카메라를 세로로 이동합니다.
  • 마우스 오른쪽 단추를 길게 누르면 카메라가 회전합니다.

손 입력을 시뮬레이트하는 방법:

  • 스페이스 바를 길게 눌러 오른손을 활성화합니다.
  • 스페이스 바를 누른 상태에서 마우스를 움직이면 손이 움직입니다.
  • 마우스 스크롤 휠을 사용하여 손의 깊이를 조정합니다.
  • 마우스 왼쪽 단추를 클릭하여 손가락 모으기 제스처를 시뮬레이션합니다.
  • T/Y 키를 사용하여 보기에서 손을 영구적으로 만듭니다.
  • Ctrl 키를 누른 상태에서 마우스를 움직여 손을 회전합니다.
  • 왼쪽 shift 키를 길게 눌러 왼손을 활성화합니다.