Azure Kinect DK 深度相機
此頁面涵蓋如何在 Azure Kinect DK 中使用深度相機。 深度相機是兩個相機中的第二個相機。 如前幾節所述，其他相機是 RGB 相機。
作業準則
Azure Kinect DK 深度相機會實作 Amplitude 調節連續波 (AMCW) 飛行時間 (ToF) 準則。 相機會將近 IR (NIR) 頻譜中的調節燈轉換成場景。 然後，它會記錄光線在相機到場景之間往返所花費時間的間接測量。
系統會處理這些度量來產生深度地圖。 深度地圖是影像每個像素的 Z 座標值，以公釐為單位。
除了深度地圖之外，我們也會取得所謂的全新 IR 讀數。 全新 IR 讀數中的像素值，會與從場景傳回的光線量成比例。 影像看起來類似於一般 IR 影像。 下圖顯示範例深度圖 (左側)，以及對應的全新 IR 影像 (右側)。
主要功能
深度相機的技術特性包括：
- 具有進階像素技術的 1 百萬像素 ToF 影像晶片，可啟用較高的調節頻率和深度精確度。
- 兩個 NIR 雷射二極體，可啟用近和寬視角 (FoV) 深度模式。
- 世界最小的 ToF 像素，3.5μm x 3.5μm。
- 每個像素可自動取得選取範圍，讓您在大型動態範圍內清楚拍攝近處和遠處的物件。
- 全局式快門，可改善陽光下的表現。
- 多階段深度計算方法，即使存在晶片、雷射和電源供應器變化，也能提供穩固的精確度。
- 低系統化和隨機錯誤。
深度相機會將原始調節 IR 影像傳輸至主機電腦。 在電腦上，GPU 加速深度引擎軟體會將原始訊號轉換成深度地圖。 深度相機支援數種模式。 狹窄視角 (FoV) 模式非常適合在 X 和 Y 維度中具有較小範圍，但 Z 維度範圍較大的場景。 如果場景的 X 和 Y 範圍大，但 Z 範圍較小，則較適合廣 FoV 模式。
深度相機支援 2x2 Binning 模式，此模式相較於對應的未量化模式，延伸了 Z 範圍。 量化是以降低影像解析度的代價完成。 所有模式最多可以每秒處理 30 個畫面格數 (fps)，但 1 百萬像素 (MP) 模式除外，該模式的最大畫面格數為 15 fps。 深度相機也提供被動 IR 模式。 在此模式中，相機上的照明不會啟用，且只會觀察到環境光源。
相機效能
相機的效能會使用系統化和隨機錯誤來測量。
系統化錯誤
系統化錯誤的定義，為在移除雜訊後測量深度與正確 (真實) 深度之間的差異。 我們會計算靜態場景許多畫面的時態平均，以盡可能消除深度雜訊。 更精確地說，系統化錯誤的定義如下：
其中 dt 代表時間 t 的量值深度，N 是求平均程序中使用的畫面數，而 dgt 是真實深度。
深度相機的系統化錯誤規格排除了多重路徑干擾 (MPI)。 MPI 是指一個感應器像素整合由多個物件反映的光線。 使用較高的調節頻率及我們稍後將介紹的深度失效後，可在深度相機中部分減輕 MPI。
隨機錯誤
假設我們為相同物件拍攝 100 張影像，而不移動相機。 物件的深度會在 100 張影像中全都稍有不同。 此差異是由拍攝雜訊所導致。 拍攝雜訊是指隨著時間的隨機因素，到達感應器的光子數目會有所不同。 我們會將這個靜態場景中的隨機錯誤，定義為下列計算的隨時間經過深度標準差：
其中 N 表示深度測量的數字，dt 代表時間 t 的深度測量，d 代表在所有深度測量 dt 上計算的平均值。
失效
在某些情況下，深度相機可能無法為某些像素提供正確的值。 在這些情況下，深度像素會失效。 深度值等於 0 表示失效像素。 深度引擎無法產生正確值的原因包括：
- 處於作用中 IR 照明遮罩的範圍之外
- 飽和 IR 訊號
- 低 IR 訊號
- 篩選極端值
- 多重路徑干擾
照明遮罩
當像素處於作用中 IR 照明遮罩的範圍之外時，就會失效。 不建議使用這類像素的訊號來計算深度。 下圖顯示因照明遮罩而失效的範例。 失效像素是寬 FoV 模式 (左側) 圓圈以外的黑色像素，而窄 FoV 模式 (右側) 則是六邊形以外的黑色像素。
訊號強度
當像素包含飽和 IR 訊號時，就會失效。 當像素飽和時，階段資訊會遺失。 下圖顯示飽和 IR 訊號的失效範例。 查看指向深度和 IR 影像中範例像素的箭號。
當 IR 訊號的強度不足以產生深度時，也會發生失效狀況。 下圖顯示低 IR 訊號的失效範例。 查看深度和 IR 影像中指向範例像素的箭號。
模糊不清的深度
如果像素收到來自場景中多個物件的訊號，也可以失效。 在常見的情況下，這種失效狀況會出現於角落。 由於場景的幾何影響，相機的 IR 光線會從一個牆面反射到另一個牆面。 這種反射光線會導致像素測量深度模糊不清。 深度演算法中的篩選會偵測這些模糊不清的訊號，並使像素失效。
下圖顯示多重路徑偵測失效的範例。 您也可以看到，在一個相機檢視 (頂端資料列) 中失效的相同表面區域，可能會在不同的相機檢視 (底端資料列) 中再次出現。 此影像示範從某個角度失效的表面，也許能從另一個角度看見。
多重路徑的另一個常見案例，是包含前景和背景混合訊號的像素 (例如物件邊緣周圍)。 在快速動作期間，您可能會在邊緣周圍看到更多失效像素。 額外的失效像素是由原始深度擷取的曝光間隔所導致，
