使用 Azure 串流分析處理來自事件中樞的資料

Azure 串流分析服務可讓您輕鬆地從 Azure 事件中樞擷取、處理及分析串流資料,並提供強大的深入解析來推動即時動作。 您可以使用 Azure 入口網站將傳入資料視覺化,並撰寫串流分析查詢。 一旦您的查詢就緒,您只要按幾下,就可以將其移至實際執行環境。

重點優勢

以下是 Azure 事件中樞和 Azure 串流分析整合的主要優點:

  • 預覽資料 – 您可以在 Azure 入口網站中預覽來自事件中樞的傳入資料。
  • 測試您的查詢 –準備轉換查詢並直接在 Azure 入口網站中進行測試。 如需查詢語言的語法,請參閱串流分析查詢語言文件。
  • 將您的查詢部署到實際執行環境 – 您可以藉由建立和啟動 Azure 串流分析作業,將查詢部署到實際執行環境。

端對端流程

重要

  • 如果您不是 Azure 訂用帳戶層級的擁有者參與者角色成員,則您必須是 Azure 訂用帳戶層級串流分析查詢測試人員角色的成員,才能成功完成本節中的步驟。 此角色可讓您執行測試查詢,而不需要先建立串流分析作業。 如需將角色指派給使用者的指示,請參閱將 AD 角色指派給使用者
  • 如果您的事件中樞只允許透過私人端點進行私人存取,您必須將串流分析作業加入相同的網路,讓作業可以存取事件中樞中的事件。
  1. 登入 Azure 入口網站

  2. 瀏覽至您的事件中樞命名空間,然後瀏覽至具有傳入資料的事件中樞

  3. 在左側導覽功能表上,展開 [功能],選取 [處理資料],然後在 [啟用事件中的即時深入解析] 圖格上選取 [開始]

    螢幕擷取畫面顯示 [處理資料] 頁面,其中已選取 [從事件圖格啟用即時深入解析]。

  4. 您會看到已針對下列欄位設定值的查詢頁面。 如果您看到關於取用者群組和正在為您建立原則的快顯視窗,請選取 [確定]。 您會立即在此索引標籤中看到最新傳入資料的快照集。

    1. 作為查詢輸入的事件中樞

    2. 使用 SELECT 陳述式的範例 SQL 查詢

    3. 用來參考查詢測試結果的輸出別名。

      螢幕擷取畫面顯示串流分析查詢之查詢編輯器。

    • 系統會自動偵測資料中的序列化類型 (JSON/CSV)。 您也可以手動將其變更為 JSON/CSV/AVRO。

    • 您可以預覽資料表格式或原始格式的傳入資料。

    • 如果顯示的資料不是最新的,請選取 [重新整理] 以查看最新的事件。

    • 在上圖中,結果會以表格格式顯示。 若要查看未經處理資料,請選取 [Raw]

      螢幕擷取畫面顯示 [處理資料] 頁面結果窗格中的 [輸入預覽] 視窗,格式為 raw。

  5. 選取 [測試查詢],即可在 [測試結果] 索引標籤中看到查詢的測試結果快照集。您也可以下載結果。

    螢幕擷取畫面顯示結果窗格中的 [輸入預覽] 視窗,其中包含測試結果。

    撰寫您自己的查詢來轉換資料。 請參閱串流分析查詢語言參考

  6. 測試查詢後,如果要將其移至實際執行環境,請選取 [建立串流分析工作]

    [查詢] 頁面的螢幕擷取畫面,其中已選取 [建立串流分析作業連結]。

  7. 在 [新增串流分析作業] 頁面上,遵循下列步驟:

    1. 指定工作的名稱

    2. 選取您想要在其中建立工作的 Azure 訂用帳戶

    3. 選取串流分析工作資源的資源群組

    4. 選取工作的位置

    5. 針對事件中樞原則名稱,建立新的原則或選取現有的原則。

    6. 針對事件中樞取用者群組,建立新的取用者群組或選取現有的取用者群組。

    7. 選取 [建立] 以建立串流分析工作。

      螢幕擷取畫面顯示 [新增串流分析作業] 視窗。

      注意

      建議您為在 [事件中樞] 頁面建立的每個新 Azure 串流分析作業,建立取用者群組和原則。 取用者群組只允許同時五個讀取器,因此,為每個作業提供專用的取用者群組,將可避免因超過該限制而產生的任何錯誤。 專用原則可讓您輪替金鑰或撤銷權限,不會影響到其他資源。

  8. 現在您的串流分析作業已建立,其中您的查詢與您測試的查詢相同,且輸入是您的事件中樞。

    螢幕擷取畫面顯示串流分析作業頁面,其中包含要新增輸出的連結。

  9. 新增您選擇的輸出

  10. 按兩下階層連結中的工作名稱,瀏覽返回串流分析工作頁面。

  11. 選取 [查詢] 視窗上方的 [編輯查詢]

  12. 使用輸出名稱更新 [OutputAlias],並且選取查詢上方的 [儲存查詢] 連結。 選取右上角的 [X],以關閉 [查詢] 頁面。

  13. 現在,在 [串流分析工作] 頁面上,選取工具列上的 [開始] 以開始工作。

    串流分析作業的 [開始作業] 視窗螢幕擷取畫面。

存取

問題:使用者無法存取預覽資料,因為沒有訂用帳戶的正確權限。

選項 1:想要預覽傳入資料的使用者必須新增為訂用帳戶上的參與者。

選項 2:使用者必須在訂用帳戶上新增為串流分析查詢測試人員角色。 瀏覽至訂用帳戶的存取控制。 將使用者的角色指派新增為「串流分析查詢測試人員」角色。

選項 3:使用者可以建立 Azure 串流分析作業。 將輸入設定為這個事件中樞,然後瀏覽至 [查詢] 以預覽此事件中樞的傳入資料。

選項 4:系統管理員可以在訂用帳戶上建立自訂角色。 將下列權限新增至自訂角色,然後將使用者新增至新的自訂角色。

螢幕擷取畫面顯示 Microsoft.StreamAnalytics 權限頁面。

串流單位

您的 Azure 串流分析作業會預設為三個串流單位 (SU)。 若要調整此設定,請在 Azure 入口網站的 [串流分析作業] 頁面中,選取左側功能表上的 [調整]。 若要深入了解串流單位,請參閱了解及調整串流單位

螢幕擷取畫面顯示串流分析作業的 [調整] 頁面。

使用事件中樞異地復寫功能的考慮

Azure 事件中樞 最近啟動公開預覽版中的異地復寫功能。 這項功能與 Azure 事件中樞的異地災害復原功能不同。

當故障轉移類型為強制且復寫一致性為異步時,串流分析作業不保證輸出至 Azure 事件中樞 輸出的確切一次。

Azure 串流分析,作為 具有事件中樞輸出的產生者 ,可能會在故障轉移期間和事件中樞節流期間觀察到作業的浮水印延遲,以防主要和次要之間的複寫延遲達到設定的延遲上限。

Azure 串流分析,作為 事件中樞作為輸入的取用者 ,可能會在故障轉移期間觀察作業的浮浮水印延遲,而且可能會在故障轉移完成後略過數據或尋找重複的數據。

由於這些注意事項,建議您在事件中樞故障轉移完成之後,立即以適當的開始時間重新啟動串流分析作業。 此外,由於事件中樞異地復寫功能處於公開預覽狀態,因此目前不建議將此模式用於生產串流分析作業。 在事件中樞異地復寫功能正式推出之前,目前的串流分析行為將會改善,並可用於串流分析生產作業。

若要深入了解串流分析查詢,請參閱串流分析查詢語言