Azure Veri Gezgini ile büyük veri analizi

Azure Data Explorer
Azure Event Hubs
Azure IoT Hub
Azure Storage
Azure Synapse Analytics

Çözüm fikirleri

Bu makalede bir çözüm fikri açıklanmaktadır. Bulut mimarınız bu mimarinin tipik bir uygulaması için ana bileşenleri görselleştirmeye yardımcı olmak için bu kılavuzu kullanabilir. İş yükünüzün özel gereksinimlerine uygun iyi tasarlanmış bir çözüm tasarlamak için bu makaleyi başlangıç noktası olarak kullanın.

Bu çözüm fikri, çeşitli kaynaklardan gelen büyük hacimli yüksek hızlı veriler üzerinde büyük veri analizini gösterir.

Apache® ve Apache Kafka®, Apache Software Foundation'ın Birleşik Devletler ve/veya diğer ülkelerdeki kayıtlı ticari markaları veya ticari markalarıdır. Bu işaretlerin kullanılması Apache Software Foundation tarafından onaylanmamaktadır.

Mimari

Azure Veri Gezgini ile büyük veri analizini gösteren diyagram.

Bu mimarinin bir Visio dosyasını indirin.

Veri akışı

  1. Her tür günlük, iş olayı ve kullanıcı etkinliği gibi ham yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış (serbest metin) veriler çeşitli kaynaklardan Azure Veri Gezgini'a aktarılabilir.
  2. Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka vb. bağlayıcılarını kullanarak düşük gecikme süresi ve yüksek aktarım hızıyla Azure Veri Gezgini veri alın. Alternatif olarak, Azure Event Grid kullanan ve azure Veri Gezgini alma işlem hattını tetikleyen Azure Depolama (Blob veya ADLS 2. Nesil) aracılığıyla veri alın. Ayrıca sıkıştırılmış, bölümlenmiş parquet biçiminde verileri sürekli Olarak Azure Depolama'ya aktarabilir ve Sürekli veri dışarı aktarmaya genel bakış bölümünde ayrıntılı olarak açıklandığı gibi bu verileri sorunsuz bir şekilde sorgulayabilirsiniz.
  3. Önceden toplanmış verileri Azure Veri Gezgini'den Azure Depolama'ya aktarın ve ardından veri modelleri ve raporları oluşturmak için verileri Synapse Analytics'e alın.
  4. Verileri işlemek, toplamak ve analiz etmek için Azure Veri Gezgini'ın yerel özelliklerini kullanın. Yıldırım hızında içgörüler elde etmek için Azure Veri Gezgini panoları, Power BI, Grafana veya diğer araçları kullanarak neredeyse gerçek zamanlı analiz panoları oluşturun. Azure Synapse Analytics'i kullanarak modern bir veri ambarı oluşturun ve bunu Azure Veri Gezgini verileriyle birleştirerek seçilmiş ve toplanmış veri modelleriyle ilgili BI raporları oluşturun.
  5. Azure Veri Gezgini zaman serisi analizi, desen tanıma ve anomali algılama ve tahmin için yerel gelişmiş analiz özellikleri sağlar. Azure Veri Gezgini, Databricks ve Azure Machine Learning gibi ML hizmetleriyle de iyi tümleştirilmiştir. Bu tümleştirme, diğer araçları ve hizmetleri kullanarak modeller oluşturmanıza ve verileri puanlama amacıyla ML modellerini Azure Veri Gezgini'a aktarmanıza olanak tanır.

Bileşenler

  • Azure Event Hubs: Basit, güvenilir ve ölçeklenebilir tam olarak yönetilen, gerçek zamanlı veri alımı hizmeti.
  • Azure IoT Hub: IoT cihazları ile Azure arasında çift yönlü iletişimi etkinleştirmek için yönetilen hizmet.
  • HDInsight üzerinde Kafka: Apache Kafka ile açık kaynak analiz için kolay, uygun maliyetli, kurumsal sınıf hizmet.
  • Azure Veri Gezgini: Uygulamalardan, web sitelerinden, IoT cihazlarından ve daha fazlasından büyük hacimlerde veri akışı üzerinde gerçek zamanlı analiz için hızlı, tam olarak yönetilen ve yüksek oranda ölçeklenebilir veri analizi hizmeti.
  • Azure Veri Gezgini Panoları: Web kullanıcı arabiriminde keşfedilen Kusto sorgularını yerel olarak dışarı aktararak iyileştirilmiş panolara aktarın.
  • Azure Synapse Analytics: Kurumsal veri ambarı ile Büyük Veri analizini bir araya getiren analiz hizmeti.

Senaryo ayrıntıları

Olası kullanım örnekleri

Bu çözüm, Azure Veri Gezgini ve Azure Synapse Analytics'in gerçek zamanlıya yakın analiz ve modern veri ambarı kullanım örnekleri için birbirini nasıl tamamlayanı göstermektedir.

Bu çözüm Microsoft müşterileri tarafından zaten kullanılıyor. Örneğin, Singapur merkezli yolculuk dolu yolculuk şirketi Grab, taksi ve yiyecek teslim hizmetlerinden ve satıcı iş ortağı uygulamalarından toplanan çok miktarda veri üzerinde gerçek zamanlı analiz uyguladı. Grab ekibi bu videoda (20:30'dan sonra) MS Ignite'da çözüm sundu. Grab, bu düzeni kullanarak günde bir trilyondan fazla olay işledi.

Bu çözüm perakende sektörü için optimize edilmiştir.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.

Sonraki adımlar