Telekomünikasyon sektörü için jeo-uzamsal analiz

Azure Data Factory
Azure Data Lake
Azure Databricks
Azure Machine Learning
Azure Maps

Bu makalenin odak noktası, büyük hacimli jeo-uzamsal verileri işlemek için Azure Cloud Services kullanan pratik bir mimariyi göstermektir. Şirket içi çözümler ölçeklendirilmezse ileriye doğru bir yol sağlar. Ayrıca geçerli jeo-uzamsal analiz araçlarının sürekli kullanımına da olanak tanır.

Apache®, Apache Spark®, GeoSpark® ve Sedona®, Apache Software Foundation'ın Birleşik Devletler ve/veya diğer ülkelerdeki tescilli ticari markaları veya ticari markalarıdır. Bu işaretlerin kullanılması Apache Software Foundation tarafından onaylanmamaktadır.

GeoPandas®, QGIS® ve ArcGIS®, ilgili şirketlerin ticari markalarıdır. Bu işaretlerin kullanılması herhangi bir onay anlamına gelmez.

Mimari

Büyük hacimli jeo-uzamsal verileri işlemek için Azure Cloud Services kullanan bir mimari diyagramı.

Bu mimarinin bir Visio dosyasını indirin.

İş Akışı

  1. Azure Data Factory, jeo-uzamsal verileri Azure Data Lake Storage'a alır. Bu verilerin kaynağı Teradata, Oracle Spatial ve PostgreSQL gibi jeo-uzamsal veritabanlarıdır.
  2. Azure Key Vault parolaların, kimlik bilgilerinin, bağlantı dizesi ve diğer gizli dizilerin güvenliğini sağlar.
  3. Veriler, nasıl işlendiğine göre Data Lake Storage'daki çeşitli klasörlere ve dosya sistemlerine yerleştirilir. Diyagramda çok atlamalı bir mimari gösterilmektedir. Bronz kapsayıcı ham verileri, gümüş kapsayıcısı yarı seçilmiş verileri, altın kapsayıcı ise tam olarak seçilmiş verileri barındırır.
  4. Veriler GeoJson, WKT ve Vector kutucukları gibi biçimlerde depolanır. Azure Databricks ve GeoSpark / Sedona paketi, biçimleri dönüştürebilir ve makineler arasında büyük ölçekli uzamsal verileri verimli bir şekilde yükleyebilir, işleyebilir ve analiz edebilir.
  5. Azure Databricks ve Apache Sedona büyük ölçekte çeşitli işlemler yapar:
    1. Birleşimler, kesişimler ve mozaikler
    2. Uzamsal örnekleme ve istatistikler
    3. Uzamsal dizin oluşturma ve bölümleme
  6. GeoPandas verileri QGIS ve ARCGIS gibi üçüncü taraf GIS uygulamaları tarafından kullanılmak üzere çeşitli biçimlerde dışarı aktarır.
  7. Azure Machine Learning, jeo-uzamsal verilerden içgörüler ayıklar ve örneğin yeni kablosuz erişim noktalarının nereye ve ne zaman dağıtılacağına karar vermektedir.
  8. Power BI ve Azure Haritalar Power BI görseli (Önizleme), jeo-uzamsal verileri görselleştirmek için bir harita tuvali oluşturur. Power BI, Azure Databricks kümesine bağlanmak için Azure Databricks yerel bağlayıcısı kullanır.
  9. Azure portalındaki bir araç olan Log Analytics, olayları ve performansı analiz etmek üzere sağlam ve ayrıntılı bir günlüğe kaydetme sistemi uygulamak için Azure İzleyici Günlüklerindeki verilere karşı sorgular çalıştırır.

Bileşenler

  • Azure Data Lake Storage , yüksek performanslı analiz iş yükleri için ölçeklenebilir ve güvenli bir veri gölüdür. Data Lake Storage'ı kullanarak yüksek aktarım hızına sahip petabaytlar kadar veriyi yönetebilirsiniz. Yapılandırılmış, yarı yapılandırılmış veya yapılandırılmamış biçimlerdeki birden çok, heterojen kaynağı ve veriyi barındırabilir.
  • Azure Databricks , Spark kümelerini kullanan bir veri analizi platformudur. Kümeler Azure Cloud Services platformu için iyileştirilmiştir.
  • Azure Data Factory tam olarak yönetilen, ölçeklenebilir ve sunucusuz bir veri tümleştirme hizmetidir. Çeşitli veri depolarıyla çalışan bir veri tümleştirme ve dönüştürme katmanı sağlar.
  • Microsoft Power BI , birden çok veri kaynağını tutarlı, görsel olarak çevreleyici ve etkileşimli içgörülere dönüştürmek için birlikte çalışan yazılım hizmetleri, uygulamalar ve bağlayıcılardan oluşan bir koleksiyondur.
  • Azure Haritalar, web ve mobil uygulamalara coğrafi bağlam sağlamak için yeni eşleme verilerini kullanan jeo-uzamsal hizmetler ve SDK'lardan oluşan bir koleksiyondur.
  • Azure Machine Learning , makine öğrenmesi modellerini büyük ölçekte eğitmek, dağıtmak ve yönetmek için kullanılan tam olarak yönetilen bir bulut hizmetidir.
  • Azure Key Vault belirteçlere, kimlik bilgilerine, sertifikalara, API Anahtarlarına ve diğer gizli dizilere erişimi güvenli bir şekilde depolamak, yönetmek ve sıkı bir şekilde denetlemek için kullanılabilen bir hizmettir.
  • Azure İzleyici , bulut ve şirket içi ortamlarınızdan telemetri verilerini toplamak, analiz etmek ve üzerinde işlem gerçekleştirmek için kapsamlı bir çözümdür. Uygulamalarınızın ve hizmetlerinizin kullanılabilirliğini ve performansını en üst düzeye çıkarmak için bunu kullanabilirsiniz.

Alternatifler

  • Aynı açık kaynak çerçevelerini kullanarak Azure Databricks yerine jeo-uzamsal analiz için Synapse Spark Havuzlarını kullanabilirsiniz.
  • Verileri almak için Data Factory kullanmak yerine Azure Event Hubs'ı kullanabilirsiniz. Doğrudan veya Kafka gibi diğer olay akış hizmetlerinden çok büyük miktarlarda veri alabilir. Ardından verileri işlemek için Azure Databricks'i kullanabilirsiniz. Daha fazla bilgi için bkz . Azure Databricks ile Akış İşleme.
  • Azure Databricks yerine, jeo-uzamsal verileri sorgulamak ve işlemek için Azure SQL Veritabanı veya Azure SQL Yönetilen Örneği kullanabilirsiniz. Bu veritabanları, jeo-uzamsal analiz için kullanabileceğiniz tanıdık T-SQL dilini sağlar. Daha fazla bilgi için bkz . Spatial Data (SQL Server).
  • Event Hubs gibi Azure IoT Hub da algılayıcı ve telekom IoT cihazlarından büyük miktarlarda veri alabilir. IoT Hub çift yönlü özelliğini kullanarak cihazlarla güvenli bir şekilde iletişim kurabilir ve bunları bulutta merkezi bir platformdan yönetebilir ve denetleyebilirsiniz.
  • web ve mobil uygulamalarınıza coğrafi bağlam sağlamak için Azure Haritalar kullanabilirsiniz. Azure Haritalar konum bilgilerine ek olarak, gerçek zamanlı trafik bilgilerini almak için adresleri, yerleri ve ilgi çekici noktaları bulmak için hizmetlerde arama yapabilir. Azure Haritalar Power BI Görseli hem Power BI Desktop'ta hem de Power BI hizmeti aynı özellikleri sağlar.

Senaryo ayrıntıları

Konum bilgileri ve jeo-uzamsal analizler, telekomünikasyon şirketlerini etkileyen önemli bölgesel eğilimleri ve davranışları ortaya çıkarabiliyor. Şirketler radyo sinyallerini ve kablosuz kapsamalarını geliştirmek ve böylece rekabet avantajı elde etmek için bu bilgileri kullanabilir.

Telekomünikasyon şirketleri büyük miktarlarda coğrafi olarak dağınık varlık verilerine sahiptir ve bunların çoğu kullanıcı telemetrisidir. Veriler radyo ağlarından, IoT algılama cihazlarından ve jeo-uzamsal verileri yakalayan uzaktan algılama cihazlarından gelir. Görüntü, GPS, uydu ve metinsel gibi çeşitli yapılandırılmış ve yarı yapılandırılmış biçimlerdedir. Bunu kullanmak için toplama ve bölgesel haritalar ve trafik verileri gibi diğer kaynaklarla birleştirme gerekir.

Veriler toplanıp birleştirildikten sonra, bu verilerden içgörü ayıklamak zor olur. Geçmişte, telekomünikasyon şirketleri jeo-uzamsal özelliklere sahip şirket içi veritabanları gibi eski sistemlere dayanmaktadır. Sonunda bu tür sistemler, sürekli artan veri miktarı nedeniyle ölçeklenebilirlik sınırlarına isabet etti. Ayrıca, jeo-uzamsal veritabanı sistemlerinin gerçekleştiremeyen görevleri gerçekleştirmek için üçüncü taraf yazılımlara ihtiyaç duyarlar.

Olası kullanım örnekleri

Bu çözüm, telekomünikasyon sektörü için idealdir ve aşağıdaki senaryolar için geçerlidir:

  • Ağ kalitesini değerlendirmek için konumlar arasında sinyal bilgilerini analiz etme
  • Bakım ve onarıma yol göstermek için gerçek zamanlı ağ altyapısı verilerini analiz etme
  • Pazar segmentasyonu ve pazar talebini analiz etme
  • Müşteri konumları ile şirket pazarlama kampanyaları arasındaki ilişkileri belirleme
  • Bağlantı ve hizmet kalitesini sağlamak için kapasite ve kapsam planları oluşturma

Dikkat edilmesi gereken noktalar

Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanılabilecek bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.

Bu çözümü uygularken Microsoft Azure İyi Tasarlanmış Çerçeve'yi takip etmeyi göz önünde bulundurun. Çerçeve, beş yapıda teknik rehberlik sağlar: maliyet iyileştirme, güvenlik, güvenilirlik, performans verimliliği ve operasyonel mükemmellik.

Performans

  • Tasarım desenleri ve performans ayarlama en iyi yöntemleri hakkında Apache Sedona programlama kılavuzlarını izleyin.
  • Jeo-uzamsal dizin oluşturma, büyük ölçekli jeo-uzamsal verileri işlemek için çok önemlidir. Apache Sedona ve H3 gibi diğer açık kaynak dizin oluşturma çerçeveleri bu özelliği sağlar.
  • GeoPandas çerçevesi, GeoSpark / Apache Sedona'nın dağıtılmış özelliklerine sahip değildir. Bu nedenle, mümkün olduğunca jeo-uzamsal işleme için Sedona çerçevesini kullanın.
  • İşlemeden önce geometri biçimlendirmesini doğrulamak için Sedona'nın yerleşik işlevlerini kullanmayı göz önünde bulundurun.

Güvenlik

Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik sütununa genel bakış.

Daha iyi güvenlik için şu yönergeleri izleyin:

Maliyet iyileştirme

Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarını aramaktır. Daha fazla bilgi için bkz . Maliyet iyileştirme sütununa genel bakış.

  • Bu çözümü uygulama maliyetini tahmin etmek için yukarıda bahsedilen hizmetler için Azure Fiyatlandırma Hesaplayıcısı'nı kullanın.
  • Power BI çeşitli lisanslama teklifleriyle birlikte gelir. Daha fazla bilgi için bkz. Power BI fiyatlandırması.
  • Azure Databricks küme yapılandırmalarınızı ölçeklendirmeniz gerekiyorsa maliyetleriniz artar. Bu, veri miktarına ve analizin karmaşıklığına bağlıdır. Küme yapılandırmasıyla ilgili en iyi yöntemler için bkz. Azure Databricks En iyi yöntemler: Küme yapılandırması.
  • Maliyetleri en aza indirmenin yolları için bkz . Maliyet iyileştirme sütununa genel bakış.
  • QGIS ve ARCGIS gibi üçüncü taraf bileşenleri için fiyatlandırma bilgileri için satıcı web sitelerine bakın.
  • Apache Sedona ve GeoPandas gibi bu çözümde bahsedilen çerçeveler ücretsiz açık kaynak çerçevelerdir.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

Sonraki adımlar