Otomotiv orijinal ekipman üreticilerinin (OEM'ler) test sürüşleri ile test sürüşü tanılama verilerini Ar-Ge mühendislerine teslim etme arasındaki süreyi en aza indirmek için çözümlere ihtiyacı vardır. Araçlar daha otomatik hale geldikçe yazılım geliştirme yaşam döngüleri kısalır ve bu da daha hızlı dijital geri bildirim döngüleri gerektirir. Yeni teknoloji, veri erişimini demokratikleştirebilir ve Ar-Ge mühendislerine test sürüşü tanılama verileri hakkında neredeyse gerçek zamanlı içgörüler sağlayabilir. İçgörü süresini daha da kısaltmak üzere veri analizi için Veri Bilimi ve Veri Madenciliği için Copilot kullanın. Güvenli veri paylaşımı, OEM'ler ve tedarikçiler arasındaki işbirliğini geliştirebilir ve geliştirme döngüsü sürelerini azaltabilir.
Bu makaledeki kılavuz telemetri senaryolarına ve toplu test sürüşü veri alımı senaryolarına yöneliktir. Bu mimari, tanılama verilerini işleyen veri platformuna ve veri görselleştirme ve veri raporlama için bağlayıcılara odaklanır.
Mimari
Bu makaledeki tüm diyagramları içeren bir PowerPoint dosyası indirin.
Veri akışı
Aşağıdaki veri akışı önceki diyagrama karşılık gelir:
Veri yakalama cihazı araç ağlarına bağlanır ve yüksek çözünürlüklü araç sinyal verilerini ve videolarını toplar. (1a) Cihaz gerçek zamanlı telemetri iletileri yayımlar veya (1b) bir MQTT istemcisi kullanarak kayıtlı veri dosyalarının Azure Event Grid MQTT aracı işlevine yüklenmesini ister. Bu işlev, Talep Denetimi deseni kullanır.
(2a) Event Grid canlı araç sinyal verilerini bir Azure İşlevleri uygulamasına yönlendirir. Bu uygulama, araç sinyallerini JavaScript Nesne Gösterimi (JSON) biçiminde çözer ve bir olay akışına gönderir.
(2b) Event Grid, cihaz istemcisinden lakehouse'a dosya yüklemeyi koordine eder. Tamamlanmış bir dosya karşıya yükleme işlemi, verilerin kodunu çözen ve çözülen dosyayı OneLine'a parquet veya CSV gibi alım için uygun bir biçimde yazan bir işlem hattını tetikler.
(3a) Olay akışı, çözülen JSON araç sinyallerini Eventhouse'da alım için yönlendirir.
(3b) Veri işlem hattı, kodu çözülen dosyaların göl evinden alımını tetikler.
Eventhouse, verileri zenginleştirmek ve JSON verilerini uygun bir satır biçimine genişletmek için güncelleştirme ilkelerini kullanır; örneğin konum verileri jeo-uzamsal analizle uyumlu olacak şekilde kümelenebilir. Yeni bir satır her alınışında, gerçek zamanlı analiz altyapısı ilişkili
Update()bir işlevi çağırır.Veri mühendisleri ve veri bilimciler analiz kullanım örnekleri oluşturmak için Kusto Sorgu Dili (KQL) kullanır. Kullanıcılar sık kullanılan servis taleplerini paylaşılabilir kullanıcı tanımlı işlevler olarak depolar. Mühendisler, Copilot desteğiyle toplama, zaman serisi analizi, jeo-uzamsal kümeleme, pencereleme ve makine öğrenmesi eklentileri gibi yerleşik KQL işlevlerini kullanır.
Ar-Ge mühendisleri ve veri bilimciler, verileri analiz etmek ve test ve doğrulama kullanım örnekleri oluşturmak için not defterlerini kullanır.
Ar-Ge mühendisleri etkileşimli veri analizi gerçekleştirmek için KQL sorgu kümelerini ve Gerçek Zamanlı Zeka için Copilot'ı kullanır.
Veri mühendisleri ve veri bilimciler, analiz süreçlerini depolamak ve paylaşmak için not defterlerini kullanır. Mühendisler, not defterleriyle analiz çalıştırmak için Azure Spark'ı ve not defteri kodunu yönetmek için Git'i kullanabilir. Kullanıcılar, bağlamsal kod önerileriyle iş akışlarını desteklemek üzere Veri Bilimi ve Veri Madenciliği için Copilot'un avantajlarından yararlanabilir.
Ar-Ge mühendisleri ve veri bilimciler Power BI'ı dinamik sorgularla veya gerçek zamanlı analiz panolarıyla kullanarak iş kullanıcılarıyla paylaşacak görselleştirmeler oluşturabilir. Bu görselleştirmeler bakım kolaylığı için kullanıcı tanımlı işlevleri çağırır.
Mühendisler Microsoft Fabric'e daha fazla araç bağlayabilir. Örneğin, Azure Yönetilen Grafana'yı Eventhouse'a bağlayabilir veya Eventhouse'u doğrudan sorgulayan bir web uygulaması oluşturabilirler.
Veri mühendisleri ve Ar-Ge mühendisleri, iş tümleştirmesi için Power Automate akışlarını tetikleme gibi koşulları ve eylemleri tetikleyen esnek öğeler oluşturmak için Data Activator'ı kullanır. Örneğin, Veri Etkinleştirici bir cihazın sistem durumunun düşmesi durumunda Teams kanalını bilgilendirebilir.
Veri toplayıcı yapılandırması, mühendislerin veri yakalama cihazının veri toplama ilkelerini değiştirmesine olanak tanır. Azure API Management, iş ortağı yapılandırma API'sini soyutlar ve güvenliğini sağlar ve gözlemlenebilirlik sağlar.
KQL veritabanı şeması
Tablo şemasını tasarlarken, tablolar ve dimension tablolar arasındaki fact farkı göz önünde bulundurun. Telemetri bir fact tablodur çünkü araç sinyalleri aşamalı olarak akış biçiminde veya tam bir kaydın parçası olarak eklenir ve telemetri değişmez. Filo meta verilerini yavaş güncelleştirilen bir fact tablo olarak sınıflandırabilirsiniz.
Araç telemetrisi ham masalara iner. Verileri çözümleme ve raporlama amacıyla düzenlemek için aşağıdaki ileti işleme kavramlarını kullanabilirsiniz:
Aşağıdaki gibi yöntemleri kullanarak JSON telemetri dosyalarını tek tek araç sinyal kayıtlarına genişletmek için güncelleştirme ilkeleri oluşturun:
mv-expand()JSON yapılarında depolanan karmaşık değerleri tek tek sinyallerle satırlara genişletir.geo_point_to_h3cell()veyageo_point_to_geohash()enlem ve boylamı jeo-uzamsal analiz için coğrafi bölgelere dönüştürür.todouble()vetostring()ayıklanan değerleri dinamik JSON nesnelerinden uygun veri türlerine dönüştürür.lookupkayıtları boyut tablosundaki değerlerle genişletir.
Benzersiz anahtar ve zaman damgası üzerinde toplama işlevini
take_any()kullanarak YinelenenLeri Kaldırılmış gerçekleştirilmiş bir sinyal görünümü oluşturun. Bu gerçekleştirilmiş görünüm sinyalleri yinelenenleri kaldırıyor.Zaman damgasındaki toplama işlevini
arg_max()kullanarak Signals Last Known Values gerçekleştirilmiş bir görünüm oluşturun. Bu gerçekleştirilmiş görünüm, araçların güncel durumunu sağlar.Özetle işlecini saatlik ve günlük gibi zaman bölmeleriyle kullanarak Signals DownsAmpled gerçekleştirilmiş bir görünüm oluşturun. Bu gerçekleştirilmiş görünüm, sinyalleri toplar ve filo genelinde raporlamayı basitleştirir.
Anomali algılama veya kök neden analizi sağlayan kullanıcı tanımlı işlevler oluşturun.
Olası sorunları algılamak ve hataları tahmin etmek için anomali algılama ve tahmin için zaman serisi işlevlerini kullanın.
Verilerden dizileri taramak, eşleştirmek ve derlemek için tarama işlecini kullanın. Mühendisler dizileri algılamak
scaniçin işlecini kullanabilir. Örneğin, belirli bir olay oluşursa, belirli bir süre içinde sonraki bir olay gerçekleşmelidir.Ayrık özniteliklerin yaygın desenlerini bulmak için otomatik küme gibi makine öğrenmesi eklentilerini kullanın.
Kullanıcı tanımlı işlevlerle jeo-uzamsal analiz gerçekleştirin. Koordinatları uygun bir kılavuz sistemine dönüştürmek ve veriler üzerinde toplamalar yapmak için jeo-uzamsal analiz işlevlerini kullanın.
Araç meta verilerinde ve yapılandırmasında değişiklikleri depolamak için bir filo meta veri tablosu oluşturun. Araç filosunun son değiştirme sütununa göre en son durumunu depolamak için bilinen son değerler gerçekleştirilmiş bir görünüm oluşturun.
Bileşenler
Aşağıdaki temel teknolojiler bu iş yükünü uygular. Mimarideki her bileşen için, uygun olduğunda İyi Tasarlanmış Çerçeve'deki ilgili hizmet kılavuzunu kullanın. Daha fazla bilgi için bkz . İyi Tasarlanmış Çerçeve hizmet kılavuzları.
Doku Gerçek Zamanlı Zeka, hareket halindeki araç telemetri verilerinin içgörülerinin ve görselleştirmelerinin çıkarılmasına olanak tanır. Olay akışlarını ve zaman serisi KQL veritabanlarını kullanarak verileri depolayabilir, analiz edebilir ve olaylara tepki vermek için refleksleri kullanabilirsiniz.
Data Activator , verilerdeki desenler veya koşullar değiştiğinde eylemleri otomatikleştirmek için kullanabileceğiniz kod içermeyen bir araçtır.
Event Grid , MQTT protokollerini destekleyen yüksek oranda ölçeklenebilir, tam olarak yönetilen bir Yayımla/Abone Ol ileti dağıtım hizmetidir. Araçlar Event Grid'i kullanarak konuları yayımlayabilir ve bunlara abone olabilir, örneğin telemetri yayımlayabilir ve komut ve denetim iletilerine abone olabilirler.
Azure Event Hubs , düşük gecikme süresiyle saniyede milyonlarca araç olayı akışı için uygun olan gerçek zamanlı bir veri akışı platformudur.
İşlevler , istediğiniz dili kullanarak olay temelli tetikleyiciler ve bağlamalarla araç telemetri olaylarının büyük ölçekte işlenmesini basitleştiren sunucusuz bir çözümdür.
Azure Yönetilen Grafana, Grafana Labs'in yazılımını temel alan bir veri görselleştirme platformudur. Microsoft, Azure Yönetilen Grafana'yı yönetir ve destekler.
Azure Uygulaması Hizmeti, Fabric'te depolanan araç telemetri verilerine erişim sağlayan web uygulamaları, mobil arka uçlar ve RESTful API'leri oluşturmanıza ve barındırmanıza olanak tanır. Bu yaklaşım tüketimi basitleştirir.
API Management , API'ler için karma bir çoklu bulut yönetim platformudur.
Alternatifler
Bu mimariyi uygulamak için aşağıdaki Azure hizmetlerini de kullanabilirsiniz:
Azure Blob Depolama, araçlardaki kayıtlar, günlükler ve videolar gibi büyük miktarlarda yapılandırılmamış verileri depolar. OneLake depolama alanının yerini alır.
Azure Veri Gezgini, gerçek zamanlı analiz için hızlı, tam olarak yönetilen bir veri analizi hizmetidir. Doku Gerçek Zamanlı Akıllı KQL veritabanının yerini alır.
Azure Batch , karmaşık dosyaların kodunu çözmek için kullanabileceğiniz bir alternatiftir. Bu senaryo, her biri 300 megabayttan fazla olan çok sayıda dosya içerir. Dosyalar, dosya sürümüne veya dosya türüne göre farklı kod çözme algoritmaları gerektirir. Aşağıdaki yaklaşımı uygulamak için Doku veya Blob Depolama ile Azure Veri Gezgini kullanabilirsiniz.
Kullanıcı veya kayıt cihazı kayıtlı bir veri dosyasını lakehouse'a yükler. Karşıya yükleme tamamlandığında kod çözme zamanlayan bir İşlevler uygulamasını tetikler.
Zamanlayıcı, dosya türüne, dosya boyutuna ve gerekli kod çözme algoritmasına göre bir toplu iş oluşturan bir İşlevler uygulaması başlatır. Uygulama, havuzdan uygun boyuta sahip bir sanal makine seçer ve işi başlatır.
Batch, iş tamamlandığında elde edilen kod çözme dosyasını lakehouse'a geri yazar. Bu dosya Eventhouse'un desteklediği biçimde doğrudan alım için uygun olmalıdır.
Lakehouse, dosya yazma işlemi sırasında verileri Eventhouse'a alan bir işlev tetikler. Bu işlev gerekirse tablo ve veri eşlemesini oluşturur ve alma işlemini başlatır.
KQL veritabanı, lakehouse'dan veri dosyalarını alır.
Bu yaklaşım aşağıdaki avantajları sağlar:
İşlevler ve Batch havuzları, ölçeklenebilir veri işleme görevlerini sağlam ve verimli bir şekilde işleyebilir.
Toplu iş havuzları, işleme istatistikleri, görev kuyrukları ve toplu iş havuzu durumu hakkında içgörü sağlar. Durumu görselleştirebilir, sorunları algılayabilir ve başarısız görevleri yeniden çalıştırabilirsiniz.
İşlevler ve Batch birleşimi, Docker kapsayıcılarında tak çalıştır işlemeyi destekler.
Yoğun olmayan zamanlarda dosyaları işlemek için spot sanal makineleri kullanabilirsiniz. Bu yaklaşım tasarruf sağlar.
Senaryo ayrıntıları
Otomotiv OEM'leri, çeşitli araç işlevlerini test etmek ve doğrulamak için büyük prototip ve test araç filoları kullanır. Test prosedürleri pahalıdır çünkü gerçek sürücülere ve araçlara ihtiyaç duyarlar ve belirli gerçek dünya yol testi senaryolarının birden çok kez geçmesi gerekir. Tümleştirme testi özellikle karmaşık sistemlerdeki elektrik, elektronik ve mekanik bileşenler arasındaki etkileşimleri değerlendirmek için önemlidir.
Araç işlevlerini doğrulamak ve anomalileri ve arızaları analiz etmek için elektronik kontrol birimlerinden (ECU), bilgisayar düğümlerinden, Denetleyici Alan Ağı (CAN) ve Ethernet gibi araç iletişim otobüslerinden ve sensörlerden petabaytlarca tanılama verisi yakalamanız gerekir.
Geçmişte, araçlardaki küçük veri günlükçü sunucuları tanılama verilerini Ölçüm Veri Biçimi (MDF), multimedya füzyon uzantısı (MFX), CSV veya JSON dosyaları olarak yerel olarak depolamıştı. Test sürüşleri tamamlandıktan sonra sunucular tanılama verilerini veri merkezlerine yükledi ve bu verileri işleyip analiz için Ar-Ge mühendislerine gönderdi. Bu işlem saatler veya bazen günler sürebilir. Daha yeni senaryolarda Message Queuing Telemetri Aktarımı (MQTT) tabanlı zaman uyumlu veri akışları veya gerçek zamanlıya yakın dosya yüklemeleri gibi telemetri alma desenleri kullanılır.
Olası kullanım örnekleri
Araç yönetimi, birden çok test senaryosunda araç başına performansı ve toplanan verileri değerlendirir.
Sistem ve bileşen doğrulama, toplanan araç verilerini kullanarak araç bileşenlerinin davranışının seyahatler arasında operasyonel sınırlar içinde olduğunu doğrular.
Anomali algılama, bir algılayıcı değerinin tipik taban çizgisi desenine göre sapma desenlerini gerçek zamanlı olarak bulur.
Kök neden analizi, birden çok boyuttaki değerlerin dağılımındaki değişiklikleri tanımlamak için kümeleme algoritmaları gibi makine öğrenmesi eklentilerini kullanır.
Tahmine dayalı bakım, bileşen arıza süresini tahmin etmek için birden çok veri kaynağını, zenginleştirilmiş konum verilerini ve araç sinyallerini birleştirir.
Sürdürülebilirlik değerlendirmesi, araç operasyonlarının çevresel etkisini değerlendirmek için sürücü davranışını ve enerji tüketimini kullanır.
Bir yarış öncesinde, sırasında ve sonrasında araçların performansını anlamak ve geliştirmek için otomotiv yarışı.
Dikkat edilmesi gereken noktalar
Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanılabilecek bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.
Güvenilirlik
Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesini sağlar. Daha fazla bilgi için bkz . Güvenilirlik için tasarım gözden geçirme denetim listesi.
Azure kullanılabilirlik alanları , aynı Azure bölgesi içindeki benzersiz fiziksel konumlardır. Kullanılabilirlik alanları Azure Veri Gezgini işlem kümelerini ve verilerini kısmi bölge hatalarından koruyabilir.
Azure Veri Gezgini'da iş sürekliliği ve olağanüstü durum kurtarma (BCDR), işletmenizin kesintiler karşısında çalışmaya devam etmesi sağlar.
Takipçi veritabanları işlem kaynaklarını üretim ve üretim dışı kullanım örnekleri arasında ayırır.
Güvenlik
Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik için tasarım gözden geçirme denetim listesi.
Otomotiv OEM'i ile Microsoft arasındaki sorumluluk ayrımını anlamak önemlidir. Araçta yığının tamamı OEM'e aittir, ancak veriler buluta taşınırken bazı sorumluluklar Microsoft'a aktarılır. Hizmet olarak Azure platformu (PaaS), işletim sistemi de dahil olmak üzere fiziksel yığında yerleşik güvenlik sağlar.
Güvenlik koruyucuları uygulamak için Azure İlkesi kullanın.
Doku için idareye genel bakış ve kılavuzu gözden geçirin.
Tüm hizmetler için ağ güvenliği sağlamak için özel uç noktaları kullanın.
Azure Veri Gezgini için özel uç noktaları kullanın.
Özel uç noktalar aracılığıyla Event Hubs ad alanlarına erişime izin verin.
Bekleyen verileri ve aktarımdaki verileri şifreleyin.
Microsoft Entra kimliklerini ve Microsoft Entra Koşullu Erişim ilkelerini kullanın.
KQL veritabanları ve Azure Veri Gezgini için satır düzeyi güvenlik (RLS) kullanın.
KQL veritabanına erişimi olan ara yazılım uygulamaları uygularken restrict deyimini kullanın. Bu yapılandırma, verilere kullanıcı erişimini kısıtlayan bir mantıksal model oluşturur.
Tüm bu özellikler, otomotiv OEM'lerinin araç telemetri verileri için güvenli bir ortam oluşturmasına yardımcı olur. Daha fazla bilgi için bkz . Yapıda Güvenlik.
Maliyet iyileştirme
Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarını aramaktır. Daha fazla bilgi için bkz . Maliyet İyileştirme için tasarım gözden geçirme denetim listesi.
Bu çözüm, maliyetleri iyileştirmeye yardımcı olmak için aşağıdaki uygulamaları kullanır:
Ham ve sinyal tabloları için sık erişimli önbellekleri ve soğuk depolamayı doğru yapılandırın. Sık erişimli veri önbelleği RAM veya SSD'de depolanır ve gelişmiş performans sağlar. Ancak soğuk veriler 45 kat daha ucuzdur. 30 gün gibi kullanım örneğine uygun bir sık erişimli önbellek ilkesi ayarlayın.
Ham tabloda ve signals tablosunda bir bekletme ilkesi ayarlayın. Sinyal verilerinin artık ne zaman uygun olmadığını (örneğin, 365 gün sonra) belirleyin ve bekletme ilkesini buna göre ayarlayın.
Analiz için hangi sinyallerin uygun olduğunu göz önünde bulundurun.
Sinyallerin son bilinen değerlerini, yinelenenleri kaldırılan sinyalleri ve örneklenen sinyalleri sorgularken gerçekleştirilmiş görünümleri kullanın. Gerçekleştirilmiş görünümler, her sorguda kaynak tablo toplamaları yapmaktan daha az kaynak tüketir.
Gerçek zamanlı veri analizi gereksinimlerinizi göz önünde bulundurun. Alma ve sorgu arasında bir saniyeden kısa bir gecikme süresi sağlamak üzere canlı telemetri tablosu için akış alımını ayarlayın. Bu yaklaşım CPU döngülerini ve maliyeti artırır.
Performans verimliliği
Performans verimliliği, kullanıcılar tarafından anlamlı bir şekilde yerleştirilen talepleri karşılamak amacıyla iş yükünüzü ölçeklendirme becerisidir. Daha fazla bilgi için bkz . Performans Verimliliği için tasarım gözden geçirme denetim listesi.
Kaydedilen veri dosyalarının sayısı ve boyutu günde 1.000'den fazla veya 300 MB'tan fazlaysa, kod çözme gerçekleştirmek için Batch kullanmayı göz önünde bulundurun.
Bunları ek tablolarda alıp depoladıktan sonra yaygın hesaplamalar ve analizler yapmayı göz önünde bulundurun.
Sorgunuzun daha hızlı çalışmasını sağlamak için KQL sorgu en iyi yöntemlerini kullanın.
whereSorgulanan veri miktarını azaltmak için bir zaman penceresi tanımlamak için bir yan tümce kullanın. Yaygın arama ölçütleriniz zamana bağlı değilse, örneğin kayıt kimliğine ve sinyal adına göre filtreleme yaparsanız sinyaller tablosunun veri bölümü ilkesini değiştirmeyi göz önünde bulundurun. KQL veritabanı milyarlarca veya trilyonlarca kayıt içerecek şekilde genişlediğinde, özellikle etkin bölüm ilkesi dikkate alındığında uygun veri filtrelemesi temel hale gelir.
Uyarı
Veri bölümü ilkesini değiştirmeden önce destek ekibinize danışın.
Bu senaryoyu dağıtın
Bu senaryoyu dağıtmak için adım adım öğreticiyi kullanın. Kılavuzda ücretsiz örnek dağıtma, MDF dosyalarını ayrıştırma, verileri alma ve birkaç temel sorgu gerçekleştirme işlemleri gösterilmektedir.
Katkıda Bulunanlar
Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.
Asıl yazarlar:
- Boris Scholl | İş Ortağı, Baş Mimar
- Frank Kaleck | Sektör Danışmanı Otomotiv
- Henning Rauch | Asıl Program Yöneticisi
- Mario Ortegon-Cabrera | Asıl Program Yöneticisi
Diğer katkıda bulunanlar:
- Devang Shah | Asıl Program Yöneticisi
- Hans-Peter Bareiner | Bulut Çözümü Mimarı
- Jason Bouska | Sr. Yazılım Mühendisi
Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.
Sonraki adımlar
- Event Grid'de MQTT aracı özelliği
- Olay akışına KQL veritabanı hedefi ekleme
- OneLake'ten veri alma
- Gerçekleştirilmiş görünümler
- Gerçek zamanlı pano oluşturma
- Gerçek zamanlı bir panodan Veri Etkinleştirici uyarıları oluşturma
- Power BI raporu
- Azure Veri Gezgini verilerini Grafana’da görselleştirme
- Otomotiv mesajlaşması, veri ve analiz başvuru mimarisi