Azure İzleyici'de AIOps ve makine öğrenmesi kullanarak olası sorunları algılama ve azaltma
BT İşlemleri için Yapay Zeka (AIOps), azure İzleyici'de uygulamalar, hizmetler ve BT kaynaklarından topladığınız verileri işlemek ve bu veriler üzerinde otomatik olarak işlem yapmak için makine öğrenmesini kullanarak hizmet kalitesini ve güvenilirliği artırmak için güçlü yollar sunar.
Azure İzleyici'nin yerleşik AIOps özellikleri içgörüler sağlar ve kapasite kullanımını ve otomatik ölçeklendirmeyi tahmin etme, uygulama performansı sorunlarını tanımlama ve analiz etme ve sanal makinelerde, kapsayıcılarda ve diğer kaynaklarda anormal davranışları algılama gibi veri odaklı görevleri otomatikleştirmenize yardımcı olur. Bu özellikler, makine öğrenmesi bilgisi ve daha fazla yatırım gerektirmeden BT izlemenizi ve işlemlerinizi artırır.
Azure İzleyici ayrıca yeni analiz ve yanıt özellikleri sunmak ve Azure İzleyici Günlüklerindeki veriler üzerinde işlem yapmak için kendi makine öğrenmesi işlem hattınızı oluşturmanıza olanak sağlayan araçlar sağlar.
Bu makalede Azure İzleyici'nin yerleşik AIOps özellikleri açıklanır ve Azure İzleyici Günlüklerindeki veriler üzerinde özelleştirilmiş makine öğrenmesi modelleri oluşturup çalıştırma ve otomatik makine öğrenmesi işlem hattı oluşturma işlemleri açıklanır.
Yerleşik Azure İzleyici AIOps ve makine öğrenmesi özellikleri
| İzleme senaryosu | Yetenek | Açıklama |
|---|---|---|
| Günlük izleme | Log Analytics Çalışma Alanı İçgörüleri | Log Analytics çalışma alanlarınızın birleşik bir görünümünü sağlar ve alım anomalilerini algılamak için makine öğrenmesini kullanır. |
| Kusto Sorgu Dili (KQL) zaman serisi analizi ve makine öğrenmesi işlevleri | Veri bilimi ve programlama dilleri hakkında ayrıntılı bilgi sahibi olmak zorunda kalmadan doğrudan Azure İzleyici Günlüklerinde zaman serisi verileri oluşturmak, anomalileri algılamak, tahmin etmek ve kök neden analizi gerçekleştirmek için kullanımı kolay araçlar. | |
| Azure'da Microsoft Copilot | Verileri çözümlemek ve sorunları gidermek için Log Analytics'i kullanmanıza yardımcı olur. "Kapsayıcı günlüklerinde hata var mı?" gibi istemlere göre örnek KQL sorguları oluşturur. | |
| Uygulama performansı izleme | Uygulama Haritası Akıllı görünümü | Hizmetler arasındaki bağımlılıkları eşler ve dağıtılmış uygulamanızın tüm bileşenlerinde performans sorunlarını veya hata etkin noktalarını belirlemenize yardımcı olur. |
| Akıllı algılama | Uygulamanızın Application Insights'a gönderdiği telemetri verilerini, performans sorunları ve hata anomalileriyle ilgili uyarıları analiz eder ve uygulama performansı sorunlarının olası kök nedenlerini tanımlar. | |
| Ölçüm uyarıları | Ölçüm uyarısı için dinamik eşikler | Ölçüm desenlerini öğrenir, geçmiş verilere göre uyarı eşiklerini otomatik olarak ayarlar ve hizmet sorunlarını gösterebilecek anomalileri tanımlar. |
| Sanal makine ölçek kümeleri | Tahmine dayalı otomatik ölçeklendirme | Geçmiş CPU kullanım desenlerine göre bir sanal makine ölçek kümesinin genel CPU gereksinimlerini tahmin eder ve bu gereksinimleri karşılamak için ölçeği otomatik olarak genişleter. |
Azure İzleyici Günlüklerinde makine öğrenmesi
Hizmet durumu, kullanım, kapasite ve diğer eğilimler hakkında içgörüler elde etmek ve Azure İzleyici Günlüklerinde tahminler oluşturup anomalileri algılamak için Kusto Sorgu Dili yerleşik zaman serisi analizini ve makine öğrenmesi işlevlerini, işleçlerini ve eklentilerini kullanın.
Daha fazla esneklik elde etmek ve verileri analiz edip üzerinde işlem yapma becerinizi genişletmek için Azure İzleyici Günlüklerindeki verilere kendi makine öğrenmesi işlem hattınızı da uygulayabilirsiniz.
Bu tablo, KQL'in yerleşik makine öğrenmesi özelliklerini kullanmanın ve kendi makine öğrenmesi işlem hattınızı oluşturmanın avantajlarını ve sınırlamalarını karşılaştırır ve her birini nasıl uygulayabileceğinizi gösteren öğreticilere bağlantılar sağlar:
| Yerleşik KQL makine öğrenmesi özellikleri | Kendi makine öğrenmesi işlem hattınızı oluşturma | |
|---|---|---|
| Senaryo | ✅ Anomali algılama, kök neden ve zaman serisi analizi |
✅ Anomali algılama, kök neden ve zaman serisi analizi ✅Gelişmiş analiz ve AIOPs senaryoları |
| Avantajlar | 🔹Çok hızlı bir şekilde başlamanızı sağlar. 🔹Veri bilimi bilgisi ve programlama becerisi gerekmez. 🔹 En iyi performans ve maliyet tasarrufu. |
🔹Daha büyük ölçekleri destekler. 🔹Gelişmiş, daha karmaşık senaryoları etkinleştirir. 🔹Kitaplıkları, modelleri ve parametreleri seçme esnekliği. |
| Hizmet sınırları ve veri hacimleri | Azure portalı veya Sorgu API'si günlük sorgusu sınırları , örneğin bir not defterinden portalda çalışıyor olmanıza veya API'yi kullanmanıza bağlı olarak. | 🔹Azure İzleyici Günlüklerindeki verileri makine öğrenmesi işlem hattınızın bir parçası olarak sorgularsanız API günlüğü sorgu sınırlarını sorgulayın. Aksi takdirde Azure hizmet sınırı yoktur. 🔹Daha büyük veri hacimlerini destekleyebilir. |
| Tümleştirme | Hiçbiri gerekli değil Azure portalında veya tümleşik bir Jupyter Notebook'tan Log Analytics kullanarak komutunu çalıştırın. | Jupyter Notebook gibi bir araçla tümleştirme gerektirir. Genellikle Azure Synapse Analytics gibi diğer Azure hizmetleriyle de tümleştirilirsiniz. |
| Performans | Azure Veri Gezgini platformunu kullanarak yüksek ölçeklerde dağıtılmış bir şekilde çalışan en iyi performans. | Makine öğrenmesi işlem hattınızı nasıl uyguladığınıza bağlı olarak verileri sorgularken veya dışarı aktarırken az miktarda gecikme süresi sunar. |
| Model türü | Doğrusal regresyon modeli ve KQL zaman serisi tarafından desteklenen diğer modeller, yapılandırılabilir parametreler kümesiyle çalışır. | Tamamen özelleştirilebilir makine öğrenmesi modeli veya anomali algılama yöntemi. |
| Maliyet | Ekstra ücret alınmaz. | Makine öğrenmesi işlem hattınızı nasıl uyguladığınıza bağlı olarak, verileri dışarı aktarma, puanlanan verileri Azure İzleyici Günlüklerine alma ve diğer Azure hizmetlerinin kullanımı için ücret ödemeniz gerekebilir. |
| Öğretici | Azure İzleyici'de KQL makine öğrenmesi özelliklerini kullanarak anomalileri algılama ve analiz etme | Not defteri kullanarak Azure İzleyici Günlüklerindeki verileri analiz etme |
Azure İzleyici Günlüklerindeki veriler üzerinde kendi makine öğrenmesi işlem hattınızı oluşturma
Yeni AIOps özelliklerini tanıtmak ve aşağıdakiler gibi gelişmiş senaryoları desteklemek için Azure İzleyici Günlüklerindeki veriler üzerinde kendi makine öğrenmesi işlem hattınızı oluşturun:
- KQL'den daha gelişmiş modellerle güvenlik saldırıları için avlanma.
- Bir web uygulamasında performans sorunlarını algılama ve hataları giderme.
- Çok adımlı akışlar oluşturma, önceki adımın sonuçlarına göre her adımda kod çalıştırma.
- Azure İzleyici Günlük verilerinin analizini otomatikleştirme ve altyapı durumu ve müşteri davranışı dahil olmak üzere birden çok alan hakkında içgörüler sağlama.
- Azure İzleyici Günlüklerindeki verileri diğer kaynaklardan alınan verilerle ilişkilendirme.
Azure İzleyici Günlüklerindeki verileri makine öğrenmesi işlem hattınızda kullanılabilir hale getirmek için iki yaklaşım vardır:
Azure İzleyici Günlüklerindeki - verileri sorgulama Bir not defterini Azure İzleyici Günlükleriyle tümleştirin veya Azure İzleyici Sorgusu istemci kitaplığı veya MSTICPY gibi kitaplıkları kullanarak günlük verileri üzerinde bir betik veya uygulama çalıştırarak Verileri Tablo biçiminde (örneğin, Pandas DataFrame'de) alın. Sorguladığınız veriler, verileri Log Analytics çalışma alanınızdan dışarı aktarmadan sunucunuzdaki bellek içi bir nesneye alınır.
Not
veri biçimlerini işlem hattınızın bir parçası olarak dönüştürmeniz gerekebilir. Örneğin SynapseML gibi Apache Spark üzerinde oluşturulmuş kitaplıkları kullanmak için Pandas'ı PySpark DataFrame'e dönüştürmeniz gerekebilir.
Azure İzleyici Günlüklerinden - verileri dışarı aktarma Log Analytics çalışma alanınızdaki verileri genellikle blob depolama hesabına aktarın ve makine öğrenmesi kitaplığını kullanarak makine öğrenmesi işlem hattınızı uygulayın.
Bu tabloda, makine öğrenmesi işlem hattınız için veri alma yaklaşımlarının avantajları ve sınırlamaları karşılaştırır:
| Azure İzleyici Günlüklerinde verileri sorgulama | Verileri dışarı aktarma | |
|---|---|---|
| Avantajlar | 🔹Hızlı bir şekilde başlamanızı sağlar. 🔹Yalnızca temel veri bilimi ve programlama becerileri gerektirir. 🔹Minimum gecikme süresi ve maliyet tasarrufu. |
🔹Daha büyük ölçekleri destekler. 🔹Sorgu sınırlaması yok. |
| Veriler dışarı aktarıldı mı? | Hayır | Evet |
| Hizmet sınırlamaları | Sorgu API'si günlük sorgusu sınırları ve kullanıcı sorgusu azaltma. Daha büyük sorguları öbeklere bölerek belirli bir ölçüde için Sorgu API'si sınırlarını aşabilirsiniz. | Azure İzleyici'den yok. |
| Veri birimleri | Birkaç GB veri veya saatte birkaç milyon kayıt analiz edin. | Büyük hacimli verileri destekler. |
| Makine öğrenmesi kitaplığı | Küçük ve orta ölçekli veri kümeleri için genellikle Scikit Learn gibi tek düğümlü makine öğrenmesi kitaplıklarını kullanırsınız. | Büyük veri kümeleri için genellikle SynapseML gibi büyük veri makine öğrenmesi kitaplıklarını kullanırsınız. |
| Gecikme süresi | En az. | Verileri dışarı aktarmada az miktarda gecikme süresi sağlar. |
| Maliyet | Azure İzleyici'de ek ücret alınmaz. Kullanıldıysa Azure Synapse Analytics, Azure Machine Learning veya başka bir hizmetin maliyeti. |
Veri dışarı aktarma ve dış depolama maliyeti. Kullanıldıysa Azure Synapse Analytics, Azure Machine Learning veya başka bir hizmetin maliyeti. |
İpucu
Her iki uygulama yaklaşımından da en iyi şekilde yararlanmak için bir karma işlem hattı oluşturun. Yaygın bir karma yaklaşım, büyük hacimli verileri içeren model eğitimi için verileri dışarı aktarmak ve Azure İzleyici Günlükleri yaklaşımındaki sorgu verilerini kullanarak gecikme süresini ve maliyetleri azaltmak üzere verileri araştırmak ve yeni verileri puanlama yaklaşımını kullanmaktır.
Azure İzleyici Günlüklerinde makine öğrenmesi yaşam döngüsünün adımlarını uygulama
Makine öğrenmesi işlem hattının ayarlanması genellikle aşağıda açıklanan adımların tümünü veya bazılarını içerir.
Scikit Learn, PyTorch, Tensorflow, Spark MLlib ve SynapseML gibi makine öğrenmesi işlem hattınızı uygulamak için kullanabileceğiniz çeşitli Azure ve açık kaynak makine öğrenmesi kitaplıkları vardır.
Bu tabloda her adım açıklanır ve Azure İzleyici Günlüklerindeki veriler üzerinde kendi makine öğrenmesi işlem hattınızı oluşturma başlığı altında açıklanan uygulama yaklaşımlarına göre bu adımların nasıl uygulanacağı konusunda üst düzey yönergeler ve bazı örnekler sağlanır:
| Adımlar | Açıklama | Azure İzleyici Günlüklerinde verileri sorgulama | Verileri dışarı aktarma |
|---|---|---|---|
| Verileri inceleme | Topladığınız verileri inceleyin ve anlayın. | Verilerinizi keşfetmenin en basit yolu, Azure portalında verileri keşfetmek ve görselleştirmek için zengin bir araç kümesi sağlayan Log Analytics'i kullanmaktır. Ayrıca bir not defteri kullanarak Azure İzleyici Günlüklerindeki verileri analiz edebilirsiniz. | Azure İzleyici dışındaki günlükleri analiz etmek için verileri Log Analytics çalışma alanınızdan dışarı aktarın ve seçtiğiniz hizmette ortamı ayarlayın. Azure İzleyici dışındaki günlükleri inceleme örneği için bkz . Synapse kullanarak Log Analytics'ten dışarı aktarılan verileri analiz etme. |
| Makine öğrenmesi modeli oluşturma ve eğitma | Model eğitimi yinelemeli bir süreçtir. Araştırmacılar veya veri bilimcileri eğitim verilerini getirerek ve temizleyerek, mühendis özelliklerini kullanarak, çeşitli modelleri deneyerek ve parametreleri ayarlayarak ve model doğru ve sağlam olana kadar bu döngüyü tekrarlayarak bir model geliştirir. | Küçük ve orta ölçekli veri kümeleri için genellikle Scikit Learn gibi tek düğümlü makine öğrenmesi kitaplıklarını kullanırsınız. Scikit Learn kitaplığını kullanarak Azure İzleyici Günlüklerindeki veriler üzerinde makine öğrenmesi modelini eğitme örneği için şu örnek not defterine bakın: Makine öğrenmesi tekniklerini kullanarak Azure İzleyici Günlüklerindeki anomalileri algılama. |
Büyük veri kümeleri için genellikle SynapseML gibi büyük veri makine öğrenmesi kitaplıklarını kullanırsınız. |
| Modeli dağıtma ve puanlandırma | Puanlama, tahmin almak için yeni verilere makine öğrenmesi modeli uygulama işlemidir. Puanlama genellikle minimum gecikme süresiyle büyük ölçekte yapılmalıdır. | Azure İzleyici Günlüklerindeki yeni verileri sorgulamak için Azure İzleyici Sorgusu istemci kitaplığını kullanın. açık kaynak araçları kullanarak verilerin nasıl puanleneceğine ilişkin bir örnek için şu örnek not defterine bakın: Makine öğrenmesi tekniklerini kullanarak Azure İzleyici Günlüklerindeki anomalileri algılama. |
|
| İşlem hattınızı zamanlamaya göre çalıştırma | Modelinizi geçerli veriler üzerinde düzenli olarak yeniden eğitmek için işlem hattınızı otomatikleştirin. | Azure Synapse Analytics veya Azure Machine Learning ile makine öğrenmesi işlem hattınızı zamanlayın. | Azure İzleyici Günlükleri'nde verileri sorgulama sütunundaki örneklere bakın. |
Puanlanmış sonuçları Log Analytics çalışma alanına almak, gelişmiş içgörüler elde etmek ve uyarılar ve panolar oluşturmak için verileri kullanmanıza olanak tanır. Azure İzleyici Alımı istemci kitaplığını kullanarak puanlanmış sonuçları alma örneği için bkz. Log Analytics çalışma alanınızda anomalileri özel bir tabloya alma.
Sonraki adımlar
Aşağıdakiler hakkında daha fazla bilgi edinin: