Çevrimiçi analitik işlem (OLAP)

Çevrimiçi analitik işleme (OLAP), büyük iş veritabanlarını düzenleyen ve karmaşık analizi destekleyen bir teknolojidir. İşlem sistemlerini olumsuz etkilemeden karmaşık analiz sorguları gerçekleştirmek için kullanılabilir.

Bir işletmenin tüm işlemlerini ve kayıtlarını depolamak için kullandığı veritabanlarına çevrimiçi işlem işleme (OLTP) veritabanları adı verilir. Bu veritabanlarında genellikle birer birer girilen kayıtlar bulunur. Genellikle kuruluş için değerli olan çok sayıda bilgi içerirler. Ancak OLTP için kullanılan veritabanları analiz için tasarlanmamıştır. Bu nedenle, yanıtları bu veritabanlarından almak zaman ve emek açısından maliyetlidir. OLAP sistemleri, bu iş zekası bilgilerini verilerden yüksek performanslı bir şekilde ayıklamaya yardımcı olmak için tasarlanmıştır. Bunun nedeni OLAP veritabanlarının yoğun okuma ve düşük yazma iş yükleri için iyileştirilmiş olmasıdır.

Anlam modelleme

Anlamsal veri modeli, içerdiği veri öğelerinin anlamını açıklayan kavramsal bir modeldir. Kuruluşlar genellikle bazı şeyler için kendi terimlerine, bazen eş anlamlılara ve hatta aynı terim için farklı anlamlara sahiptir. Örneğin, envanter veritabanı varlık kimliği ve seri numarası olan bir ekipman parçasını izleyebilir, ancak satış veritabanı seri numarasını varlık kimliği olarak adlandırabilir. İlişkiyi açıklayan bir model olmadan bu değerleri ilişkilendirmenin basit bir yolu yoktur.

Anlamsal modelleme, kullanıcıların temel alınan veri yapılarını bilmesi gerekmemesi için veritabanı şeması üzerinde bir soyutlama düzeyi sağlar. Bu, son kullanıcıların temel şema üzerinde toplama ve birleştirme gerçekleştirmeden verileri sorgulamasını kolaylaştırır. Ayrıca, genellikle sütunlar daha kullanıcı dostu adlar olarak yeniden adlandırılır, böylece verilerin bağlamı ve anlamı daha belirgin olur.

Anlamsal modelleme, daha yoğun yazma içeren işlemsel veri işleme (OLTP) yerine ağırlıklı olarak analiz ve iş zekası (OLAP) gibi yoğun okumalı senaryolar için kullanılır. Bu çoğunlukla tipik bir anlam katmanının doğasından kaynaklanır:

• Toplama davranışları, raporlama araçlarının bunları düzgün görüntüleyebilmesi için ayarlanır.
• İş mantığı ve hesaplamaları tanımlanır.
• Zaman odaklı hesaplamalar dahil edilir.
• Veriler genellikle birden çok kaynaktan tümleştirilir.

Geleneksel olarak, anlam katmanı bu nedenlerden dolayı bir veri ambarı üzerine yerleştirilir.

İki birincil semantik model türü vardır:

• Tablosal. İlişkisel modelleme yapılarını (model, tablolar, sütunlar) kullanır. Dahili olarak, meta veriler OLAP modelleme yapılarından (küpler, boyutlar, ölçüler) devralınır. Kod ve betik OLAP meta verilerini kullanır.
• Çok boyutlu. Geleneksel OLAP modelleme yapılarını (küpler, boyutlar, ölçüler) kullanır.

İlgili Azure hizmeti:

• Azure Analysis Services

Örnek kullanım örneği

Bir kuruluşun büyük bir veritabanında depolanan verileri vardır. Bu verileri işletme kullanıcılarının ve müşterilerinin kendi raporlarını oluşturmaları ve bazı analizler yapmaları için kullanılabilir hale getirmek istiyor. Seçeneklerden biri, bu kullanıcılara veritabanına doğrudan erişim vermektir. Bununla birlikte, güvenliği yönetme ve erişimi denetleme de dahil olmak üzere bunu yapmanın çeşitli dezavantajları vardır. Ayrıca, tablo ve sütun adları da dahil olmak üzere veritabanının tasarımını anlamak bir kullanıcı için zor olabilir. Kullanıcıların hangi tabloları sorgulaması gerektiğini, bu tabloların nasıl birleştirildiğini ve doğru sonuçları elde etmek için uygulanması gereken diğer iş mantığını bilmesi gerekir. Kullanıcıların başlamak için bile SQL gibi bir sorgu dilini bilmesi gerekir. Bu durum genellikle aynı ölçümleri bildiren ancak farklı sonuçlara sahip olan birden çok kullanıcıya yol açar.

Bir diğer seçenek de kullanıcıların ihtiyaç duyduğu tüm bilgileri anlamsal bir modelde kapsüllemektir. Semantik model, tercih ettikleri bir raporlama aracına sahip kullanıcılar tarafından daha kolay sorgulanabilir. Anlam modeli tarafından sağlanan veriler bir veri ambarından çekilir ve tüm kullanıcıların gerçeğin tek bir sürümünü görmesini sağlar. Anlam modeli ayrıca kolay tablo ve sütun adları, tablolar arasındaki ilişkiler, açıklamalar, hesaplamalar ve satır düzeyi güvenlik sağlar.

Anlamsal modellemenin tipik özellikleri

Anlamsal modelleme ve analitik işleme aşağıdaki özelliklere sahip olma eğilimindedir:

Bu çözümün ne zaman kullanılacağı

Aşağıdaki senaryolarda OLAP'yi göz önünde bulundurun:

• OLTP sistemlerinizi olumsuz etkilemeden karmaşık analiz ve geçici sorguları hızla yürütmeniz gerekir.
• İş kullanıcılarına verilerinizden rapor oluşturmanın basit bir yolunu sağlamak istiyorsunuz
• Kullanıcıların hızlı ve tutarlı sonuçlar elde etmelerini sağlayacak bir dizi toplama sağlamak istiyorsunuz.

OLAP özellikle büyük miktarlardaki veriler üzerinde toplama hesaplamaları uygulamak için kullanışlıdır. OLAP sistemleri analiz ve iş zekası gibi yoğun okuma senaryoları için iyileştirilmiştir. OLAP, kullanıcıların çok boyutlu verileri iki boyutta (özet tablo gibi) görüntülenebilen dilimler halinde segmentlere ayırmasına veya verileri belirli değerlere göre filtrelemesine olanak tanır. Bu işlem bazen verileri "dilimleme ve dizinleme" olarak adlandırılır ve verilerin çeşitli veri kaynakları arasında bölümlenip bölümlenmediğine bakılmaksızın yapılabilir. Bu, kullanıcıların geleneksel veri analizinin ayrıntılarını bilmek zorunda kalmadan eğilimleri bulmasına, desenleri bulmasına ve verileri keşfetmesine yardımcı olur.

Anlamsal modeller, iş kullanıcılarının ilişki karmaşıklıklarını soyutlamalarına yardımcı olabilir ve verileri hızla çözümlemeyi kolaylaştırabilir.

Zorluklar

OLAP sistemlerinin sağladığı tüm avantajlar için birkaç zorluk oluşturur:

• OLTP sistemlerindeki veriler çeşitli kaynaklardan gelen işlemler aracılığıyla sürekli güncelleştirilse de, OLAP veri depoları genellikle iş gereksinimlerine bağlı olarak çok daha yavaş aralıklarla yenilenir. Bu, OLAP sistemlerinin değişikliklere anında yanıt vermek yerine stratejik iş kararları için daha uygun olduğu anlamına gelir. Ayrıca, OLAP veri depolarını güncel tutmak için bazı veri temizleme ve düzenleme düzeylerinin planlanması gerekir.
• OLTP sistemlerinde bulunan geleneksel, normalleştirilmiş ilişkisel tabloların aksine OLAP veri modelleri çok boyutlu olma eğilimindedir. Bu, her özniteliğin bir sütuna eşlendiği varlık ilişkisi veya nesne odaklı modellere doğrudan eşlemeyi zor veya imkansız hale getirir. Bunun yerine, OLAP sistemleri genellikle geleneksel normalleştirme yerine bir yıldız veya kar tanesi şeması kullanır.

Azure'da OLAP

Azure'da, Azure SQL Veritabanı gibi OLTP sistemlerinde tutulan veriler Azure Analysis Services gibi OLAP sistemine kopyalanır. Power BI, Excel ve üçüncü taraf seçenekleri gibi veri araştırma ve görselleştirme araçları Analysis Services sunucularına bağlanır ve kullanıcılara modellenmiş veriler hakkında yüksek düzeyde etkileşimli ve görsel olarak zengin içgörüler sağlar. OLTP verilerinden OLAP'a veri akışı genellikle Azure Data Factory kullanılarak yürütülebilen SQL Server Integration Services kullanılarak düzenlenmektedir.

Azure'da, aşağıdaki veri depolarının tümü OLAP için temel gereksinimleri karşılar:

• Columnstore dizinleri olan SQL Server
• Azure Analysis Services
• SQL Server Analysis Services (SSAS)

SQL Server Analysis Services (SSAS), iş zekası uygulamaları için OLAP ve veri madenciliği işlevleri sunar. SSAS'yi yerel sunuculara yükleyebilir veya Azure'daki bir sanal makinede konak oluşturabilirsiniz. Azure Analysis Services, SSAS ile aynı ana özellikleri sağlayan tam olarak yönetilen bir hizmettir. Azure Analysis Services, buluttaki ve kuruluşunuzdaki şirket içindeki çeşitli veri kaynaklarına bağlanmayı destekler.

Kümelenmiş Columnstore dizinleri SQL Server 2014 ve üzeri ile Azure SQL Veritabanı kullanılabilir ve OLAP iş yükleri için idealdir. Ancak, SQL Server 2016'da (Azure SQL Veritabanı dahil) başlayarak, güncelleştirilebilir, kümelenmemiş columnstore dizinleri kullanarak karma işlem/analitik işlemeden (HTAP) yararlanabilirsiniz. HTAP, aynı platformda OLTP ve OLAP işleme gerçekleştirmenizi sağlar. Bu işlem verilerinizin birden çok kopyasını depolama gereksinimini ortadan kaldırır ve farklı OLTP ve OLAP sistemlerine olan ihtiyacı ortadan kaldırır. Daha fazla bilgi için bkz . Gerçek zamanlı operasyonel analiz için Columnstore ile çalışmaya başlama.

Anahtar seçim ölçütleri

Seçenekleri daraltmak için şu soruları yanıtlayarak başlayın:

• Kendi sunucularınızı yönetmek yerine yönetilen bir hizmet mi istiyorsunuz?

• Microsoft Entra Id kullanarak güvenli kimlik doğrulamasına ihtiyacınız var mı?

• Gerçek zamanlı analiz yapmak istiyor musunuz? Bu durumda, seçeneklerinizi gerçek zamanlı analizi destekleyen seçeneklerle daraltma.

  Bu bağlamda gerçek zamanlı analiz , hem operasyonel hem de analiz iş yükünü çalıştıracak kurumsal kaynak planlama (ERP) uygulaması gibi tek bir veri kaynağı için geçerlidir. Birden çok kaynaktan verileri tümleştirmeniz veya küpler gibi önceden toplanmış verileri kullanarak aşırı analiz performansına ihtiyacınız varsa, yine de ayrı bir veri ambarı gerektirebilirsiniz.

• Önceden toplanmış verileri kullanmanız mı gerekiyor? Örneğin, analizi iş kullanıcı dostu hale getiren anlamsal modeller sağlamak için mi? Evet ise, çok boyutlu küpleri veya tablosal anlam modellerini destekleyen bir seçenek belirleyin.

  Toplamalar sağlamak, kullanıcıların veri toplamalarını tutarlı bir şekilde hesaplamalarına yardımcı olabilir. Önceden toplanmış veriler, birçok satırdaki birkaç sütunla ilgilenirken büyük bir performans artışı da sağlayabilir. Veriler çok boyutlu küplerde veya tablosal anlam modellerinde önceden toplanabilir.

• OLTP veri deponuzun dışındaki çeşitli kaynaklardan gelen verileri tümleştirmeniz gerekiyor mu? Bu durumda, birden çok veri kaynağını kolayca tümleştirebilen seçenekleri göz önünde bulundurun.

Yetenek matrisi

Aşağıdaki tablolarda, özelliklerdeki temel farklar özetlemektedir.

Genel özellikler

[1] SQL Server ve Azure SQL Veritabanı birden çok dış veri kaynağından sorgulamak ve tümleştirmek için kullanılamasa da, SSIS veya Azure Data Factory kullanarak bunu sizin için yapabilecek bir işlem hattı oluşturabilirsiniz. Azure VM'de barındırılan SQL Server'ın bağlı sunucular ve PolyBase gibi ek seçenekleri vardır. Daha fazla bilgi için bkz . İşlem hattı düzenleme, denetim akışı ve veri taşıma.

[2] Bir Azure Sanal Makinesinde çalışan SQL Server'a bağlanmak, Microsoft Entra hesabı kullanılarak desteklenmez. Bunun yerine etki alanı Active Directory hesabı kullanın.

Ölçeklenebilirlik Özellikleri

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

• Zoiner Tejada | CEO ve Mimar

Sonraki adımlar

• Columnstore dizinleri: Genel bakış
• Analysis Services sunucusu oluşturma
• Azure Data Factory nedir?
• Power BI nedir?

İlgili kaynaklar

• Büyük veri mimarisi stili
• Çevrimiçi analitik işlem (OLAP)