Olağanüstü durumlar donanım hataları, doğal afetler veya yazılım hataları olabilir. Olağanüstü durum için hazırlanma ve olağanüstü durumdan kurtarma işlemine olağanüstü durum kurtarma (DR) adı verilir. Bu makalede, Azure Data Factory ve Azure Synapse Analytics işlem hatlarında iş sürekliliği ve olağanüstü durum kurtarma (BCDR) elde etmek için önerilen yöntemler ele alınmaktadır.
BCDR stratejileri kullanılabilirlik alanı yedekliliğini, Azure olağanüstü durum kurtarma tarafından sağlanan otomatik kurtarmayı ve sürekli tümleştirme ve sürekli teslim (CI/CD) kullanarak kullanıcı tarafından yönetilen kurtarmayı içerir.
Mimari
Bu mimarinin bir Visio dosyasını indirin.
İş Akışı
Data Factory ve Azure Synapse işlem hatları, Azure bölgelerini ve Azure kullanılabilirlik alanlarını kullanarak dayanıklılık elde eder.
- Her Azure bölgesi, gecikme süresi tanımlı bir çevre içinde dağıtılan bir veri merkezleri kümesine sahiptir.
- Azure kullanılabilirlik alanları, her Azure bölgesinde yerel hatalara dayanıklı fiziksel olarak ayrı konumlardır.
- Tüm Azure bölgeleri ve kullanılabilirlik alanları ayrılmış, bölgesel düşük gecikme süreli bir ağ ve yüksek performanslı bir ağ üzerinden bağlanır.
- Kullanılabilirlik alanı etkinleştirilmiş tüm bölgelerin dayanıklılığı sağlamak için en az üç ayrı kullanılabilirlik alanı vardır.
Bir veri merkezi, bir veri merkezinin parçası veya bir bölgedeki kullanılabilirlik alanı kapandığında yük devretme, bölgeye dayanıklı Data Factory ve Azure Synapse işlem hatları için sıfır kapalı kalma süresiyle gerçekleşir.
Bileşenler
Senaryo ayrıntıları
Data Factory ve Azure Synapse işlem hatları aşağıdaki verileri içeren yapıtları depolar:
Meta veriler
- İşlem Hattı
- Veri Kümeleri
- Bağlı hizmetler
- Tümleştirme çalışma zamanı
- Tetikleyiciler
İzleme verileri
- İşlem Hattı
- Tetikleyiciler
- Etkinlik çalıştırmaları
Olağanüstü durumlar donanım hataları, doğal afetler veya insan hatası veya siber saldırıdan kaynaklanan yazılım hataları gibi farklı şekillerde ortaya çıkabilir. Hata türlerine bağlı olarak coğrafi etkileri bölgesel veya küresel olabilir. Bir olağanüstü durum kurtarma stratejisi planlarken hem olağanüstü durum doğasını hem de coğrafi etkisini göz önünde bulundurun.
Azure'daki BCDR, paylaşılan bir sorumluluk modeli üzerinde çalışır. Birçok Azure hizmeti, müşterilerin DR stratejilerini açıkça ayarlamasını gerektirirken, Azure gerektiğinde temel altyapı ve platform hizmetleri sağlar.
Çeşitli hata senaryolarında Data Factory ve Azure Synapse işlem hatları için BCDR elde etmek için aşağıdaki önerilen uygulamaları kullanabilirsiniz. Uygulama için bkz . Bu senaryoya dağıtma.
Azure olağanüstü durum kurtarma ile otomatik kurtarma
Otomatik kurtarma sayesinde Azure Backup ve olağanüstü durum kurtarma, eşleştirilmiş bir bölgeye sahip bir Azure bölgesi için tam bir bölgesel kesinti olduğunda, Otomatik kurtarmayı ayarladığınızda Data Factory veya Azure Synapse işlem hatları otomatik olarak eşleştirilmiş bölgeye yük devredilir. Özel durumlar, veri yerleşimi gereksinimlerinin verilerin bu bölgelerde kalmasını gerektirdiği Güneydoğu Asya ve Brezilya bölgeleridir.
DR yük devretmesinde Data Factory, üretim işlem hatlarını kurtarır. Kurtarılan işlem hatlarınızı doğrulamanız gerekiyorsa, gizli depolamadaki üretim işlem hatlarınız için Azure Resource Manager şablonlarını yedekleyebilir ve kurtarılan işlem hatlarını yedeklemelerle karşılaştırabilirsiniz.
Azure Global ekibi düzenli BCDR tatbikatları yürütür ve Azure Data Factory ve Azure Synapse Analytics bu tatbikatlara katılır. BCDR tatbikatı bir bölge hatasının benzetimini gerçekleştirir ve müşteri katılımı olmadan Azure hizmetlerini eşleştirilmiş bir bölgeye devreder. BCDR tatbikatları hakkında daha fazla bilgi için bkz . Hizmetlerin test edilmesi.
CI/CD ile kullanıcı tarafından yönetilen yedeklilik
Tüm bölge hatası durumunda BCDR elde etmek için ikincil bölgede bir veri fabrikasına veya Azure Synapse çalışma alanına ihtiyacınız vardır. Yanlışlıkla Data Factory veya Azure Synapse işlem hattı silme, kesintiler veya iç bakım olayları söz konusu olduğunda git ve CI/CD kullanarak işlem hatlarını el ile kurtarabilirsiniz.
İsteğe bağlı olarak, etkin/pasif bir uygulama kullanabilirsiniz. Birincil bölge normal işlemleri işler ve etkin kalırken, ikincil DR bölgesi belirli bir uygulamaya bağlı olarak önceden planlanmış adımların birincile yükseltilmesi gerekir. Bu durumda, altyapı için gerekli tüm yapılandırmalar ikincil bölgede kullanılabilir, ancak sağlanmamıştır.
Olası kullanım örnekleri
Kullanıcı tarafından yönetilen yedeklilik aşağıdaki gibi senaryolarda kullanışlıdır:
- İşlem hattı yapıtlarının insan hatasıyla yanlışlıkla silinmesi.
- Olağanüstü durum bildirilemediği için BCDR'yi tetiklemeyen genişletilmiş kesintiler veya bakım olayları.
Üretim iş yüklerinizi hızla diğer bölgelere taşıyabilir ve etkilenmeyebilirsiniz.
Dikkat edilmesi gereken noktalar
Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanılabilecek bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.
Güvenilirlik
Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesini sağlar. Daha fazla bilgi için bkz . Güvenilirlik sütununa genel bakış.
Data Factory ve Azure Synapse işlem hatları, kullanılabilirlik alanlarını destekleyen temel Azure hizmetleridir ve ultra düşük gecikme süresiyle birlikte doğru dayanıklılık ve esneklik düzeyini sağlamak üzere tasarlanmıştır.
Kullanıcı tarafından yönetilen kurtarma yaklaşımı, birincil bölgede bakım olayları, kesintiler veya insan hataları varsa çalışmaya devam etmenizi sağlar. CI/CD kullanarak, veri fabrikası ve Azure Synapse işlem hatları bir Git deposuyla tümleşebilir ve anında kurtarma için ikincil bir bölgeye dağıtabilir.
Maliyet iyileştirme
Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarını aramaktır. Daha fazla bilgi için bkz . Maliyet iyileştirme sütununa genel bakış.
Kullanıcı tarafından yönetilen kurtarma, CI/CD kullanarak Data Factory'yi Git ile tümleştirir ve isteğe bağlı olarak tüm gerekli altyapı yapılandırmalarını yedek olarak içeren ikincil bir DR bölgesi kullanır. Bu senaryo ek maliyetlere neden olabilir. Maliyetleri tahmin etmek için Azure fiyatlandırma hesaplayıcısını kullanın.
Data Factory ve Azure Synapse Analytics fiyatlandırması örnekleri için bkz:
- Örnekler aracılığıyla Azure Data Factory fiyatlandırmasını anlama
- Azure Synapse Analytics fiyatlandırması
Operasyonel mükemmellik
Operasyonel mükemmellik, bir uygulamayı dağıtan ve üretimde çalışır durumda tutan operasyon süreçlerini kapsar. Daha fazla bilgi için bkz . Operasyonel mükemmellik sütununa genel bakış.
Kullanıcı tarafından yönetilen CI/CD kurtarma yaklaşımını kullanarak Azure Repos veya GitHub ile tümleştirebilirsiniz. En iyi CI/CD uygulamaları hakkında daha fazla bilgi için bkz . CI/CD için en iyi yöntemler.
Bu senaryoyu dağıtın
Data Factory ve Azure Synapse işlem hatları için otomatik veya kullanıcı tarafından yönetilen DR'yi ayarlamak için aşağıdaki eylemleri gerçekleştirin.
Otomatik kurtarmayı ayarlama
Data Factory'de, Tümleştirme çalışma zamanı kurulumunda etkinlik yürütmeniz veya dağıtmanız için Azure tümleştirme çalışma zamanı (IR) bölgesini ayarlayabilirsiniz. Tam bir bölgesel kesinti durumunda otomatik yük devretmeyi etkinleştirmek için Bölge'yi Otomatik Çözümle olarak ayarlayın.
Tümleştirme çalışma zamanları bağlamında, IR bölgesi olarak Otomatik Çözümle'yi seçtiğinizde IR otomatik olarak eşleştirilmiş bölgeye devredilir. Diğer belirli konum bölgeleri için, başka bir bölgede ikincil bir veri fabrikası oluşturabilir ve GIT deposundan veri fabrikanızı sağlamak için CI/CD kullanabilirsiniz.
Yönetilen sanal ağlar için Data Factory otomatik olarak yönetilen IR'ye geçer.
Azure tarafından yönetilen otomatik yük devretme, şirket içinde barındırılan tümleştirme çalışma zamanı (SHIR) için geçerli değildir çünkü altyapı müşteri tarafından yönetilir. SHIR ile daha yüksek kullanılabilirlik için birden çok düğüm ayarlama yönergeleri için bkz . Şirket içinde barındırılan tümleştirme çalışma zamanı oluşturma ve yapılandırma.
Azure-SSIS IR için BCDR'yi yapılandırmak için bkz . İş sürekliliği ve olağanüstü durum kurtarma (BCDR) için Azure-SSIS tümleştirme çalışma zamanını yapılandırma.
Bağlı hizmetler, bölgenin daha yeni ağında bekleyen özel uç noktalar nedeniyle yük devretme sonrasında tam olarak etkinleştirilmez. Kurtarılan bölgede özel uç noktaları yapılandırmanız gerekir. Onay API'sini kullanarak özel uç nokta oluşturmayı otomatikleştirebilirsiniz.
CI/CD aracılığıyla kullanıcı tarafından yönetilen kurtarmayı ayarlama
Data Factory veya Azure Synapse işlem hattının silinmesi veya kesintisi durumunda işlem hatlarını el ile kurtarmak için Git ve CI/CD kullanabilirsiniz.
Data Factory işlem hattı CI/CD'yi kullanmak için bkz. Azure Data Factory'de sürekli tümleştirme ve teslim ve Azure Data Factory'de kaynak denetimi.
Azure Synapse işlem hattı CI/CD'yi kullanmak için bkz . Azure Synapse Analytics çalışma alanı için sürekli tümleştirme ve teslim. Önce Azure Synapse çalışma alanını başlatmayı unutmayın. Daha fazla bilgi için bkz . Synapse Studio'da kaynak denetimi.
CI/CD kullanarak kullanıcı tarafından yönetilen yedeklilik dağıttığınızda aşağıdaki eylemleri gerçekleştirin:
Tetikleyicileri devre dışı bırakma
Yeniden çevrimiçi olduktan sonra özgün birincil veri fabrikasında tetikleyicileri devre dışı bırakın. Tetikleyicileri el ile devre dışı bırakabilir veya özgün birincilin kullanılabilirliğini düzenli aralıklarla denetlemek için otomasyon uygulayabilirsiniz. Fabrika kurtarıldıktan hemen sonra özgün birincil veri fabrikasındaki tüm tetikleyicileri devre dışı bırakın.
Data Factory tetikleyicilerini kapatmak veya açmak için Azure PowerShell'i kullanmak için bkz. İşlem hattı tetikleyicileri dağıtımıyla ilgili örnek dağıtım öncesi ve sonrası betik ve CI/CD geliştirmeleri.
Yinelenen yazma işlemlerini işleme
Çoğu ayıklama, dönüştürme, yükleme (ETL) işlem hattı, yinelenen yazma işlemlerini işleyecek şekilde tasarlanmıştır çünkü geri doldurma ve yeniden ifade için bunlar gerekir. Saydam yük devretmeyi destekleyen veri havuzları, kayıt birleştirme ile veya belirli bir zaman aralığındaki tüm kayıtları silerek ve ekleyerek yinelenen yazma işlemlerini işleyebilir.
Yük devretme sonrasında uç noktaları değiştiren veri havuzları için birincil ve ikincil depolamada yinelenen veya kısmi veriler olabilir. Verileri el ile birleştirmeniz gerekir.
Tanığı denetleyin ve işlem hattı akışını denetleyin (isteğe bağlı)
Genel olarak, işlem hatlarınızı ilgili noktadan başarısız işlem hatlarını yeniden başlatmak için başarısız ve arama etkinlikleri gibi etkinlikleri içerecek şekilde tasarlamanız gerekir.
Bölgeyi (örneğin
region='EastUS'birincil veregion='CentralUS'ikincil veri fabrikasında) belirtmek için veri fabrikanıza genel bir parametre ekleyin.Üçüncü bölgede bir tanık oluşturun. Tanık bir REST çağrısı veya herhangi bir depolama türü olabilir. Tanık, varsayılan olarak geçerli birincil bölgeyi (örneğin
'EastUS', ) döndürür.Olağanüstü durum oluştuğunda, tanığı yeni birincil bölgeyi döndürecek şekilde el ile güncelleştirin, örneğin
'CentralUS'.Tanığı aramak ve geçerli birincil değeri genel parametreyle karşılaştırmak için işlem hattınıza bir etkinlik ekleyin.
- Parametreler eşleşiyorsa, bu işlem hattı birincil bölgede çalışır. Gerçek çalışmayla devam edin.
- Parametreler eşleşmiyorsa, bu işlem hattı ikincil bölgede çalışıyor olur. Yalnızca sonucu döndür.
Not
Bu yaklaşım, işlem hattınızda tanık aramasına bağımlılık sağlar. Tanığın okunamaması tüm işlem hattı çalıştırmalarını durdurur.
Katkıda Bulunanlar
Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.
Asıl yazarlar:
Krishnakumar Rukmangathan | Kıdemli Program Yöneticisi - Azure Data Factory ekibi
Sunil Sabat | Sorumlu Program Yöneticisi - Azure Data Factory ekibi
Diğer katkıda bulunanlar:
Mario Zimmermann | Baş Yazılım Mühendisliği Yöneticisi - Azure Data Factory ekibi
Wee Hyong Tok | PM Baş Direktörü - Azure Data Factory ekibi
Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.
Sonraki adımlar
- Azure'da iş sürekliliği yönetimi
- Azure'da dayanıklılık
- Azure dayanıklılık terminolojisi
- Bölgeler ve kullanılabilirlik alanları
- Azure’da bölgeler arası çoğaltma
- Azure bölgeleri karar kılavuzu
- Kullanılabilirlik alanlarını destekleyen Azure hizmetleri
- Bulutta paylaşılan sorumluluk
- Azure Data Factory veri yedekliliği
- Azure Data Factory'deki tümleştirme çalışma zamanı
- Azure Data Factory ve Azure Synapse Analytics’teki işlem hatları ve etkinlikler
- Azure Synapse Analytics ile Azure Data Factory arasındaki veri tümleştirmesi