Red Hat Enterprise Linux üzerinde Azure VM’lerindeki SAP HANA için yüksek kullanılabilirlik

Şirket içi geliştirme için HANA Sistem Çoğaltma veya paylaşılan depolama kullanarak SAP HANA için yüksek kullanılabilirlik (HA) oluşturabilirsiniz. Azure Sanal Makineler'da, şu anda desteklenen tek HA işlevi Azure'da HANA Sistem Çoğaltması'dır.

SAP HANA Çoğaltması bir birincil düğümden ve en az bir ikincil düğümden oluşur. Birincil düğümdeki verilerde yapılan değişiklikler ikincil düğüme zaman uyumlu veya zaman uyumsuz olarak çoğaltılır.

Bu makalede sanal makinelerin (VM) nasıl dağıtılacağı ve yapılandırılacağı, küme çerçevesinin nasıl yükleneceği ve SAP HANA Sistem Çoğaltması'nın nasıl yükleneceği ve yapılandırılacağı açıklanır.

Örnek yapılandırmalarda yükleme komutları, örnek numarası 03 ve HANA Sistem Kimliği HN1 kullanılır.

Önkoşullar

Önce aşağıdaki SAP Notlarını ve kağıtlarını okuyun:

Genel bakış

HA elde etmek için SAP HANA iki VM'ye yüklenir. Veriler HANA Sistem Çoğaltması kullanılarak çoğaltılır.

SAP HANA yüksek kullanılabilirliğe genel bakış gösteren diyagram.

SAP HANA Sistem Çoğaltma kurulumu, ayrılmış bir sanal konak adı ve sanal IP adresleri kullanır. Azure'da sanal IP adresi kullanmak için yük dengeleyici gerekir. Sunulan yapılandırmada aşağıdakilerle bir yük dengeleyici gösterilir:

  • Ön uç IP adresi: hn1-db için 10.0.0.13
  • Yoklama bağlantı noktası: 62503

Altyapıyı hazırlama

Azure Market, Red Hat'in çeşitli sürümlerini kullanarak yeni VM'leri dağıtmak için kullanabileceğiniz Yüksek Kullanılabilirlik eklentisine sahip SAP HANA için uygun görüntüler içerir.

Azure portalı aracılığıyla Linux VM'lerini el ile dağıtma

Bu belgede zaten bir kaynak grubu, bir Azure sanal ağı ve bir alt ağ dağıttığınız varsayılır.

SAP HANA için VM'leri dağıtma. HANA sistemi için desteklenen uygun bir RHEL görüntüsü seçin. Kullanılabilirlik seçeneklerinden herhangi birinde vm dağıtabilirsiniz: sanal makine ölçek kümesi, kullanılabilirlik alanı veya kullanılabilirlik kümesi.

Önemli

Seçtiğiniz işletim sisteminin, dağıtımınızda kullanmayı planladığınız belirli VM türlerinde SAP HANA sertifikalı olduğundan emin olun. SAP HANA sertifikalı VM türlerini ve bunların işletim sistemi sürümlerini SAP HANA Sertifikalı IaaS Platformları'nda arayabilirsiniz. Belirli bir VM türü için SAP HANA tarafından desteklenen işletim sistemi sürümlerinin tam listesini almak için VM türünün ayrıntılarına baktığınızdan emin olun.

Azure yük dengeleyiciyi yapılandırma

VM yapılandırması sırasında ağ bölümünde yük dengeleyiciden çıkma seçeneğiniz vardır. HANA veritabanının yüksek kullanılabilirlik kurulumu için standart yük dengeleyiciyi ayarlamak için aşağıdaki adımları izleyin.

Azure portalını kullanarak yüksek kullanılabilirlikli bir SAP sistemi için standart yük dengeleyici ayarlamak için Yük dengeleyici oluşturma makalesindeki adımları izleyin. Yük dengeleyicinin kurulumu sırasında aşağıdaki noktaları göz önünde bulundurun:

  1. Ön uç IP Yapılandırması: Ön uç IP'si oluşturun. Veritabanı sanal makinelerinizle aynı sanal ağı ve alt ağ adını seçin.
  2. Arka Uç Havuzu: Arka uç havuzu oluşturun ve veritabanı VM'leri ekleyin.
  3. Gelen kuralları: Yük dengeleme kuralı oluşturun. Her iki yük dengeleme kuralı için de aynı adımları izleyin.
    • Ön uç IP adresi: Ön uç IP'lerini seçin.
    • Arka uç havuzu: Bir arka uç havuzu seçin.
    • Yüksek kullanılabilirlik bağlantı noktaları: Bu seçeneği belirleyin.
    • Protokol: TCP'yi seçin.
    • Sistem Durumu Yoklaması: Aşağıdaki ayrıntıları içeren bir sistem durumu yoklaması oluşturun:
      • Protokol: TCP'yi seçin.
      • Bağlantı noktası: Örneğin, 625<örnek-no.>.
      • Aralık: 5 girin.
      • Yoklama Eşiği: 2 girin.
    • Boşta kalma zaman aşımı (dakika): 30 girin.
    • Kayan IP'yi etkinleştir: Bu seçeneği belirleyin.

Not

Portalda iyi durumda olmayan eşik olarak bilinen durum yoklaması yapılandırma özelliğine numberOfProbesuyulmaz. Başarılı veya başarısız ardışık yoklama sayısını denetlemek için özelliğini probeThreshold olarak 2ayarlayın. Şu anda Azure portalını kullanarak bu özelliği ayarlamak mümkün değildir, bu nedenle Azure CLI veya PowerShell komutunu kullanın.

SAP HANA için gerekli bağlantı noktaları hakkında daha fazla bilgi için SAP HANA Kiracı Veritabanları kılavuzundaki Kiracı Veritabanlarına Bağlantılar veya SAP Not 2388694 bölümünü okuyun.

Not

Genel IP adresleri olmayan VM'ler Standart Azure Load Balancer'ın iç (genel IP adresi yok) örneğinin arka uç havuzuna yerleştirildiğinde, genel uç noktalara yönlendirmeye izin verecek daha fazla yapılandırma yapılmadığı sürece giden İnternet bağlantısı olmaz. Giden bağlantı elde etme hakkında daha fazla bilgi için bkz. SAP yüksek kullanılabilirlik senaryolarında Azure Standart Load Balancer kullanan VM'ler için genel uç nokta bağlantısı.

Önemli

Azure Load Balancer'ın arkasına yerleştirilen Azure VM'lerinde TCP zaman damgalarını etkinleştirmeyin. TCP zaman damgalarının etkinleştirilmesi sistem durumu yoklamalarının başarısız olmasına neden olabilir. parametresini net.ipv4.tcp_timestamps olarak 0ayarlayın. Daha fazla bilgi için bkz . Load Balancer sistem durumu yoklamaları ve SAP Notu 2382421.

SAP HANA yükleme

Bu bölümdeki adımlar aşağıdaki ön ekleri kullanır:

  • [A]: Adım tüm düğümler için geçerlidir.
  • [1]: Adım yalnızca düğüm 1 için geçerlidir.
  • [2]: Bu adım yalnızca Pacemaker kümesinin 2. düğümü için geçerlidir.
  1. [A] Disk düzenini ayarlayın: Mantıksal Birim Yöneticisi (LVM).

    Verileri ve günlük dosyalarını depolayan birimler için LVM kullanmanızı öneririz. Aşağıdaki örnekte, VM'lerin iki birim oluşturmak için kullanılan dört veri diski ekli olduğu varsayılır.

    Kullanılabilir tüm diskleri listeleyin:

    ls /dev/disk/azure/scsi1/lun*
    

    Örnek çıkış:

    /dev/disk/azure/scsi1/lun0  /dev/disk/azure/scsi1/lun1  /dev/disk/azure/scsi1/lun2  /dev/disk/azure/scsi1/lun3
    

    Kullanmak istediğiniz tüm diskler için fiziksel birimler oluşturun:

    sudo pvcreate /dev/disk/azure/scsi1/lun0
    sudo pvcreate /dev/disk/azure/scsi1/lun1
    sudo pvcreate /dev/disk/azure/scsi1/lun2
    sudo pvcreate /dev/disk/azure/scsi1/lun3
    

    Veri dosyaları için bir birim grubu oluşturun. Günlük dosyaları için bir birim grubu ve SAP HANA'nın paylaşılan dizini için bir birim grubu kullanın:

    sudo vgcreate vg_hana_data_HN1 /dev/disk/azure/scsi1/lun0 /dev/disk/azure/scsi1/lun1
    sudo vgcreate vg_hana_log_HN1 /dev/disk/azure/scsi1/lun2
    sudo vgcreate vg_hana_shared_HN1 /dev/disk/azure/scsi1/lun3
    

    Mantıksal birimleri oluşturun. Anahtar olmadan -i kullandığınızda lvcreate doğrusal bir birim oluşturulur. Daha iyi G/Ç performansı için şeritli birim oluşturmanızı öneririz. Şerit boyutlarını SAP HANA VM depolama yapılandırmalarında belgelenen değerlerle hizalayın. -i Bağımsız değişken, temel alınan fiziksel birimlerin sayısı ve -I bağımsız değişken ise şerit boyutu olmalıdır.

    Bu belgede, veri birimi için iki fiziksel birim kullanıldığından -i anahtar bağımsız değişkeni 2 olarak ayarlanmıştır. Veri hacmi için şerit boyutu 256 Kb'tır. Günlük birimi için bir fiziksel birim kullanıldığından, günlük birimi komutları için açıkça hayır -i veya -I anahtarları kullanılır.

    Önemli

    -i Her veri, günlük veya paylaşılan birim için birden fazla fiziksel birim kullandığınızda anahtarı kullanın ve temel alınan fiziksel birimin sayısına ayarlayın. -I Şeritli birim oluştururken şerit boyutunu belirtmek için anahtarı kullanın. Şerit boyutları ve disk sayısı da dahil olmak üzere önerilen depolama yapılandırmaları için bkz . SAP HANA VM depolama yapılandırmaları. Aşağıdaki düzen örneklerinin belirli bir sistem boyutu için performans yönergelerini karşılaması şart değildir. Bunlar yalnızca çizim amaçlıdır.

    sudo lvcreate -i 2 -I 256 -l 100%FREE -n hana_data vg_hana_data_HN1
    sudo lvcreate -l 100%FREE -n hana_log vg_hana_log_HN1
    sudo lvcreate -l 100%FREE -n hana_shared vg_hana_shared_HN1
    sudo mkfs.xfs /dev/vg_hana_data_HN1/hana_data
    sudo mkfs.xfs /dev/vg_hana_log_HN1/hana_log
    sudo mkfs.xfs /dev/vg_hana_shared_HN1/hana_shared
    

    Bağlama komutları vererek dizinleri bağlamayın. Bunun yerine içine yapılandırmaları fstab girin ve söz dizimini doğrulamak için bir son mount -a oluşturun. Her birim için bağlama dizinleri oluşturarak başlayın:

    sudo mkdir -p /hana/data
    sudo mkdir -p /hana/log
    sudo mkdir -p /hana/shared
    

    Ardından, dosyaya aşağıdaki satırları /etc/fstab ekleyerek üç mantıksal birim için girdiler oluşturunfstab:

    /dev/mapper/vg_hana_data_HN1-hana_data /hana/data xfs varsayılanları,nofail 0 2 /dev/mapper/vg_hana_log_HN1-hana_log /hana/log xfs varsayılanları,nofail 0 2 /dev/mapper/vg_hana_shared_HN1-hana_shared /hana/shared xfs defaults,nofail 0 2

    Son olarak, yeni birimlerin tümünü bir kerede bağlayın:

    sudo mount -a
    
  2. [A] Tüm konaklar için ana bilgisayar adı çözümlemesini ayarlayın.

    bir DNS sunucusu kullanabilir veya içindeki gibi tüm düğümler için girdiler oluşturarak dosyayı tüm düğümlerde /etc/hostsdeğiştirebilirsiniz/etc/hosts:

    10.0.0.5 hn1-db-0 10.0.0.6 hn1-db-1

  3. [A] HANA yapılandırması için RHEL gerçekleştirin.

    RHEL'i aşağıdaki notlarda açıklandığı gibi yapılandırın:

  4. [A] SAP'nin belgelerini izleyerek SAP HANA'yı yükleyin.

  5. [A] Güvenlik duvarını yapılandırın.

    Azure Load Balancer yoklama bağlantı noktası için güvenlik duvarı kuralı oluşturun.

    sudo firewall-cmd --zone=public --add-port=62503/tcp
    sudo firewall-cmd --zone=public --add-port=62503/tcp --permanent
    

SAP HANA 2.0 Sistem Çoğaltmasını Yapılandırma

Bu bölümdeki adımlar aşağıdaki ön ekleri kullanır:

  • [A]: Adım tüm düğümler için geçerlidir.
  • [1]: Adım yalnızca düğüm 1 için geçerlidir.
  • [2]: Bu adım yalnızca Pacemaker kümesinin 2. düğümü için geçerlidir.
  1. [A] Güvenlik duvarını yapılandırın.

    HANA Sistem Çoğaltma ve istemci trafiğine izin vermek için güvenlik duvarı kuralları oluşturun. Gerekli bağlantı noktaları Tüm SAP Ürünlerinin TCP/IP Bağlantı Noktaları'nda listelenir. Aşağıdaki komutlar, SYSTEMDB, HN1 ve NW1 veritabanı için HANA 2.0 Sistem Çoğaltma ve istemci trafiğine izin vermek için yalnızca bir örnek.

     sudo firewall-cmd --zone=public --add-port={40302,40301,40307,40303,40340,30340,30341,30342}/tcp --permanent
     sudo firewall-cmd --zone=public --add-port={40302,40301,40307,40303,40340,30340,30341,30342}/tcp
    
    
  2. [1] Kiracı veritabanını oluşturun.

    Aşağıdaki komutu hanasid>adm olarak <çalıştırın:

    hdbsql -u SYSTEM -p "[passwd]" -i 03 -d SYSTEMDB 'CREATE DATABASE NW1 SYSTEM USER PASSWORD "<passwd>"'
    
  3. [1] İlk düğümde sistem çoğaltmasını yapılandırın.

    Veritabanlarını hanasid>adm olarak <yedekleyin:

    hdbsql -d SYSTEMDB -u SYSTEM -p "<passwd>" -i 03 "BACKUP DATA USING FILE ('initialbackupSYS')"
    hdbsql -d HN1 -u SYSTEM -p "<passwd>" -i 03 "BACKUP DATA USING FILE ('initialbackupHN1')"
    hdbsql -d NW1 -u SYSTEM -p "<passwd>" -i 03 "BACKUP DATA USING FILE ('initialbackupNW1')"
    

    Sistem PKI dosyalarını ikincil siteye kopyalayın:

    scp /usr/sap/HN1/SYS/global/security/rsecssfs/data/SSFS_HN1.DAT   hn1-db-1:/usr/sap/HN1/SYS/global/security/rsecssfs/data/
    scp /usr/sap/HN1/SYS/global/security/rsecssfs/key/SSFS_HN1.KEY  hn1-db-1:/usr/sap/HN1/SYS/global/security/rsecssfs/key/
    

    Birincil siteyi oluşturun:

    hdbnsutil -sr_enable --name=SITE1
    
  4. [2] İkinci düğümde sistem çoğaltmasını yapılandırın.

    Sistem çoğaltmasını başlatmak için ikinci düğümü kaydedin. Aşağıdaki komutu hanasid>adm olarak <çalıştırın:

    sapcontrol -nr 03 -function StopWait 600 10
    hdbnsutil -sr_register --remoteHost=hn1-db-0 --remoteInstance=03 --replicationMode=sync --name=SITE2
    
  5. [2] HANA'yı başlatın.

    HANA'yı başlatmak için aşağıdaki komutu hanasid>adm olarak <çalıştırın:

    sapcontrol -nr 03 -function StartSystem
    
  6. [1] Çoğaltma durumunu denetleyin.

    Çoğaltma durumunu denetleyin ve tüm veritabanları eşitlenene kadar bekleyin. Durum BILINMIYOR olarak kalırsa güvenlik duvarı ayarlarınızı denetleyin.

    sudo su - hn1adm -c "python /usr/sap/HN1/HDB03/exe/python_support/systemReplicationStatus.py"
    # | Database | Host     | Port  | Service Name | Volume ID | Site ID | Site Name | Secondary | Secondary | Secondary | Secondary | Secondary     | Replication | Replication | Replication    |
    # |          |          |       |              |           |         |           | Host      | Port      | Site ID   | Site Name | Active Status | Mode        | Status      | Status Details |
    # | -------- | -------- | ----- | ------------ | --------- | ------- | --------- | --------- | --------- | --------- | --------- | ------------- | ----------- | ----------- | -------------- |
    # | SYSTEMDB | hn1-db-0 | 30301 | nameserver   |         1 |       1 | SITE1     | hn1-db-1  |     30301 |         2 | SITE2     | YES           | SYNC        | ACTIVE      |                |
    # | HN1      | hn1-db-0 | 30307 | xsengine     |         2 |       1 | SITE1     | hn1-db-1  |     30307 |         2 | SITE2     | YES           | SYNC        | ACTIVE      |                |
    # | NW1      | hn1-db-0 | 30340 | indexserver  |         2 |       1 | SITE1     | hn1-db-1  |     30340 |         2 | SITE2     | YES           | SYNC        | ACTIVE      |                |
    # | HN1      | hn1-db-0 | 30303 | indexserver  |         3 |       1 | SITE1     | hn1-db-1  |     30303 |         2 | SITE2     | YES           | SYNC        | ACTIVE      |                |
    #
    # status system replication site "2": ACTIVE
    # overall system replication status: ACTIVE
    #
    # Local System Replication State
    # ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    #
    # mode: PRIMARY
    # site id: 1
    # site name: SITE1
    

Pacemaker kümesi oluşturma

Bu HANA sunucusu için temel bir Pacemaker kümesi oluşturmak için Azure'da Red Hat Enterprise Linux'ta Pacemaker'ı ayarlama makalesindeki adımları izleyin.

Önemli

Sistem tabanlı SAP Startup Framework ile SAP HANA örnekleri artık systemd tarafından yönetilebilir. Gereken en düşük Red Hat Enterprise Linux (RHEL) sürümü SAP için RHEL 8'dir. SAP Not 3189534 belirtildiği gibi, SAP HANA SPS07 düzeltme 70 veya üzeri yeni yüklemeleri veya HANA sistemleri için HANA 2.0 SPS07 düzeltme 70 veya üzeri güncelleştirmeler, SAP Başlangıç çerçevesi otomatik olarak systemd ile kaydedilir.

SAP HANA sistem çoğaltmasını sistem destekli SAP HANA örnekleriyle birlikte yönetmek için HA çözümleri kullanılırken (SAP Not 3189534 bakın), HA kümesinin SAP örneğini sistemli girişim olmadan yönetebilmesini sağlamak için ek adımlar gerekir. Bu nedenle, systemd ile tümleştirilmiş SAP HANA sistemi için Red Hat KBA 7029705'de özetlenen ek adımlar tüm küme düğümlerinde izlenmelidir.

SAP HANA sistem çoğaltma kancalarını uygulama

Bu önemli adım, kümeyle tümleştirmeyi iyileştirir ve bir küme yük devretmesi gerektiğinde algılamayı geliştirir. SAPHanaSR kancasını etkinleştirmek için doğru küme işlemi zorunludur. Hem SAPHanaSR hem de ChkSrv Python kancalarını yapılandırmanızı kesinlikle öneririz.

  1. [A] SAP HANA kaynak aracılarını tüm düğümlere yükleyin. Paketi içeren bir depoyu etkinleştirdiğinizden emin olun. RHEL 8.x veya üzeri BIR HA özellikli görüntü kullanıyorsanız daha fazla depo etkinleştirmeniz gerekmez.

    # Enable repository that contains SAP HANA resource agents
    sudo subscription-manager repos --enable="rhel-sap-hana-for-rhel-7-server-rpms"
    
    sudo dnf install -y resource-agents-sap-hana
    

    Not

    RHEL 8.x ve RHEL 9.x için, yüklü resource-agents-sap-hana paketinin sürüm 0.162.3-5 veya üzeri olduğunu doğrulayın.

  2. [A] HANA'yı system replication hooksyükleyin. Çoğaltma kancalarının yapılandırmasının her iki HANA DB düğümüne de yüklenmesi gerekir.

    1. Her iki düğümde de HANA'yı durdurun. Sid>adm olarak <çalıştırın.

      sapcontrol -nr 03 -function StopSystem
      
    2. Her küme düğümünde ayarlama yapın global.ini .

      [ha_dr_provider_SAPHanaSR]
      provider = SAPHanaSR
      path = /usr/share/SAPHanaSR/srHook
      execution_order = 1
      
      [ha_dr_provider_chksrv]
      provider = ChkSrv
      path = /usr/share/SAPHanaSR/srHook
      execution_order = 2
      action_on_lost = kill
      
      [trace]
      ha_dr_saphanasr = info
      ha_dr_chksrv = info
      

    Parametreyi path varsayılan /usr/share/SAPHanaSR/srHook konuma işaret ederseniz Python kanca kodu işletim sistemi güncelleştirmeleri veya paket güncelleştirmeleri aracılığıyla otomatik olarak güncelleştirilir. HANA, bir sonraki yeniden başlatmada kanca kodu güncelleştirmelerini kullanır. gibi /hana/shared/myHooksisteğe bağlı bir kendi yolu ile işletim sistemi güncelleştirmelerini HANA'nın kullanacağı kanca sürümünden ayrıştırabilirsiniz.

    parametresini kullanarak action_on_lost kancanın ChkSrv davranışını ayarlayabilirsiniz. Geçerli değerler: [ ignore | | stopkill ].

  3. [A] Küme, sid>adm için <her küme düğümünde yapılandırma gerektirirsudoers. Bu örnekte, bu yeni bir dosya oluşturularak elde edilir. visudo Açılan dosyayı olarak rootdüzenlemek 20-saphana için komutunu kullanın.

    sudo visudo -f /etc/sudoers.d/20-saphana
    

    Aşağıdaki satırları ekleyin ve kaydedin:

    Cmnd_Alias SITE1_SOK   = /usr/sbin/crm_attribute -n hana_hn1_site_srHook_SITE1 -v SOK -t crm_config -s SAPHanaSR
    Cmnd_Alias SITE1_SFAIL = /usr/sbin/crm_attribute -n hana_hn1_site_srHook_SITE1 -v SFAIL -t crm_config -s SAPHanaSR
    Cmnd_Alias SITE2_SOK   = /usr/sbin/crm_attribute -n hana_hn1_site_srHook_SITE2 -v SOK -t crm_config -s SAPHanaSR
    Cmnd_Alias SITE2_SFAIL = /usr/sbin/crm_attribute -n hana_hn1_site_srHook_SITE2 -v SFAIL -t crm_config -s SAPHanaSR
    hn1adm ALL=(ALL) NOPASSWD: SITE1_SOK, SITE1_SFAIL, SITE2_SOK, SITE2_SFAIL
    Defaults!SITE1_SOK, SITE1_SFAIL, SITE2_SOK, SITE2_SFAIL !requiretty
    
  4. [A] Sap HANA'yı her iki düğümde de başlatın. Sid>adm olarak <çalıştırın.

    sapcontrol -nr 03 -function StartSystem 
    
  5. [1] SRHanaSR kanca yüklemesini doğrulayın. Etkin HANA sistem çoğaltma sitesinde sid>adm olarak <çalıştırın.

     cdtrace
     awk '/ha_dr_SAPHanaSR.*crm_attribute/ \
     { printf "%s %s %s %s\n",$2,$3,$5,$16 }' nameserver_*
    
     # 2021-04-12 21:36:16.911343 ha_dr_SAPHanaSR SFAIL
     # 2021-04-12 21:36:29.147808 ha_dr_SAPHanaSR SFAIL
     # 2021-04-12 21:37:04.898680 ha_dr_SAPHanaSR SOK
    
  6. [1] ChkSrv kanca yüklemesini doğrulayın. Etkin HANA sistem çoğaltma sitesinde sid>adm olarak <çalıştırın.

     cdtrace
     tail -20 nameserver_chksrv.trc
    

SAP HANA kancalarının uygulanması hakkında daha fazla bilgi için bkz . SAP HANA srConnectionChanged() kancasını etkinleştirme ve HDbindexserver işlem hatası eylemi (isteğe bağlı) için SAP HANA srServiceStateChanged() kancasını etkinleştirme.

SAP HANA küme kaynakları oluşturma

HANA topolojisini oluşturun. Pacemaker küme düğümlerinden birinde aşağıdaki komutları çalıştırın. Bu yönergeler boyunca, uygun yerlerde örnek numaranızı, HANA sistem kimliğinizi, IP adreslerini ve sistem adlarını değiştirmeyi unutmayın.

sudo pcs property set maintenance-mode=true

sudo pcs resource create SAPHanaTopology_HN1_03 SAPHanaTopology SID=HN1 InstanceNumber=03 \
op start timeout=600 op stop timeout=300 op monitor interval=10 timeout=600 \
clone clone-max=2 clone-node-max=1 interleave=true

Ardından HANA kaynaklarını oluşturun.

Not

Bu makale, Microsoft'un artık kullanmadığını belirten bir terime başvurular içerir. Terim yazılımdan kaldırıldığında, bu makaleden kaldıracağız.

RHEL 7.x üzerinde bir küme oluşturuyorsanız aşağıdaki komutları kullanın:

sudo pcs resource create SAPHana_HN1_03 SAPHana SID=HN1 InstanceNumber=03 PREFER_SITE_TAKEOVER=true DUPLICATE_PRIMARY_TIMEOUT=7200 AUTOMATED_REGISTER=false \
  op start timeout=3600 op stop timeout=3600 \
  op monitor interval=61 role="Slave" timeout=700 \
  op monitor interval=59 role="Master" timeout=700 \
  op promote timeout=3600 op demote timeout=3600 \
  master notify=true clone-max=2 clone-node-max=1 interleave=true

sudo pcs resource create vip_HN1_03 IPaddr2 ip="10.0.0.13"
sudo pcs resource create nc_HN1_03 azure-lb port=62503
sudo pcs resource group add g_ip_HN1_03 nc_HN1_03 vip_HN1_03

sudo pcs constraint order SAPHanaTopology_HN1_03-clone then SAPHana_HN1_03-master symmetrical=false
sudo pcs constraint colocation add g_ip_HN1_03 with master SAPHana_HN1_03-master 4000

sudo pcs resource defaults resource-stickiness=1000
sudo pcs resource defaults migration-threshold=5000

sudo pcs property set maintenance-mode=false

RHEL 8.x/9.x üzerinde bir küme oluşturuyorsanız aşağıdaki komutları kullanın:

sudo pcs resource create SAPHana_HN1_03 SAPHana SID=HN1 InstanceNumber=03 PREFER_SITE_TAKEOVER=true DUPLICATE_PRIMARY_TIMEOUT=7200 AUTOMATED_REGISTER=false \
  op start timeout=3600 op stop timeout=3600 \
  op monitor interval=61 role="Slave" timeout=700 \
  op monitor interval=59 role="Master" timeout=700 \
  op promote timeout=3600 op demote timeout=3600 \
  promotable notify=true clone-max=2 clone-node-max=1 interleave=true

sudo pcs resource create vip_HN1_03 IPaddr2 ip="10.0.0.13"
sudo pcs resource create nc_HN1_03 azure-lb port=62503
sudo pcs resource group add g_ip_HN1_03 nc_HN1_03 vip_HN1_03

sudo pcs constraint order SAPHanaTopology_HN1_03-clone then SAPHana_HN1_03-clone symmetrical=false
sudo pcs constraint colocation add g_ip_HN1_03 with master SAPHana_HN1_03-clone 4000

sudo pcs resource defaults update resource-stickiness=1000
sudo pcs resource defaults update migration-threshold=5000

sudo pcs property set maintenance-mode=false

SAP HANA için yapılandırmak priority-fencing-delay üzere (yalnızca pacemaker-2.0.4-6.el8 veya üzeri sürümlerde geçerlidir), aşağıdaki komutların yürütülmesi gerekir.

Not

İki düğümlü bir kümeniz varsa küme özelliğini yapılandırabilirsiniz priority-fencing-delay . Bu özellik, bölünmüş beyin senaryosu oluştuğunda toplam kaynak önceliğine sahip bir düğümün eskriminde gecikmeye neden olur. Daha fazla bilgi için bkz . Pacemaker küme düğümünü en az çalışan kaynakla çevreleyebilir mi?.

Tesis priority-fencing-delay pacemaker-2.0.4-6.el8 veya üzeri sürümler için geçerlidir. Mevcut bir kümede ayar priority-fencing-delay yapıyorsanız, eskrim cihazında seçeneğin ayarını pcmk_delay_max kaldırdığınızdan emin olun.

sudo pcs property set maintenance-mode=true

sudo pcs resource defaults update priority=1
sudo pcs resource update SAPHana_HN1_03-clone meta priority=10

sudo pcs property set priority-fencing-delay=15s

sudo pcs property set maintenance-mode=false

Önemli

Başarısız bir birincil örneğin otomatik olarak ikincil olarak kaydedilmesini önlemek için yük devretme testleri gerçekleştirirken olarak ayarlamak AUTOMATED_REGISTER falseiyi bir fikirdir. Test sonrasında, en iyi yöntem olarak, devralma sonrasında sistem çoğaltmanın otomatik olarak sürdürülebilmesi için true olarak ayarlayınAUTOMATED_REGISTER.

Küme durumunun iyi olduğundan ve tüm kaynakların başlatıldığından emin olun. Kaynakların hangi düğümde çalıştığı önemli değildir.

Not

Önceki yapılandırmadaki zaman aşımları yalnızca örnektir ve belirli HANA kurulumuna uyarlanması gerekebilir. Örneğin, SAP HANA veritabanını başlatmak daha uzun sürüyorsa başlangıç zaman aşımını artırmanız gerekebilir.

Oluşturulan küme kaynaklarının durumunu denetlemek için komutunu sudo pcs status kullanın:

# Online: [ hn1-db-0 hn1-db-1 ]
#
# Full list of resources:
#
# azure_fence     (stonith:fence_azure_arm):      Started hn1-db-0
#  Clone Set: SAPHanaTopology_HN1_03-clone [SAPHanaTopology_HN1_03]
#      Started: [ hn1-db-0 hn1-db-1 ]
#  Master/Slave Set: SAPHana_HN1_03-master [SAPHana_HN1_03]
#      Masters: [ hn1-db-0 ]
#      Slaves: [ hn1-db-1 ]
#  Resource Group: g_ip_HN1_03
#      nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hn1-db-0
#      vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hn1-db-0

Pacemaker kümesinde HANA etkin/okuma özellikli sistem çoğaltmasını yapılandırma

SAP HANA 2.0 SPS 01'den başlayarak SAP, SAP HANA Sistem Çoğaltma'nın ikincil sistemlerinin yoğun okumalı iş yükleri için etkin olarak kullanılabildiği SAP HANA Sistem Çoğaltması için etkin/okuma özellikli kurulumlara izin verir.

Kümede böyle bir kurulumu desteklemek için, istemcilerin ikincil okuma özellikli SAP HANA veritabanına erişmesini sağlayan ikinci bir sanal IP adresi gerekir. Devralma gerçekleştikten sonra ikincil çoğaltma sitesine hala erişilebildiğinden emin olmak için kümenin ikincil SAPHana kaynağıyla sanal IP adresini taşıması gerekir.

Bu bölümde, ikinci bir sanal IP ile Red Hat HA kümesinde HANA etkin/okuma özellikli sistem çoğaltmasını yönetmek için gereken diğer adımlar açıklanmaktadır.

Devam etmeden önce, belgenin önceki bölümlerinde açıklandığı gibi SAP HANA veritabanını yöneten Red Hat HA kümesini tam olarak yapılandırdığınızdan emin olun.

Okuma özellikli ikincil ile SAP HANA HA'yı gösteren diyagram.

Etkin/okuma özellikli kurulum için Azure Load Balancer'da ek kurulum

İkinci bir sanal IP sağlama konusunda daha fazla adıma devam etmek için, Azure Portal aracılığıyla Linux VM'lerini el ile dağıtma bölümünde açıklandığı gibi Azure Load Balancer'ı yapılandırdığınızdan emin olun.

  1. Standart bir yük dengeleyici için, önceki bir bölümde oluşturduğunuz yük dengeleyicide bu adımları izleyin.

    a. İkinci bir ön uç IP havuzu oluşturun:

    • Yük dengeleyiciyi açın, ön uç IP havuzunu seçin ve Ekle'yi seçin.
    • İkinci ön uç IP havuzunun adını girin (örneğin, hana-secondaryIP).
    • Atama'yı Statik olarak ayarlayın ve IP adresini girin (örneğin, 10.0.0.14).
    • Tamam'ı seçin.
    • Yeni ön uç IP havuzu oluşturulduktan sonra havuz IP adresini not edin.

    b. Sistem durumu araştırması oluşturma:

    • Yük dengeleyiciyi açın, sistem durumu yoklamaları'nı seçin ve Ekle'yi seçin.
    • Yeni sistem durumu yoklamasının adını girin (örneğin, hana-secondaryhp).
    • Protokol olarak TCP'yi ve 62603 numaralı bağlantı noktasını seçin. Aralık değerinin 5, İyi durumda olmayan eşik değerinin ise 2 olarak ayarlanmasını sağlayın.
    • Tamam'ı seçin.

    c. Yük dengeleme kurallarını oluşturun:

    • Yük dengeleyiciyi açın, yük dengeleme kuralları'nı seçin ve Ekle'yi seçin.
    • Yeni yük dengeleyici kuralının adını girin (örneğin, hana-secondarylb).
    • Ön uç IP adresini, arka uç havuzunu ve daha önce oluşturduğunuz sistem durumu araştırmasını (örneğin, hana-secondaryIP, hana-backend ve hana-secondaryhp) seçin.
    • HA Bağlantı Noktaları'nı seçin.
    • Kayan IP'yi etkinleştirdiğinizden emin olun.
    • Tamam'ı seçin.

HANA etkin/okuma özellikli sistem çoğaltmasını yapılandırma

HANA Sistem Çoğaltmasını yapılandırma adımları SAP HANA 2.0 Sistem Çoğaltmasını Yapılandırma bölümünde açıklanmıştır. İkinci düğümde sistem çoğaltmasını yapılandırırken okuma özellikli bir ikincil senaryo dağıtıyorsanız, aşağıdaki komutu hanasidadm olarak çalıştırın:

sapcontrol -nr 03 -function StopWait 600 10 

hdbnsutil -sr_register --remoteHost=hn1-db-0 --remoteInstance=03 --replicationMode=sync --name=SITE2 --operationMode=logreplay_readaccess 

Etkin/okuma özellikli kurulum için ikincil sanal IP adresi kaynağı ekleme

İkinci sanal IP ve uygun birlikte bulundurma kısıtlaması aşağıdaki komutlarla yapılandırılabilir:

pcs property set maintenance-mode=true

pcs resource create secvip_HN1_03 ocf:heartbeat:IPaddr2 ip="10.40.0.16"

pcs resource create secnc_HN1_03 ocf:heartbeat:azure-lb port=62603

pcs resource group add g_secip_HN1_03 secnc_HN1_03 secvip_HN1_03

pcs constraint location g_secip_HN1_03 rule score=INFINITY hana_hn1_sync_state eq SOK and hana_hn1_roles eq 4:S:master1:master:worker:master

pcs constraint location g_secip_HN1_03 rule score=4000 hana_hn1_sync_state eq PRIM and hana_hn1_roles eq 4:P:master1:master:worker:master

pcs property set maintenance-mode=false

Küme durumunun iyi olduğundan ve tüm kaynakların başlatıldığından emin olun. İkinci sanal IP, SAPHana ikincil kaynağıyla birlikte ikincil sitede çalışır.

sudo pcs status

# Online: [ hn1-db-0 hn1-db-1 ]
#
# Full List of Resources:
#   rsc_hdb_azr_agt     (stonith:fence_azure_arm):      Started hn1-db-0
#   Clone Set: SAPHanaTopology_HN1_03-clone [SAPHanaTopology_HN1_03]:
#     Started: [ hn1-db-0 hn1-db-1 ]
#   Clone Set: SAPHana_HN1_03-clone [SAPHana_HN1_03] (promotable):
#     Masters: [ hn1-db-0 ]
#     Slaves: [ hn1-db-1 ]
#   Resource Group: g_ip_HN1_03:
#     nc_HN1_03         (ocf::heartbeat:azure-lb):      Started hn1-db-0
#     vip_HN1_03        (ocf::heartbeat:IPaddr2):       Started hn1-db-0
#   Resource Group: g_secip_HN1_03:
#     secnc_HN1_03      (ocf::heartbeat:azure-lb):      Started hn1-db-1
#     secvip_HN1_03     (ocf::heartbeat:IPaddr2):       Started hn1-db-1

Sonraki bölümde, çalıştırılacak tipik yük devretme testlerini bulabilirsiniz.

Okuma özellikli ikincil ile yapılandırılmış bir HANA kümesini test ederken ikinci sanal IP davranışına dikkat edin:

  1. SAPHana_HN1_03 küme kaynağını hn1-db-1 ikincil sitesine geçirdiğinizde, ikinci sanal IP aynı hn1-db-1 sitesinde çalışmaya devam eder. Kaynak için ayarladıysanız AUTOMATED_REGISTER="true" ve HANA sistem çoğaltması hn1-db-0'da otomatik olarak kaydedilirse, ikinci sanal IP'niz de hn1-db-0'a geçer.

  2. Sunucu kilitlenmesi test edilirken, ikinci sanal IP kaynakları (secvip_HN1_03) ve Azure Load Balancer bağlantı noktası kaynağı (secnc_HN1_03) birincil sunucu üzerinde birincil sanal IP kaynaklarıyla birlikte çalışır. Bu nedenle, ikincil sunucu kapanana kadar, okuma özellikli HANA veritabanına bağlı uygulamalar birincil HANA veritabanına bağlanır. İkincil sunucu kullanılamaz duruma gelene kadar okuma özellikli HANA veritabanına bağlı uygulamaların erişilemez olmasını istemediğinizden bu davranış beklenir.

  3. İkinci sanal IP adresinin yük devretmesi ve geri dönüşü sırasında, HANA veritabanına bağlanmak için ikinci sanal IP'yi kullanan uygulamalarda mevcut bağlantılar kesintiye uğrayabilir.

Kurulum, ikinci sanal IP kaynağının iyi durumdaki bir SAP HANA örneğinin çalıştığı bir düğüme atandığı süreyi en üst düzeye çıkarır.

Küme kurulumunu test edin

Bu bölümde, kurulumunuzu nasıl test edebilirsiniz açıklanmaktadır. Teste başlamadan önce Pacemaker'ın başarısız bir eylemi olmadığından (bilgisayar durumu aracılığıyla), beklenmeyen konum kısıtlamaları olmadığından (örneğin, geçiş testinin artıkları) ve HANA'nın eşitleme durumunda olduğundan emin olun. Örneğin, ile systemReplicationStatus.

sudo su - hn1adm -c "python /usr/sap/HN1/HDB03/exe/python_support/systemReplicationStatus.py"

Geçişi test edin

Teste başlamadan önce kaynak durumu:

Clone Set: SAPHanaTopology_HN1_03-clone [SAPHanaTopology_HN1_03]
    Started: [ hn1-db-0 hn1-db-1 ]
Master/Slave Set: SAPHana_HN1_03-master [SAPHana_HN1_03]
    Masters: [ hn1-db-0 ]
    Slaves: [ hn1-db-1 ]
Resource Group: g_ip_HN1_03
    nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hn1-db-0
    vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hn1-db-0

Aşağıdaki komutu kök olarak çalıştırarak SAP HANA ana düğümünü geçirebilirsiniz:

# On RHEL 7.x
pcs resource move SAPHana_HN1_03-master
# On RHEL 8.x
pcs resource move SAPHana_HN1_03-clone --master

Küme, SAP HANA ana düğümünü ve sanal IP adresini içeren grubu öğesine hn1-db-1geçirir.

Geçiş tamamlandıktan sudo pcs status sonra çıkış şöyle görünür:

Clone Set: SAPHanaTopology_HN1_03-clone [SAPHanaTopology_HN1_03]
    Started: [ hn1-db-0 hn1-db-1 ]
Master/Slave Set: SAPHana_HN1_03-master [SAPHana_HN1_03]
    Masters: [ hn1-db-1 ]
    Stopped: [ hn1-db-0 ]
Resource Group: g_ip_HN1_03
    nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hn1-db-1
    vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hn1-db-1

ile AUTOMATED_REGISTER="false", küme başarısız HANA veritabanını yeniden başlatmaz veya üzerindeki hn1-db-0yeni birincil veritabanına kaydetmez. Bu durumda, hn1adm olarak şu komutları çalıştırarak HANA örneğini ikincil olarak yapılandırın:

sapcontrol -nr 03 -function StopWait 600 10
hdbnsutil -sr_register --remoteHost=hn1-db-1 --remoteInstance=03 --replicationMode=sync --name=SITE1

Geçiş, yeniden silinmesi gereken konum kısıtlamaları oluşturur. Aşağıdaki komutu kök olarak veya aracılığıyla sudoçalıştırın:

pcs resource clear SAPHana_HN1_03-master

kullanarak pcs statusHANA kaynağının durumunu izleyin. ÜZERINDE HANA başlatıldıktan hn1-db-0sonra çıkış şöyle görünmelidir:

Clone Set: SAPHanaTopology_HN1_03-clone [SAPHanaTopology_HN1_03]
    Started: [ hn1-db-0 hn1-db-1 ]
Master/Slave Set: SAPHana_HN1_03-master [SAPHana_HN1_03]
    Masters: [ hn1-db-1 ]
    Slaves: [ hn1-db-0 ]
Resource Group: g_ip_HN1_03
    nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hn1-db-1
    vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hn1-db-1

Ağ iletişimlerini engelleme

Teste başlamadan önce kaynak durumu:

Clone Set: SAPHanaTopology_HN1_03-clone [SAPHanaTopology_HN1_03]
    Started: [ hn1-db-0 hn1-db-1 ]
Master/Slave Set: SAPHana_HN1_03-master [SAPHana_HN1_03]
    Masters: [ hn1-db-1 ]
    Slaves: [ hn1-db-0 ]
Resource Group: g_ip_HN1_03
    nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hn1-db-1
    vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hn1-db-1

Düğümlerden birinde iletişimi engellemek için güvenlik duvarı kuralını çalıştırın.

# Execute iptable rule on hn1-db-1 (10.0.0.6) to block the incoming and outgoing traffic to hn1-db-0 (10.0.0.5)
iptables -A INPUT -s 10.0.0.5 -j DROP; iptables -A OUTPUT -d 10.0.0.5 -j DROP

Küme düğümleri birbiriyle iletişim kuramıyorsa bölünmüş beyin senaryosu riski vardır. Bu gibi durumlarda küme düğümleri birbirlerini aynı anda çitle bağlamaya çalışır ve bu da bir çit yarışıyla sonuçlanır. Böyle bir durumu önlemek için küme yapılandırmasında priority-fencing-delay özelliğini ayarlamanızı öneririz (yalnızca pacemaker-2.0.4-6.el8 veya üzeri için geçerlidir).

Özelliği etkinleştirerek priority-fencing-delay küme, özellikle HANA ana kaynağını barındıran düğümde eskrim eyleminde gecikmeye neden olur ve düğümün çit yarışını kazanmasını sağlar.

Güvenlik duvarı kuralını silmek için aşağıdaki komutu çalıştırın:

# If the iptables rule set on the server gets reset after a reboot, the rules will be cleared out. In case they have not been reset, please proceed to remove the iptables rule using the following command.
iptables -D INPUT -s 10.0.0.5 -j DROP; iptables -D OUTPUT -d 10.0.0.5 -j DROP

Azure eskrim aracısını test etme

Not

Bu makale, Microsoft'un artık kullanmadığını belirten bir terime başvurular içerir. Terim yazılımdan kaldırıldığında, bu makaleden kaldıracağız.

Teste başlamadan önce kaynak durumu:

Clone Set: SAPHanaTopology_HN1_03-clone [SAPHanaTopology_HN1_03]
    Started: [ hn1-db-0 hn1-db-1 ]
Master/Slave Set: SAPHana_HN1_03-master [SAPHana_HN1_03]
    Masters: [ hn1-db-1 ]
    Slaves: [ hn1-db-0 ]
Resource Group: g_ip_HN1_03
    nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hn1-db-1
    vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hn1-db-1

SAP HANA'nın Master olarak çalıştığı düğümdeki ağ arabirimini devre dışı bırakarak Azure eskrim aracısının kurulumunu test edebilirsiniz. Ağ hatası simülasyonu hakkında bir açıklama için Red Hat Bilgi Bankası makalesi 79523'e bakın.

Bu örnekte, ağa tüm erişimi engellemek için betiği kök olarak kullanacağız net_breaker :

sh ./net_breaker.sh BreakCommCmd 10.0.0.6

Sanal makinenin küme yapılandırmanıza bağlı olarak yeniden başlatılması veya durdurulması gerekir. ayarını offolarak ayarlarsanızstonith-action, VM durdurulur ve kaynaklar çalışan VM'ye geçirilir.

VM'yi yeniden başlattıktan sonra, sap HANA kaynağı ayarlarsanız AUTOMATED_REGISTER="false"ikincil olarak başlatılamaz. Bu durumda, şu komutu hn1adm kullanıcısı olarak çalıştırarak HANA örneğini ikincil olarak yapılandırın:

sapcontrol -nr 03 -function StopWait 600 10
hdbnsutil -sr_register --remoteHost=hn1-db-0 --remoteInstance=03 --replicationMode=sync --name=SITE2

Köke geri dönün ve başarısız olan durumu temizleyin:

# On RHEL 7.x
pcs resource cleanup SAPHana_HN1_03-master
# On RHEL 8.x
pcs resource cleanup SAPHana_HN1_03 node=<hostname on which the resource needs to be cleaned>

Test sonrasındaki kaynak durumu:

Clone Set: SAPHanaTopology_HN1_03-clone [SAPHanaTopology_HN1_03]
    Started: [ hn1-db-0 hn1-db-1 ]
Master/Slave Set: SAPHana_HN1_03-master [SAPHana_HN1_03]
    Masters: [ hn1-db-0 ]
    Slaves: [ hn1-db-1 ]
Resource Group: g_ip_HN1_03
    nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hn1-db-0
    vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hn1-db-0

El ile yük devretmeyi test edin

Teste başlamadan önce kaynak durumu:

Clone Set: SAPHanaTopology_HN1_03-clone [SAPHanaTopology_HN1_03]
    Started: [ hn1-db-0 hn1-db-1 ]
Master/Slave Set: SAPHana_HN1_03-master [SAPHana_HN1_03]
    Masters: [ hn1-db-0 ]
    Slaves: [ hn1-db-1 ]
Resource Group: g_ip_HN1_03
    nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hn1-db-0
    vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hn1-db-0

Düğümdeki hn1-db-0 kümeyi kök olarak durdurarak el ile yük devretmeyi test edebilirsiniz:

pcs cluster stop

Yük devretme işleminden sonra kümeyi yeniden başlatabilirsiniz. ayarlarsanız AUTOMATED_REGISTER="false", düğümdeki hn1-db-0 SAP HANA kaynağı ikincil olarak başlatılamaz. Bu durumda, şu komutu kök olarak çalıştırarak HANA örneğini ikincil olarak yapılandırın:

pcs cluster start

Aşağıdakini hn1adm olarak çalıştırın:

sapcontrol -nr 03 -function StopWait 600 10
hdbnsutil -sr_register --remoteHost=hn1-db-1 --remoteInstance=03 --replicationMode=sync --name=SITE1

Ardından kök olarak:

# On RHEL 7.x
pcs resource cleanup SAPHana_HN1_03-master
# On RHEL 8.x
pcs resource cleanup SAPHana_HN1_03 node=<hostname on which the resource needs to be cleaned>

Test sonrasındaki kaynak durumu:

Clone Set: SAPHanaTopology_HN1_03-clone [SAPHanaTopology_HN1_03]
    Started: [ hn1-db-0 hn1-db-1 ]
Master/Slave Set: SAPHana_HN1_03-master [SAPHana_HN1_03]
    Masters: [ hn1-db-1 ]
     Slaves: [ hn1-db-0 ]
Resource Group: g_ip_HN1_03
    nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hn1-db-1
    vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hn1-db-1

Sonraki adımlar