Jak używać magazynu metadanych Hive z klastrem Apache Spark™

  • Artykuł

Ważne

Ta funkcja jest aktualnie dostępna jako funkcja podglądu. Dodatkowe warunki użytkowania dla wersji zapoznawczych platformy Microsoft Azure obejmują więcej warunków prawnych, które dotyczą funkcji platformy Azure, które znajdują się w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej. Aby uzyskać informacje o tej konkretnej wersji zapoznawczej, zobacz Informacje o wersji zapoznawczej usługi Azure HDInsight w usłudze AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie w usłudze AskHDInsight , aby uzyskać szczegółowe informacje i postępuj zgodnie z nami, aby uzyskać więcej aktualizacji w społeczności usługi Azure HDInsight.

Ważne jest, aby udostępniać dane i magazyn metadanych w wielu usługach. Jeden z powszechnie używanych magazynów metadanych w magazynie metadanych HIVE. Usługa HDInsight w usłudze AKS umożliwia użytkownikom łączenie się z zewnętrznym magazynem metadanych. Ten krok umożliwia użytkownikom usługi HDInsight bezproblemowe łączenie się z innymi usługami w ekosystemie.

Usługa Azure HDInsight w usłudze AKS obsługuje niestandardowe magazyny metadanych, które są zalecane w przypadku klastrów produkcyjnych. Kluczowe kroki to

  1. Tworzenie bazy danych Azure SQL Database
  2. Tworzenie magazynu kluczy na potrzeby przechowywania poświadczeń
  3. Konfigurowanie magazynu metadanych podczas tworzenia klastra usługi HDInsight w usłudze AKS przy użyciu platformy Apache Spark™
  4. Obsługa zewnętrznego magazynu metadanych (pokazuje bazy danych i wykonaj limit 1).

Podczas tworzenia klastra usługa HDInsight musi połączyć się z zewnętrznym magazynem metadanych i zweryfikować poświadczenia.

Tworzenie bazy danych Azure SQL Database

  1. Utwórz lub utwórz istniejącą usługę Azure SQL Database przed skonfigurowaniem niestandardowego magazynu metadanych Hive dla klastra usługi HDInsight.

    Uwaga

    Obecnie obsługujemy tylko magazyn metadanych usługi Azure SQL Database for HIVE. Ze względu na ograniczenie programu Hive znak "-" (łącznik) w nazwie bazy danych magazynu metadanych nie jest obsługiwany.

Tworzenie magazynu kluczy na potrzeby przechowywania poświadczeń

  1. Tworzenie usługi Azure Key Vault.

    Celem usługi Key Vault jest umożliwienie przechowywania hasła administratora programu SQL Server ustawionego podczas tworzenia bazy danych SQL. Usługa HDInsight na platformie AKS nie zajmuje się bezpośrednio poświadczeniami. W związku z tym należy przechowywać ważne poświadczenia w usłudze Azure Key Vault. Dowiedz się, jak utworzyć usługę Azure Key Vault.

  2. Po utworzeniu usługi Azure Key Vault przypisz następujące role

    Objekt Rola Uwagi
    Tożsamość zarządzana przypisana przez użytkownika (ta sama nazwa użytkownika, która jest używana przez klaster usługi HDInsight) Użytkownik wpisów tajnych usługi Key Vault Dowiedz się, jak przypisać rolę do interfejsu użytkownika
    Użytkownik (który tworzy wpis tajny w usłudze Azure Key Vault) Key Vault Administrator Dowiedz się, jak przypisać rolę użytkownikowi.

    Uwaga

    Bez tej roli użytkownik nie może utworzyć wpisu tajnego.

  3. Utwórz klucz tajny

    Ten krok umożliwia przechowywanie hasła administratora serwera SQL jako wpisu tajnego w usłudze Azure Key Vault. Dodaj hasło (takie samo hasło, jak podane w bazie danych SQL dla administratora) w polu "Wartość" podczas dodawania wpisu tajnego.

    Zrzut ekranu przedstawiający sposób tworzenia magazynu kluczy.

    Zrzut ekranu przedstawiający sposób tworzenia wpisu tajnego.

    Uwaga

    Pamiętaj, aby zanotować nazwę wpisu tajnego, ponieważ będzie to konieczne podczas tworzenia klastra.

Konfigurowanie magazynu metadanych podczas tworzenia klastra spark usługi HDInsight

  1. Przejdź do usługi HDInsight w puli klastrów usługi AKS, aby utworzyć klastry.

    Zrzut ekranu przedstawiający sposób tworzenia nowego klastra.

  2. Włącz przycisk przełączania, aby dodać zewnętrzny magazyn metadanych hive i wypełnić poniższe szczegóły.

    Zrzut ekranu przedstawiający kartę podstawową.

  3. Pozostałe szczegóły należy wypełnić zgodnie z regułami tworzenia klastra dla klastra Apache Spark w usłudze HDInsight w usłudze AKS.

  4. Kliknij pozycję Przejrzyj i utwórz.

    Zrzut ekranu przedstawiający kartę Przeglądanie i tworzenie.

    Uwaga

    • Cykl życia magazynu metadanych nie jest powiązany z cyklem życia klastrów, więc można tworzyć i usuwać klastry bez utraty metadanych. Metadane, takie jak schematy hive, są utrwalane nawet po usunięciu i ponownym utworzeniu klastra usługi HDInsight.
    • Niestandardowy magazyn metadanych umożliwia dołączenie wielu klastrów i typów klastrów do tego magazynu metadanych.

Obsługa zewnętrznego magazynu metadanych

  1. Utwórz tabelę

    >> spark.sql("CREATE TABLE sampleTable (number Int, word String)")

    Zrzut ekranu przedstawiający sposób tworzenia tabeli.

  2. Dodawanie danych do tabeli

    >> spark.sql("INSERT INTO sampleTable VALUES (123, \"HDIonAKS\")");\

    Zrzut ekranu przedstawiający instrukcję insert.

  3. Odczytywanie tabeli

    >> spark.sql("select * from sampleTable").show()

    Zrzut ekranu przedstawiający sposób odczytywania tabeli.

Odwołanie