Spark'ta kitaplık yönetimi

  • Makale

Önemli

AKS üzerinde Azure HDInsight 31 Ocak 2025'te kullanımdan kaldırıldı. Bu duyuru ilehakkında daha fazla bilgi edinin.

İş yüklerinizin aniden sonlandırılmasını önlemek için iş yüklerinizi Microsoft Fabric veya eşdeğer bir Azure ürününe geçirmeniz gerekir.

Önemli

Bu özellik şu anda önizleme aşamasındadır. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları beta, önizleme aşamasında olan veya henüz genel kullanıma sunulmamış Azure özellikleri için geçerli olan daha fazla yasal hüküm içerir. Bu belirli önizleme hakkında bilgi için bkz. AKS üzerinde Azure HDInsight önizleme bilgileri. Sorular veya özellik önerileri için lütfen ayrıntıları içeren bir isteği AskHDInsight üzerinde gönderin ve ayrıca Azure HDInsight Communityhakkında daha fazla güncelleştirme için bizi izleyin.

Kitaplık Yönetimi'nin amacı, açık kaynak veya özel kodu kümelerinizde çalışan not defterleri ve işler için kullanılabilir hale getirmektir. PyPI depolarından Python kitaplıklarını indirebilirsiniz. Bu makale, küme kullanıcı arabirimindeki kitaplıkları yönetmeye odaklanır. AKS üzerinde Azure HDInsight zaten kümede birçok ortak kitaplık içerir. AKS kümesinde HDI'ye hangi kitaplıkların dahil olduğunu görmek için kitaplık yönetimi sayfasını gözden geçirin.

Kitaplıkları yükleme

Kitaplıkları iki modda yükleyebilirsiniz:

  • Küme yüklü
  • Not defteri kapsamlı

Küme Kuruldu

Bir kümede çalışan tüm not defterleri küme kitaplıklarını kullanabilir. Küme kitaplığını doğrudan PyPi gibi genel bir depodan yükleyebilirsiniz. Maven depolarından dosya yükleme ve bulut depolamadan özel kütüphaneler yükleme, yol haritasında yer almaktadır.

Küme yüklü kitaplık yöneticisi sayfasını gösteren ekran görüntüsü.

Not defteri kapsamlı

Python ve Scala için kullanılabilen, not defteri oturumuna özgü kitaplıklar, kitaplıkları yüklemenize ve bir not defteri oturumu kapsamında bir ortam oluşturmanıza olanak tanır. Bu kitaplıklar aynı kümede çalışan diğer not defterlerini etkilemez. Defter bazlı kütüphaneler kalıcı olmaz ve her oturumda yeniden yüklenmelidir.

Not

Belirli bir not defteri için özel bir ortama ihtiyacınız olduğunda not defteri kapsamlı kitaplıkları kullanın.

Kitaplık Yükleme Modları

PyPI: Yükleme kullanıcı arabirimindeki kitaplık adından ve sürümünden bahsederek açık kaynak PyPI deposundan kitaplıkları getirin.

Yüklü kitaplıkları görüntüleme

  1. Genel Bakış sayfasında Kitaplık Yöneticisi'ne gidin.

    kitaplık yöneticisi sayfasını gösteren ekran görüntüsü .

  2. Spark Küme Yöneticisi'nde Kitaplık Yöneticisi'ne tıklayın.

  3. Yüklü kitaplıkların listesini buradan görüntüleyebilirsiniz.

    Yüklü kitaplıkların nasıl görüntüleneceğini gösteren ekran görüntüsü.

Kitaplık pencere öğesi ekle

PyPI

  1. PyPI sekmesinde Paket Adı girin ve Paket Sürümünü ..

  2. TıklayınYükle.

    PyPI'nin nasıl yükleneceğini gösteren ekran görüntüsü.

Kitaplıkları Kaldırma

Kitaplıkları artık kullanmamaya karar verirseniz kitaplık yönetimi sayfasındaki kaldır düğmesi aracılığıyla kitaplık paketlerini kolayca silebilirsiniz.

  1. Kitaplık adını seçin ve tıklayın

    Kitaplığı seçmeyi gösteren ekran görüntüsü.

  2. Widget'ta Kaldır üzerine tıklayın

    Kitaplığı kaldırmayı gösteren ekran görüntüsü.

    Not

    • Jupyter not defterinden yüklenen paketler yalnızca Jupyter Notebook'tan silinebilir.
    • Kitaplık yöneticisinden yüklenen paketler yalnızca kitaplık yöneticisinden kaldırılabilir.
    • Kitaplığı/paketi yükseltmek için kitaplığın geçerli sürümünü kaldırın ve kitaplığın gerekli sürümünü yeniden yükleyin.
    • Jupyter not defterinden kitaplıkların yüklenmesi oturuma özeldir. Kalıcı değildir.
    • Ağır paketlerin yüklenmesi, boyutları ve karmaşıklıkları nedeniyle biraz zaman alabilir.