Spark'ta Kitaplık yönetimi

  • Makale

Not

31 Ocak 2025'te AKS'de Azure HDInsight'ı kullanımdan kaldırmaya devam edeceğiz. 31 Ocak 2025'den önce, iş yüklerinizin aniden sonlandırılmasını önlemek için iş yüklerinizi Microsoft Fabric'e veya eşdeğer bir Azure ürününe geçirmeniz gerekir. Aboneliğinizdeki kalan kümeler durdurulur ve konaktan kaldırılır.

Kullanımdan kaldırma tarihine kadar yalnızca temel destek sağlanacaktır.

Önemli

Bu özellik şu anda önizlemededir. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları, beta, önizleme aşamasında olan veya henüz genel kullanıma sunulmamış Azure özellikleri için geçerli olan daha fazla yasal hüküm içerir. Bu belirli önizleme hakkında bilgi için bkz . AKS üzerinde Azure HDInsight önizleme bilgileri. Sorular veya özellik önerileri için lütfen AskHDInsight'ta ayrıntıları içeren bir istek gönderin ve Azure HDInsight Topluluğu hakkında daha fazla güncelleştirme için bizi takip edin.

Kitaplık Yönetimi'nin amacı, açık kaynak veya özel kodu kümelerinizde çalışan not defterleri ve işler için kullanılabilir hale getirmektir. PyPI depolarından Python kitaplıklarını karşıya yükleyebilirsiniz. Bu makale, küme kullanıcı arabirimindeki kitaplıkları yönetmeye odaklanır. AKS üzerinde Azure HDInsight zaten kümede birçok ortak kitaplık içerir. AKS kümesinde HDI'ye hangi kitaplıkların dahil olduğunu görmek için kitaplık yönetimi sayfasını gözden geçirin.

Kitaplıkları yükleme

Kitaplıkları iki modda yükleyebilirsiniz:

  • Küme yüklü
  • Not defteri kapsamlı

Küme Yüklendi

Bir kümede çalışan tüm not defterleri küme kitaplıklarını kullanabilir. Küme kitaplığını doğrudan PyPi gibi genel bir depodan yükleyebilirsiniz. Maven depolarından karşıya yükleme, bulut depolamadan özel kitaplıkları karşıya yükleme yol haritasında yer alır.

Kümenin yüklü kitaplık yöneticisi sayfasını gösteren ekran görüntüsü.

Not defteri kapsamlı

Python ve Scala için kullanılabilen not defteri kapsamlı kitaplıklar, kitaplıkları yüklemenize ve kapsamı not defteri oturumu kapsamında bir ortam oluşturmanıza olanak tanır. Bu kitaplıklar aynı kümede çalışan diğer not defterlerini etkilemez. Not defteri kapsamlı kitaplıklar kalıcı değildir ve her oturum için yeniden yüklenmelidir.

Not

Belirli bir not defteri için özel bir ortama ihtiyacınız olduğunda not defteri kapsamlı kitaplıkları kullanın.

Kitaplık Yükleme Modları

PyPI: Yükleme kullanıcı arabirimindeki kitaplık adından ve sürümünden bahsederek açık kaynak PyPI deposundan kitaplıkları getirin.

Yüklü kitaplıkları görüntüleme

  1. Genel Bakış sayfasında Kitaplık Yöneticisi'ne gidin.

    Kitaplık yöneticisi sayfasını gösteren ekran görüntüsü.

  2. Spark Küme Yöneticisi'nde Kitaplık Yöneticisi'ne tıklayın.

  3. Yüklü kitaplıkların listesini buradan görüntüleyebilirsiniz.

    Yüklü kitaplıkların nasıl görüntüleneceğini gösteren ekran görüntüsü.

Kitaplık pencere öğesi ekleme

PyPI

  1. PyPI sekmesinden Paket Adı ve Paket Sürümü girin..

  2. Yükle'ye tıklayın.

    PyPI'nin nasıl yükleneceğini gösteren ekran görüntüsü.

Kitaplıkları Kaldırma

Kitaplıkları artık kullanmamaya karar verirseniz kitaplık yönetimi sayfasındaki kaldır düğmesi aracılığıyla kitaplık paketlerini kolayca silebilirsiniz.

  1. Kitaplık adını seçin ve tıklayın

    Kitaplığı seçmeyi gösteren ekran görüntüsü.

  2. Pencere öğesinde Kaldır'a tıklayın

    Kitaplığı kaldırmayı gösteren ekran görüntüsü.

    Not

    • Jupyter not defterinden yüklenen paketler yalnızca Jupyter Notebook'tan silinebilir.
    • Kitaplık yöneticisinden yüklenen paketler yalnızca kitaplık yöneticisinden kaldırılabilir.
    • Kitaplığı/paketi yükseltmek için kitaplığın geçerli sürümünü kaldırın ve kitaplığın gerekli sürümünü yeniden yükleyin.
    • Jupyter not defterinden kitaplıkların yüklenmesi oturuma özeldir. Dayanıklı değildir.
    • Ağır paketlerin yüklenmesi, boyutları ve karmaşıklıkları nedeniyle biraz zaman alabilir.