Balíčky pracovních prostorů

  • Článek

Balíčky pracovních prostorů můžou být soubory vlastního nebo privátního kola (Python), jar (Scala/Java) nebo tar.gz (R). Tyto balíčky můžete nahrát do pracovního prostoru a později je přiřadit ke konkrétnímu fondu Sparku.

Přidání balíčků pracovních prostorů:

  1. Přejděte na kartu Spravovat>balíčky pracovních prostorů .
  2. Nahrajte soubory kolečka pomocí selektoru souborů.
  3. Po nahrání souborů do pracovního prostoru Azure Synapse můžete tyto balíčky přidat do daného fondu Apache Sparku.

Snímek obrazovky, který zvýrazňuje balíčky pracovních prostorů

Upozornění

  • V Azure Synapse může fond Apache Sparku využívat vlastní knihovny, které se buď nahrají jako balíčky pracovních prostorů, nebo se nahrají v dobře známé Azure Data Lake Storage cestě. Obě tyto možnosti však nelze použít současně v rámci stejného fondu Apache Sparku. Pokud jsou balíčky poskytovány pomocí obou metod, nainstalují se pouze soubory kolečka zadané v seznamu Balíčky pracovních prostorů.

  • Jakmile se balíčky pracovních prostorů použijí k instalaci balíčků do daného fondu Apache Sparku, platí omezení, že už nebudete moct zadávat balíčky pomocí cesty k účtu úložiště ve stejném fondu.

Poznámka

Doporučuje se, abyste v pracovním prostoru neměli balíčky s více koly se stejným názvem. Pokud chcete použít jinou verzi stejného balíčku kolečka, musíte odstranit stávající verzi a nahrát novou.

Účet úložiště

Vlastní balíčky kol se dají nainstalovat do fondu Apache Sparku tak, že nahrají všechny soubory kol do účtu Azure Data Lake Storage (Gen2), který je propojený s pracovním prostorem Synapse.

Soubory by se měly nahrát do následující cesty ve výchozím kontejneru účtu úložiště:

abfss://<file_system>@<account_name>.dfs.core.windows.net/synapse/workspaces/<workspace_name>/sparkpools/<pool_name>/libraries/python/

Upozornění

  • V některých případech může být nutné vytvořit cestu k souboru na základě výše uvedené struktury, pokud ještě neexistuje. Může být například nutné přidat python složku do složky libraries , pokud ještě neexistuje.
  • Tato metoda správy vlastních souborů kol nebude podporována v modulu runtime Azure Synapse pro Apache Spark 3.0. Pokud chcete spravovat vlastní soubory kolečka, projděte si funkci balíčků pracovních prostorů.

Důležité

Pokud chcete nainstalovat vlastní knihovny pomocí metody Azure DataLake Storage, musíte mít oprávnění Přispěvatel dat v objektech blob služby Storage nebo Vlastník dat v objektech blob služby Storage k primárnímu účtu úložiště Gen2, který je propojený s pracovním prostorem Azure Synapse Analytics.

Další kroky