Databricks-verktyg med Databricks Anslut för Scala
Kommentar
Den här artikeln beskriver Databricks Anslut för Databricks Runtime 13.3 LTS och senare.
Den här artikeln beskriver hur du använder Databricks Utilities med Databricks Anslut för Scala. Med Databricks Anslut kan du ansluta populära ID:er, notebook-servrar och anpassade program till Azure Databricks-kluster. Se Vad är Databricks Anslut?. Python-versionen av den här artikeln finns i Databricks Utilities with Databricks Anslut for Python (Databricks Utilities with Databricks Anslut for Python).
Kommentar
Innan du börjar använda Databricks Anslut måste du konfigurera Databricks-Anslut-klienten.
Du använder Databricks Anslut för att komma åt Databricks Utilities på följande sätt:
- Använd
DBUtils.getDBUtils
för att komma åt Databricks File System (DBFS) och hemligheter via Databricks Utilities.DBUtils.getDBUtils
tillhör Biblioteket Databricks Utilities for Scala . - Det finns inga andra databricks-verktygsfunktioner än de föregående verktygen tillgängliga för Scala-projekt.
- Databricks Anslut för Scala deklarerar redan ett beroende av Databricks Utilities för Scala-biblioteket, så du behöver inte uttryckligen deklarera detta beroende i Scala-projektets byggfil, till exempel
build.sbt
försbt
,pom.xml
för Maven ellerbuild.gradle
för Gradle. - Autentisering för Databricks Utilities for Scala-biblioteket bestäms genom initiering
DatabricksSession
av klassen i ditt Databricks-Anslut projekt för Scala.
Dricks
Du kan också använda Databricks SDK för Java från Scala för att få åtkomst till alla tillgängliga Databricks REST-API:er, inte bara de föregående API:erna för Databricks Utilities. Se databricks/databricks-sdk-java-lagringsplatsen i GitHub och använd även Scala med Databricks SDK för Java.
I följande exempel visas hur du använder Databricks Utilities för Scala-biblioteket för att automatisera en Unity Catalog-volym. Det här exemplet skapar en fil med namnet zzz_hello.txt
i volymens sökväg på arbetsytan, läser data från filen och tar sedan bort filen.
import com.databricks.sdk.scala.dbutils.DBUtils
object Main {
def main(args: Array[String]): Unit = {
val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
val fileData = "Hello, Databricks!"
val dbutils = DBUtils.getDBUtils()
dbutils.fs.put(
file = filePath,
contents = fileData,
overwrite = true
)
println(dbutils.fs.head(filePath))
dbutils.fs.rm(filePath)
}
}