Databricks Connect per R

Questo articolo illustra come iniziare rapidamente a usare Databricks Connect usando R, sparklyre RStudio Desktop.

• Per la versione Python di questo articolo, consultare Databricks Connect per Python.
• Per la versione Scala di questo articolo, consultare Databricks Connect per Scala.

Databricks Connect consente di connettere gli IDE più diffusi, come RStudio Desktop, server notebook e altre applicazioni personalizzate ai cluster Azure Databricks. Consultare Cos’è Databricks Connect?.

Esercitazione

Questa esercitazione usa RStudio Desktop e Python 3.10. Se non sono già installati, installare R e RStudio Desktop e Python 3.10.

Per informazioni supplementari su questa esercitazione, consultare la sezione "Databricks Connect" di Spark Connect e Databricks Connect v2 nel sparklyr sito Web.

Requisiti

Per completare questa esercitazione, è necessario soddisfare i requisiti seguenti:

• L'area di lavoro e il cluster di Azure Databricks di destinazione devono soddisfare i requisiti per la configurazione del cluster per Databricks Connect.
• È necessario disporre dell'ID cluster disponibile. Per ottenere l'ID cluster, nell'area di lavoro fare clic su Compute sulla barra laterale e quindi sul nome del cluster. Nella barra degli indirizzi del Web browser copiare la stringa di caratteri tra clusters e configuration nell'URL.

Step 1: Creare un token di accesso personale

Questa esercitazione usa l'autenticazione del token di accesso personale di Azure Databricks per l'autenticazione con l'area di lavoro di Azure Databricks.

Se si ha già un token di accesso personale di Azure Databricks, passare al Passo 2. Se non si è certi di avere già un token di accesso personale di Azure Databricks, è possibile seguire questo passaggio senza influire sugli altri token di accesso personali di Azure Databricks nell'account utente.

Per creare un token di accesso personale:

1. Nell'area di lavoro di Azure Databricks, fare clic sul nome utente di Azure Databricks nella barra superiore, quindi selezionare Impostazioni nell'elenco a discesa.
2. Fare clic su Sviluppatore.
3. Accanto a Token di accesso fare clic su Gestisci.
4. Fare clic su Generare nuovi token.
5. (Facoltativo) Immettere un commento che consente di identificare questo token in futuro e modificare la durata predefinita del token di 90 giorni. Per creare un token senza durata (scelta non consigliata), lasciare vuota la casella Durata (giorni).
6. Fare clic su Genera.
7. Copiare il token visualizzato in un percorso sicuro e quindi fare clic su Fine.

Step 2: Creare il progetto

1. Avviare RStudio Desktop.
2. Dal menu principale, fare click su File > Nuovo progetto.
3. Selezionare Nuova Directory.
4. Selezionare Nuovo progetto.
5. Per Nome della directory e Crea progetto come sottodirectory di , immettere il nome della nuova directory del progetto e dove creare questa nuova directory del progetto.
6. Selezionare Usa renv con questo progetto. Se viene richiesto di installare una versione aggiornata del renv pacchetto, fare clic su Sì.
7. Fare clic su Crea progetto.

Step 3: Aggiungere il pacchetto Databricks Connect e altre dipendenze

1. Nel menu principale di RStudio Desktop fare clic su Strumenti > Installa pacchetti.

2. Lasciare Installa da impostato su Repository (CRAN).

3. Per Pacchetti immettere l'elenco seguente di pacchetti che sono prerequisiti per il pacchetto Databricks Connect e questa esercitazione:

   sparklyr,pysparklyr,reticulate,usethis,dplyr,dbplyr
   

4. Lasciare Installa nella libreria impostato sul proprio ambiente virtuale R.

5. Assicurarsi che l'opzione Installa dipendenze sia selezionata.

6. Fare clic su Installa.

1. Quando viene chiesto, nel riquadro Console (Visualizza > Sposta stato attivo nella console) per procedere con l'installazione, immettere Y. I pacchetti sparklyr e pysparklyr le relative dipendenze sono installati nell'ambiente virtuale R.

2. Nel riquadro Console usare reticulate per installare Python eseguendo il seguente comando. (Databricks Connect per R richiede che prima vengano installati reticulate e Python.) Nel seguente comando sostituire 3.10 con la versione principale e secondaria della versione di Python installata nel cluster Azure Databricks. Per trovare questa versione principale e secondaria, consultare la sezione "Ambiente di sistema" delle note sulla versione per la versione di Databricks Runtime del cluster in Versioni e compatibilità delle note sulla versione di Databricks Runtime.

   reticulate::install_python(version = "3.10")
   

3. Nel riquadro Console installare il pacchetto Databricks Connect eseguendo il comando seguente. Nel seguente comando sostituire 13.3 con la versione di Databricks Runtime installata nel cluster Azure Databricks. Per trovare questa versione, nella pagina dei dettagli del cluster nell'area di lavoro di Azure Databricks, nella scheda Configurazione consultare la casella Versione di Databricks Runtime.

   pysparklyr::install_databricks(version = "13.3")
   

   Se non si conosce la versione di Databricks Runtime per il cluster o non si vuole cercarla, è invece possibile eseguire il comando seguente ed pysparklyr eseguire una query sul cluster per determinare la versione corretta di Databricks Runtime da usare:

   pysparklyr::install_databricks(cluster_id = "<cluster-id>")
   

   Se si vuole che il progetto si connetta in un secondo momento a un cluster diverso con la stessa versione di Databricks Runtime rispetto a quella appena specificata, pysparklyr userà lo stesso ambiente Python. Se il nuovo cluster ha una versione diversa di Databricks Runtime, è necessario eseguire di nuovo il comando pysparklyr::install_databricks con la nuova versione di Databricks Runtime o l'ID cluster.

Step 4: Impostare le variabili d’ambiente per l'URL dell'area di lavoro, il token di accesso e l'ID cluster

Databricks non consiglia di impostare come hardcoded valori sensibili o di modifica, ad esempio l'URL dell'area di lavoro di Azure Databricks, il token di accesso personale di Azure Databricks o l'ID cluster di Azure Databricks agli script R. Archiviare invece questi valori separatamente, ad esempio nelle variabili di ambiente locali. Questa esercitazione usa il supporto predefinito di RStudio Desktop per l'archiviazione delle variabili di ambiente in un .Renviron file.

1. Se non esiste già, creare un file .Renviron per archiviare le variabili d’ambiente, quindi aprire il file per la modifica: nella Console di RStudio Desktop eseguire il seguente comando:

   usethis::edit_r_environ()
   

2. Nel file .Renviron che appare (Visualizza > Sposta Focus sulla Sorgente) immettere il contenuto seguente. Assicurarsi di sostituire i seguenti segnaposto nel codice:

   • Sostituire <workspace-url> con l'URL per area di lavoro, ad esempio https://adb-1234567890123456.7.azuredatabricks.net.
   • Sostituire <personal-access-token> con il token di accesso personale di Azure Databricks dello Step 1.
   • Sostituire <cluster-id> con l'ID cluster in base ai requisiti di questa esercitazione.

   DATABRICKS_HOST=<workspace-url>
   DATABRICKS_TOKEN=<personal-access-token>
   DATABRICKS_CLUSTER_ID=<cluster-id>
   

3. Salvare il file .Renviron.

4. Caricare le variabili d’ambiente in R: nel menu principale fare clic su Sessione > riavvio R.

Step 5: Aggiungere codice

1. Nel menu principale di RStudio Desktop fare clic su File > Nuovo file > R Script.

2. Immettere il seguente codice nel file e quindi salvare il file (File > Save) come demo.R:

   library(sparklyr)
   library(dplyr)
   library(dbplyr)
   
   sc <- sparklyr::spark_connect(
     master     = Sys.getenv("DATABRICKS_HOST"),
     cluster_id = Sys.getenv("DATABRICKS_CLUSTER_ID"),
     token      = Sys.getenv("DATABRICKS_TOKEN"),
     method     = "databricks_connect",
     envname    = "r-reticulate"
   )
   
   trips <- dplyr::tbl(
     sc,
     dbplyr::in_catalog("samples", "nyctaxi", "trips")
   )
   
   print(trips, n = 5)
   

Step 6: Eseguire il codice

1. Sulla barra degli strumenti demo.R del file di RStudio Desktop fare clic su Sorgente.

   

2. Nella Console vengono visualizzate le prime cinque righe della trips tabella.

3. Nella schermata Connessioni (Visualizza > Mostra connessioni) è possibile esplorare i cataloghi, gli schemi, le tabelle e le viste disponibili.

   

Step 7: Eseguire il debug del codice

1. Nel file demo.R fare clic sulla barra accanto a print(trips, n = 5) per impostare un punto di interruzione.
2. Nella barra degli strumenti del file demo.R fare clic su Sorgente.
3. Quando il codice viene sospeso in esecuzione nel punto di interruzione, è possibile esaminare la variabile nella vista Ambiente (Visualizza > Mostra ambiente).
4. Dal menu principale scegliere Debug > Continua.
5. Nella Console vengono visualizzate le prime cinque righe della trips tabella.