Piattaforme dati supportate nella Data Science Virtual Machine

Con una Data Science Virtual Machine, (DSVM) è possibile compilare risorse analitiche per un'ampia gamma di piattaforme di dati. Oltre alle interfacce di piattaforme di dati remote, la macchina virtuale per data science offre un'istanza locale per il rapido sviluppo e la creazione di prototipi.

La DSVM supporta questi strumenti di piattaforma dati:

SQL Server Developer Edition

Finestre

Attrezzaggio

Il server del database è già preconfigurato e i servizi Windows correlati a SQL Server, (ad esempio, SQL Server (MSSQLSERVER)) sono impostati in modo da essere eseguiti automaticamente. L'unico passaggio manuale prevede l'abilitazione dell'analisi nel database tramite l’uso di Microsoft Machine Learning Server. Eseguire il comando seguente per abilitare l'analisi come azione una tantum in SQL Server Management Studio (SSMS). Eseguire questo comando dopo aver eseguito l'accesso come amministratore del computer, aprire una nuova query in SSMS e selezionare il database master:

CREATE LOGIN [%COMPUTERNAME%\SQLRUserGroup] FROM WINDOWS 

(sostituire %COMPUTERNAME% con il nome della VM).

Per eseguire SQL Server Management Studio, è possibile cercare "SQL Server Management Studio" nell'elenco dei programmi, oppure usare Windows Search per trovarlo ed eseguirlo. Quando vengono richieste le credenziali, selezionare Autenticazione di Windows e usare o il nome del computer o localhost nel campo Nome del Microsoft SQL Server.

Utilizzo ed esecuzione

Per impostazione predefinita, il server di database con l'istanza del database predefinito viene eseguito automaticamente. È possibile usare strumenti quali SQL Server Management Studio nella macchina virtuale per accedere al database SQL Server in locale. L'account degli amministratori locali dispone di accesso come amministratore al database.

Inoltre, la DSVM include driver ODBC e JDBC per comunicare con

• SQL Server
• Database SQL di Azure
• Risorse di Azure Synapse Analytics provenienti da applicazioni scritte in più linguaggi, tra cui Python e Machine Learning Server.

Come viene configurato e installato in DSVM?

SQL Server è installato nella modalità standard. Disponibile in C:\Program Files\Microsoft SQL Server. L'istanza di Machine Learning Server nel database è disponibile in C:\Program Files\Microsoft SQL Server\MSSQL13.MSSQLSERVER\R_SERVICES. La DSVM dispone anche di un'istanza autonoma di Machine Learning Server separata, installata in C:\Program Files\Microsoft\R Server\R_SERVER. Queste due istanze di Machine Learning Server non condividono le librerie.

Ubuntu

È necessario installare SQL Server Developer Edition in una DSVM Ubuntu prima di poterlo usare. Per altre informazioni, vedere Avvio rapido: Installare SQL Server e creare un database in Ubuntu.

Apache Spark 2.x (autonomo)

Modalità d'uso

È possibile eseguire il spark-submit comando o pyspark per inviare processi Spark nella riga di comando. È anche possibile creare un blocco appunti Jupyter creando un nuovo blocco appunti con il kernel Spark.

Per usare Spark da R, è necessario usare librerie come SparkR, Sparklyr e Microsoft Machine Learning Server, disponibili nella DSVM. Vedere i collegamenti agli esempi nella tabella precedente.

Attrezzaggio

Prima svolgere esecuzioni in un contesto Spark in Microsoft Machine Learning Server nella versione DSVM per Ubuntu Linux, è necessario completare un unico passaggio di configurazione per abilitare un solo nodo locale Hadoop Distributed File System e un'istanza Yarn. Per impostazione predefinita, i servizi Hadoop sono installati ma disabilitati su DSVM. Per abilitarli, la prima volta eseguire i comandi seguenti come radice:

echo -e 'y\n' | ssh-keygen -t rsa -P '' -f ~hadoop/.ssh/id_rsa
cat ~hadoop/.ssh/id_rsa.pub >> ~hadoop/.ssh/authorized_keys
chmod 0600 ~hadoop/.ssh/authorized_keys
chown hadoop:hadoop ~hadoop/.ssh/id_rsa
chown hadoop:hadoop ~hadoop/.ssh/id_rsa.pub
chown hadoop:hadoop ~hadoop/.ssh/authorized_keys
systemctl start hadoop-namenode hadoop-datanode hadoop-yarn

Per arrestare i servizi correlati a Hadoop quando non sono necessari, eseguire systemctl stop hadoop-namenode hadoop-datanode hadoop-yarn.

Un esempio che illustra come sviluppare e testare MRS in un contesto Spark remoto, ovvero l'istanza di Spark autonoma nel DSVM, è disponibile nella directory /dsvm/samples/MRS.

Come viene configurato e installato in DSVM?

Le librerie di accesso ai dati di Blob di Azure o da Azure Data Lake Storage tramite l'uso delle librerie Microsoft Machine Learning MMLSpark sono preinstallate in $SPARK_HOME/JAR. Questi JAR vengono caricati automaticamente all'avvio di Spark. Per impostazione predefinita, Spark usa dati situati sul disco locale.

L'istanza di Spark nella DSVM può accedere a dati archiviati nell'archiviazione BLOB o in Azure Data Lake Storage. È prima necessario creare e configurare il file core-site.xml in base al modello in $SPARK_HOME/conf/core-site.xml.template. È anche necessario disporre delle credenziali appropriate per accedere all'archiviazione Blob e ad Azure Data Lake Storage. I file modello usano segnaposti per l'archiviazione Blob e le configurazioni di Azure Data Lake Storage.

Per altre informazioni sulla creazione di credenziali del servizio Azure Data Lake Storage, vedere Autenticazione con Azure Data Lake Storage Gen1. Dopo aver immesso le credenziali per l'archiviazione Blob o Azure Data Lake Storage nel file di core-site.xml, è possibile fare riferimento ai dati archiviati in tali origini tramite il prefisso URI di wasb:// o adl://.