Какие средства включают Виртуальная машина для обработки и анализа данных Azure?

  • Статья

Вы можете использовать Виртуальная машина для обработки и анализа данных (DSVM), чтобы легко изучить данные и обрабатывать машинное обучение в облаке. DSVM предварительно настроен с помощью исправлений безопасности, драйверов, популярного программного обеспечения для обработки и разработки данных и полной операционной системы. Вы можете выбрать аппаратную среду, которая работает для вас, начиная от компьютеров с более низкой стоимостью ЦП до мощных компьютеров с несколькими GPU, хранилищем NVMe и большим объемом памяти. Для компьютеров с графическими процессорами устанавливаются все драйверы, а все платформы машинного обучения соответствуют версии для совместимости GPU. Кроме того, ускорение включено во всех приложениях, поддерживающих GPU.

DSVM поставляется с самыми полезными средствами обработки и анализа данных.

Создание решений для глубокого и машинного обучения

Средство DSVM под управлением Windows Server 2019 Windows Server 2022 DSVM DSVM под управлением Ubuntu 20.04 Примечания об использовании
CUDA, cuDNN, драйвер NVIDIA ✅ ✅ ✅
 CUDA, cuDNN, драйвер NVIDIA на DSVM
Horovod ❌ ❌ ✅ Horovod на DSVM
NVidia System Management Interface (nvidia-smi) ✅ ✅ ✅ nvidia-smi на DSVM
PyTorch ✅ ✅ ✅ PyTorch на DSVM
TensorFlow ✅ ✅
 ✅ TensorFlow на DSVM
Инструменты, интегрирующиеся с Машинным обучением Azure (Python) ✅
(пакет SDK для Python, примеры)		 ✅
(пакет SDK для Python, примеры)		 ✅
(пакет SDK для Python, CLI, примеры)		 Пакет SDK для Машинного обучения Azure
XGBoost ✅
(поддержка CUDA)		 ✅
(поддержка CUDA)		 ✅
(поддержка CUDA)		 XGBoost на DSVM
Vowpal Wabbit ✅ ✅ ✅
 Vowpal Wabbit на DSVM
Weka ❌ ❌ ❌
LightGBM ❌ ❌ ✅
(поддержка GPU и MPI)
H2O ❌ ❌ ✅
CatBoost ❌ ❌ ✅
Intel MKL ❌ ❌ ✅
OpenCV ❌ ❌ ✅
Dlib ❌ ❌ ✅
Docker ✅
(Только контейнеры Windows)		 ✅
(Только контейнеры Windows)		 ✅
Nccl ❌ ❌ ✅
Rattle ❌ ❌ ❌
PostgreSQL ❌ ❌ ✅
Среда выполнения ONNX ❌ ❌ ✅

Хранение, извлечение и обработка данных

Средство DSVM под управлением Windows Server 2019 Windows Server 2022 DSVM DSVM под управлением Ubuntu 20.04 Примечания об использовании
Реляционные базы данных SQL Server 2019
Developer Edition		 SQL Server 2019
Developer Edition		 SQL Server 2019
Developer Edition		 SQL Server на DSVM
Средства работы с базами данных Среда SQL Server Management Studio
SQL Server Integration Services
bcp, sqlcmd		 Среда SQL Server Management Studio
SQL Server Integration Services
bcp, sqlcmd		 SQuirreL SQL (средство запроса),
bcp, sqlcmd
Драйверы ODBC и JDBC
Обозреватель службы хранилища Azure ✅
 ✅
Azure CLI ✅
 ✅
 ✅
AzCopy ✅
 ✅
 ❌ AzCopy на DSVM
Драйвер больших двоичных объектов FUSE ❌ ❌ ❌
 blobfuse на DSVM
Средство переноса данных Azure Cosmos DB ✅ ✅ ❌ Azure Cosmos DB в DSVM
Программы командной строки для Unix и Linux ❌ ❌ ✅
Apache Spark 3.1 (изолированный экземпляр) ✅ ✅ ✅

Программы на языках Python, R, Julia и Node.js

Средство DSVM под управлением Windows Server 2019 Windows Server 2022 DSVM DSVM под управлением Ubuntu 20.04 Примечания об использовании
CRAN-R с популярными пакетами, предварительно установленными ✅ ✅ ✅
Anaconda Python с популярными пакетами, предварительно установленными ✅ ✅
(Miniconda)		 ✅
(Miniconda)
Julia (Julialang) ✅ ✅ ✅
JupyterHub (многопользовательский сервер записной книжки) ❌ ❌ ✅
JupyterLab (многопользовательский сервер записной книжки) ✅ ✅ ✅
Node.js ✅ ✅ ✅
Сервер Jupyter Notebook со следующими ядрами: ✅
 ✅
 ✅ Примеры записной книжки Jupyter
     R Примеры R Jupyter
     Python Примеры Python Jupyter
     Julia Примеры Julia Jupyter
     PySpark Примеры pySpark Jupyter

Ubuntu 20.04 DSVM, Windows Server 2019 DSVM и WINDOWS Server 2022 DSVM имеют следующие ядра Jupyter:

  • Python3.8-default
  • Python3.8-Tensorflow-Pytorch
  • Python3.8-AzureML
  • R
  • Python 3.7 — Spark (локально);
  • Julia 1.6.0
  • R Spark — HDInsight;
  • Scala Spark — HDInsight;
  • Python 3 Spark — HDInsight.

Ubuntu 20.04 DSVM, Windows Server 2019 DSVM и WINDOWS Server 2022 DSVM имеют следующие среды conda:

  • Python3.8-default
  • Python3.8-Tensorflow-Pytorch
  • Python3.8-AzureML

Использование предпочтительного редактора или интегрированной среды разработки

Средство DSVM под управлением Windows Server 2019 Windows Server 2022 DSVM DSVM под управлением Ubuntu 20.04 Примечания об использовании
Notepad++ ✅
 ✅
 ❌
Nano ✅
 ✅
 ❌
Visual Studio 2019 Community Edition ✅
 ✅ ❌ Visual Studio на DSVM
Visual Studio Code ✅
 ✅
 ✅
 Visual Studio Code на DSVM
PyCharm Community Edition ✅
 ✅
 ✅
 PyCharm на DSVM
IntelliJ IDEA ❌ ❌ ✅
Vim ❌ ❌ ✅
Emacs ❌ ❌ ✅
Git и Git Bash ✅
 ✅
 ✅
OpenJDK 11 ✅
 ✅
 ✅
.NET Framework ✅
 ✅
 ❌
Пакет Azure SDK ✅
 ✅ ✅

Упорядочение и представление результатов

Средство DSVM под управлением Windows Server 2019 Windows Server 2022 DSVM DSVM под управлением Ubuntu 20.04 Примечания об использовании
Microsoft 365 (Word, Excel, PowerPoint) ✅ ✅ ❌
Microsoft Teams ✅ ✅ ❌
Power BI Desktop. ✅ ✅
 ❌
Браузер Microsoft Edge ✅ ✅ ✅