Jakie narzędzia obejmuje maszyna wirtualna platformy Azure Nauka o danych?
Za pomocą maszyny wirtualnej Nauka o danych (DSVM) można łatwo eksplorować dane i obsługiwać uczenie maszynowe w chmurze. Maszyna DSVM jest wstępnie skonfigurowana przy użyciu poprawek zabezpieczeń, sterowników, popularnego oprogramowania do nauki o danych i programowania oraz kompletnego systemu operacyjnego. Możesz wybrać środowisko sprzętowe, które działa dla Ciebie, począwszy od tańszych maszyn zorientowanych na procesor CPU po zaawansowane maszyny z wieloma procesorami GPU, magazynem NVMe i dużą ilością pamięci. W przypadku maszyn z procesorami GPU wszystkie sterowniki są instalowane, a wszystkie struktury uczenia maszynowego są zgodne ze zgodnością z procesorem GPU. Ponadto przyspieszanie jest włączone we wszystkich aplikacjach obsługujących procesory GPU.
Maszyna DSVM jest dostarczana ze wstępnie zainstalowanymi narzędziami do nauki o danych.
Tworzenie rozwiązań uczenia głębokiego i uczenia maszynowego
| Narzędzie | Windows Server 2019 DSVM | Windows Server 2022 DSVM | Ubuntu 20.04 DSVM | Uwagi dotyczące użycia |
|---|---|---|---|---|
| Sterownik CUDA, cuDNN, NVIDIA | ✅ | ✅ | ✅ |
CUDA, cuDNN, sterownik NVIDIA na maszynie DSVM |
| Horovod | ❌ | ❌ | ✅ | Horovod na maszynie DSVM |
| Interfejs zarządzania systemem NVidia (nvidia-smi) | ✅ | ✅ | ✅ | nvidia-smi na maszynie DSVM |
| PyTorch | ✅ | ✅ | ✅ | PyTorch na maszynie DSVM |
| TensorFlow | ✅ | ✅ |
✅ | TensorFlow na maszynie DSVM |
| Integracja z usługą Azure Machine Learning (Python) | ✅ (Zestaw PYTHON SDK, przykłady) |
✅ (Zestaw PYTHON SDK, przykłady) |
✅ (Zestaw PYTHON SDK, interfejs wiersza polecenia, przykłady) |
Azure Machine Learning SDK |
| XGBoost | ✅ (Obsługa CUDA) |
✅ (Obsługa CUDA) |
✅ (Obsługa CUDA) |
XGBoost na maszynie DSVM |
| Vowpal Wabbit | ✅ | ✅ | ✅ |
Vowpal Wabbit na maszynie DSVM |
| Weka | ❌ | ❌ | ❌ | |
| LightGBM | ❌ | ❌ | ✅ (Procesor GPU, obsługa MPI) |
|
| H2O | ❌ | ❌ | ✅ | |
| CatBoost | ❌ | ❌ | ✅ | |
| Intel MKL | ❌ | ❌ | ✅ | |
| OpenCV | ❌ | ❌ | ✅ | |
| Dlib | ❌ | ❌ | ✅ | |
| Docker | ✅ (Tylko kontenery systemu Windows) |
✅ (Tylko kontenery systemu Windows) |
✅ | |
| Nccl | ❌ | ❌ | ✅ | |
| Rattle | ❌ | ❌ | ❌ | |
| PostgreSQL | ❌ | ❌ | ✅ | |
| Środowisko uruchomieniowe ONNX | ❌ | ❌ | ✅ |
Przechowywanie, pobieranie i manipulowanie danymi
| Narzędzie | Windows Server 2019 DSVM | Windows Server 2022 DSVM | Ubuntu 20.04 DSVM | Uwagi dotyczące użycia |
|---|---|---|---|---|
| Relacyjne bazy danych | SQL Server 2019 Developer Edition |
SQL Server 2019 Developer Edition |
SQL Server 2019 Developer Edition |
Program SQL Server na maszynie WIRTUALNEJ DSVM |
| Narzędzia bazy danych | SQL Server Management Studio Usługi SQL Server Integration Services bcp, sqlcmd |
SQL Server Management Studio Usługi SQL Server Integration Services bcp, sqlcmd |
SQuirreL SQL (narzędzie do wykonywania zapytań), bcp, sqlcmd Sterowniki ODBC/JDBC |
|
| Eksplorator usługi Azure Storage | ✅ |
✅ |
||
| Interfejs wiersza polecenia platformy Azure | ✅ |
✅ |
✅ |
|
| AzCopy | ✅ |
✅ |
❌ | Narzędzie AzCopy na maszynie DSVM |
| Sterownik obiektów blob systemu FUSE | ❌ | ❌ | ❌ |
blobfuse na maszynie DSVM |
| Narzędzie do migracji danych usługi Azure Cosmos DB | ✅ | ✅ | ❌ | Usługa Azure Cosmos DB na maszynie DSVM |
| Narzędzia wiersza polecenia systemu Unix/Linux | ❌ | ❌ | ✅ | |
| Apache Spark 3.1 (autonomiczny) | ✅ | ✅ | ✅ |
Program w języku Python, R, Julii i Node.js
| Narzędzie | Windows Server 2019 DSVM | Windows Server 2022 DSVM | Ubuntu 20.04 DSVM | Uwagi dotyczące użycia |
|---|---|---|---|---|
| CRAN-R z popularnymi pakietami wstępnie zainstalowanymi | ✅ | ✅ | ✅ | |
| Środowisko Anaconda Python z wstępnie zainstalowanymi popularnymi pakietami | ✅ | ✅ (Miniconda) |
✅ (Miniconda) |
|
| Julia (Julialang) | ✅ | ✅ | ✅ | |
| JupyterHub (serwer notesu z wieloma użytkownikami) | ❌ | ❌ | ✅ | |
| JupyterLab (serwer notesu z wieloma użytkownikami) | ✅ | ✅ | ✅ | |
| Node.js | ✅ | ✅ | ✅ | |
| Serwer jupyter Notebook z następującymi jądrami: | ✅ |
✅ |
✅ | Przykłady notesów Jupyter Notebook |
| R | Przykłady jupyter języka R | |||
| Python | Przykłady jupyter języka Python | |||
| Julia | Julia Jupyter — przykłady | |||
| PySpark | pySpark — przykłady jupyter |
Maszyny DSVM z systemem Ubuntu 20.04, Windows Server 2019 DSVM i Windows Server 2022 mają następujące jądra Jupyter:
- Python3.8-default
- Python3.8-Tensorflow-Pytorch
- Python3.8-AzureML
- R
- Python 3.7 — Spark (lokalny)
- Julia 1.6.0
- R Spark — HDInsight
- Scala Spark — HDInsight
- Python 3 Spark — HDInsight
Maszyny DSVM z systemem Ubuntu 20.04, Windows Server 2019 DSVM i Windows Server 2022 mają następujące środowiska conda :
- Python3.8-default
- Python3.8-Tensorflow-Pytorch
- Python3.8-AzureML
Korzystanie z preferowanego edytora lub środowiska IDE
| Narzędzie | Windows Server 2019 DSVM | Windows Server 2022 DSVM | Ubuntu 20.04 DSVM | Uwagi dotyczące użycia |
|---|---|---|---|---|
| Notatnik++ | ✅ |
✅ |
❌ |
|
| Nano | ✅ |
✅ |
❌ |
|
| Visual Studio 2019 Community Edition | ✅ |
✅ | ❌ | Program Visual Studio na maszynie DSVM |
| Visual Studio Code | ✅ |
✅ |
✅ |
Program Visual Studio Code na maszynie DSVM |
| PyCharm Community Edition | ✅ |
✅ |
✅ |
PyCharm na maszynie DSVM |
| IntelliJ IDEA | ❌ | ❌ | ✅ | |
| Vim | ❌ | ❌ | ✅ |
|
| Emacs | ❌ | ❌ | ✅ |
|
| Git i Git Bash | ✅ |
✅ |
✅ |
|
| OpenJDK 11 | ✅ |
✅ |
✅ |
|
| .NET Framework | ✅ |
✅ |
❌ | |
| Zestaw Azure SDK | ✅ |
✅ | ✅ |
Organizowanie i prezentowanie wyników
| Narzędzie | Windows Server 2019 DSVM | Windows Server 2022 DSVM | Ubuntu 20.04 DSVM | Uwagi dotyczące użycia |
|---|---|---|---|---|
| Microsoft 365 (Word, Excel, PowerPoint) | ✅ | ✅ | ❌ | |
| Microsoft Teams | ✅ | ✅ | ❌ | |
| Power BI Desktop | ✅ | ✅ |
❌ | |
| Przeglądarka Microsoft Edge | ✅ | ✅ | ✅ |