microsoftml (пакет Python в Службах машинного обучения SQL Server)

Область применения: SQL Server 2017 (14.x) и более поздних версий

microsoftml — это пакет Python от Майкрософт, предоставляющий высокопроизводительные алгоритмы машинного обучения. Он включает в себя функции для обучения и преобразований, оценки, анализа текста и изображений, а также извлечения компонентов для получения значений из существующих данных. Пакет входит в состав Служб машинного обучения SQL Server и поддерживает высокую производительность при работе с большими данными, используя многоядерную обработку и быструю потоковую передачу данных.

Как использовать microsoftml

Модуль microsoftml устанавливается в составе служб машинного обучения SQL Server при добавлении Python к вашей установке. Вы получаете полный набор защищаемых пакетов и дистрибутив Python с его модулями и интерпретаторами. Для написания функций, вызывающих скрипты Python в модуле microsoftml, можно использовать любую интегрированную среду разработки Python, однако для выполнения скрипта необходимо иметь компьютер, на котором установлены службы машинного обучения SQL Server с Python.

Модули microsoftml и revoscalepy тесно связаны. Источники данных, используемые в microsoftml, определяются как объекты revoscalepy. Ограничения контекста вычислений в revoscalepy распространяются на microsoftml. То есть для локальных операций доступны все функции, но для переключения на удаленный контекст вычислений требуется RxSpark или RxInSQLServer.

Версии и платформы

Модуль microsoftml доступен только при установке одного из следующих продуктов или скачиваемых файлов Майкрософт:

• Службы машинного обучения SQL Server
• Клиентские библиотеки Python для клиента обработки и анализа данных

Зависимости пакетов

Алгоритмы в microsoftml используют revoscalepy для следующего:

• Объекты источников данных: данные, потребляемые функциями microsoftml, создаются с помощью функций revoscalepy.
• Удаленные вычисления (смена выполнения функции на удаленный экземпляр SQL Server) — пакет revoscalepy предоставляет функции для создания и активации удаленного контекста вычислений для SQL Server.

В большинстве случаев при использовании microsoftml пакеты будут загружаться вместе.

Функции по категориям

Чтобы можно было понять, как использовать каждую функцию, в этом разделе приводится описание функций по категориям. Для поиска функций в алфавитном порядке можно воспользоваться оглавлением.

1. Функции обучения

2. Функции преобразования

Обработка категориальных переменных

Управление схемой

переменные, выбор

Аналитика текста

Аналитика изображений

Функции добавления признаков

Функции оценки

Вызов microsoftml

Функции в microsoftml вызываются в коде Python, инкапсулированном в хранимые процедуры. Большинство разработчиков создают решения microsoftml локально, а затем переносят готовый код Python в хранимые процедуры, отрабатывая, таким образом, процедуру развертывания.

Пакет microsoftml для Python устанавливается по умолчанию, но, в отличие от revoscalepy, он не загружается по умолчанию при запуске сеанса Python с использованием исполняемых файлов Python, устанавливаемых с SQL Server.

В качестве первого шага импортируйте пакет microsoftml, а затем импортируйте revoscalepy, если необходимо использовать удаленные контексты вычисления либо связанные объекты подключения и источники данных. Затем можно сослаться на нужные вам функции.

from microsoftml.modules.logistic_regression.rx_logistic_regression import rx_logistic_regression
from revoscalepy.functions.RxSummary import rx_summary
from revoscalepy.etl.RxImport import rx_import_datasource

См. также

• Учебники по Python
• Управление пакетами Python