Руководство по Python. Прогнозирование тарифов на такси Нью-Йорка с помощью двоичной классификации

Область применения: SQL Server 2017 (14.x) и более поздних версий Управляемый экземпляр SQL Azure

Вы создадите и развернете решение для машинного обучения на базе Python, используя образец базы данных на SQL Server. Вы будете использовать T-SQL, Azure Data Studio или SQL Server Management Studio, а также экземпляр СУБД с поддержкой машинного обучения SQL и языка Python.

В этой серии руководств описываются функции Python, используемые в рабочем процессе моделирования данных. Серия содержит следующие этапы: исследование данных, сборка и обучение модели двоичной классификации и развертывание модели. Вы будете использовать образец данных Комиссии по такси и лимузинам Нью‑Йорка. Модель, которую вы создадите, будет предсказывать вероятность получения чаевых в зависимости от времени суток, пройденного расстояния и места посадки пассажира.

В первой части этой серии вы установите необходимые компоненты и восстановите образец базы данных. Во второй и третьей частях вы создадите сценарии Python для подготовки данных и обучения модели машинного обучения. Затем в четвертой и пятой частях вы запустите эти скрипты Python в базе данных с помощью хранимых процедур T-SQL.

Работая с этой статьей, вы узнаете о следующем.

Во второй части вы ознакомитесь с образцом данных и создадите несколько графиков.

В третьей части вы узнаете, как создавать функции из необработанных данных с помощью функции Transact-SQL. Затем вы вызовите эту функцию из хранимой процедуры, чтобы создать таблицу, содержащую значения характеристик.

В четвертой части вы научитесь загружать модули и вызывать необходимые функции для создания и обучения модели с помощью хранимой процедуры SQL Server.

Из пятой части вы узнаете, как ввести в эксплуатацию модели, которые были обучены и сохранены в соответствии с инструкциями в четвертой части.

Необходимые компоненты

• Предоставление разрешений на выполнение скриптов Python

• Восстановление демонстрационной базы данных нью-йоркского такси

Все задачи можно выполнять с помощью хранимых процедур Transact-SQL в Azure Data Studio или в Management Studio.

В этой серии руководств предполагается, что вы уже знакомы с основными операциями с базой данных, такими как создание баз данных и таблиц, импорт данных и написание запросов SQL. Не предполагается, что вы знакомы с Python, и весь код Python предоставляется в готовом виде.

Пояснения для разработчиков на SQL

Процесс создания решения машинного обучения — это сложная задача, для которой может потребоваться использование нескольких средств, а также координация работы экспертов в различных областях, и которая состоит из нескольких этапов:

• получение и очистка данных;
• изучение данных и выявление характеристик, полезных для моделирования;
• обучение и настройка модели;
• развертывание в рабочей среде.

Разработку и тестирование написанного кода лучше выполнять в выделенной среде разработки. Но после завершения тестирования скрипта его можно легко развернуть в SQL Server с помощью хранимых процедур Transact-SQL в привычной среде Azure Data Studio или Management Studio. Упаковка внешнего кода в хранимые процедуры является основным механизмом для эксплуатации кода в SQL Server.

Сохранив модель в базе данных, вы сможете вызвать ее для получения прогнозов из Transact-SQL с помощью хранимых процедур.

Независимо от того, являетесь ли вы программистом SQL, плохо знакомым с Python, или разработчиком Python, плохо знакомым с SQL, в этом учебнике, состоящем из пяти частей, вы найдете типичный рабочий процесс для ведения аналитики в базе данных с помощью Python и SQL Server.

Следующие шаги

Работая с этой статьей, вы выполните следующие задачи: