Использование локальной языковой модели с прокси-сервером разработки

Подключив прокси-сервер разработки к локальной языковой модели, вы можете улучшить функциональные возможности прокси-сервера разработки. Выберите подключаемые модули Прокси для разработки, используя языковую модель для улучшения выходных данных, где участвует естественный язык. Используя локальную языковую модель, вы можете воспользоваться улучшенными функциональными возможностями без дополнительных затрат.

Необходимые компоненты

Dev Proxy поддерживает Ollama в качестве узла для локальных языковых моделей. Чтобы настроить его на компьютере, следуйте инструкциям в документации по Ollama.

Настройка прокси-сервера разработки для использования локальной языковой модели

Чтобы настроить прокси-сервер разработки для использования локальной языковой модели, используйте languageModel параметр в devproxyrc.json файле.

{
  "languageModel": {
    "enabled": true
  }
}

В рамках languageModel параметра можно использовать следующие параметры:

По умолчанию Dev Proxy использует конфигурацию Ollama по умолчанию с моделью Phi-3 . Он также кэширует ответы из языковой модели, что означает, что для того же запроса вы получаете немедленный ответ, не ожидая обработки языковой модели.

Подключаемые модули Прокси для разработки, которые могут использовать локальную языковую модель

При наличии следующие подключаемые модули прокси-сервера разработки используют локальную языковую модель:

• OpenApiSpecGeneratorPlugin