Usare il modello linguistico locale con Dev Proxy

Connettendo Dev Proxy a un modello linguistico locale, è possibile migliorare le funzionalità del proxy di sviluppo. Selezionare Dev Proxy plugins (Plug-in Dev Proxy) usare il modello linguistico per migliorare l'output, in cui è coinvolto il linguaggio naturale. Usando un modello linguistico locale, è possibile sfruttare le funzionalità migliorate senza incorrere in costi aggiuntivi.

Prerequisiti

Dev Proxy supporta Ollama come host per i modelli linguistici locali. Per configurarlo nel computer, seguire le istruzioni nella documentazione di Ollama.

Configurare il proxy di sviluppo per l'uso di un modello linguistico locale

Per configurare Dev Proxy per l'uso di un modello linguistico locale, usare l'impostazione languageModel nel devproxyrc.json file.

{
  "languageModel": {
    "enabled": true
  }
}

È possibile usare le opzioni seguenti come parte dell'impostazione languageModel :

Opzione Descrizione Default value
cacheResponses Specifica se memorizzare nella cache le risposte dal modello linguistico. true
enabled Specifica se utilizzare un modello linguistico locale. false
model Nome del modello linguistico da usare. phi3
url URL dell'istanza di Ollama. http://localhost:11434

Per impostazione predefinita, Dev Proxy usa la configurazione predefinita di Ollama con il modello Phi-3 . Memorizza nella cache anche le risposte dal modello linguistico, ovvero per la stessa richiesta, si ottiene una risposta immediata senza attendere che il modello linguistico lo elabori.

Importante

Quando si usa un modello linguistico locale, assicurarsi di avviare Ollama prima di avviare Dev Proxy.

Plug-in di Dev Proxy che possono usare un modello linguistico locale

I plug-in Dev Proxy seguenti usano un modello linguistico locale, se disponibile: