Usare il modello linguistico locale con Dev Proxy
Connettendo Dev Proxy a un modello linguistico locale, è possibile migliorare le funzionalità del proxy di sviluppo. Selezionare Dev Proxy plugins (Plug-in Dev Proxy) usare il modello linguistico per migliorare l'output, in cui è coinvolto il linguaggio naturale. Usando un modello linguistico locale, è possibile sfruttare le funzionalità migliorate senza incorrere in costi aggiuntivi.
Dev Proxy supporta Ollama come host per i modelli linguistici locali. Per configurarlo nel computer, seguire le istruzioni nella documentazione di Ollama.
Per configurare Dev Proxy per l'uso di un modello linguistico locale, usare l'impostazione languageModel
nel devproxyrc.json
file.
{
"languageModel": {
"enabled": true
}
}
È possibile usare le opzioni seguenti come parte dell'impostazione languageModel
:
Opzione | Descrizione | Default value |
---|---|---|
cacheResponses |
Specifica se memorizzare nella cache le risposte dal modello linguistico. | true |
enabled |
Specifica se utilizzare un modello linguistico locale. | false |
model |
Nome del modello linguistico da usare. | phi3 |
url |
URL dell'istanza di Ollama. | http://localhost:11434 |
Per impostazione predefinita, Dev Proxy usa la configurazione predefinita di Ollama con il modello Phi-3 . Memorizza nella cache anche le risposte dal modello linguistico, ovvero per la stessa richiesta, si ottiene una risposta immediata senza attendere che il modello linguistico lo elabori.
Importante
Quando si usa un modello linguistico locale, assicurarsi di avviare Ollama prima di avviare Dev Proxy.
I plug-in Dev Proxy seguenti usano un modello linguistico locale, se disponibile:
Feedback su Dev Proxy
Dev Proxy è un progetto di open source. Selezionare un collegamento per fornire feedback: