Utilizzare endpoint API serverless da un progetto o un hub di Studio AI della piattaforma Azure diverso
Questo articolo illustra come configurare un endpoint API serverless esistente in un progetto o un hub diverso da quello usato per creare la distribuzione.
Alcuni modelli nel catalogo dei modelli possono essere distribuiti come API serverless. Questo tipo di distribuzione consente di utilizzare modelli come API senza ospitarli nella sottoscrizione, mantenendo al tempo stesso la sicurezza e la conformità aziendali necessarie alle organizzazioni. Questa opzione di distribuzione non richiede la quota dalla sottoscrizione.
La necessità di usare l'endpoint di un'API serverless in un progetto o hub diverso da quello usato per creare la distribuzione può verificarsi in situazioni come queste:
- Si vuole centralizzare le distribuzioni in un determinato progetto o hub e usarle da progetti o hub diversi nell'organizzazione.
- È necessario distribuire un modello in un hub in una determinata area di Azure in cui è disponibile la distribuzione serverless per tale modello. Tuttavia, è necessario usarlo da un'altra area, in cui la distribuzione serverless non è disponibile per i modelli specifici.
Prerequisiti
Una sottoscrizione di Azure con un metodo di pagamento valido. Le sottoscrizioni di Azure gratuite o di valutazione non funzioneranno. Se non si dispone di una sottoscrizione di Azure, è possibile creare un account Azure gratuito per iniziare.
Un modello distribuito nell'endpoint di un'API serverless. Questo articolo presuppone che il modello Meta-Llama-3-8B-Instruct sia stato distribuito in precedenza. Per informazioni su come distribuire questo modello come API serverless, vedere Distribuire modelli come API serverless.
Per usare Studio AI della piattaforma Azure, è necessario installare il software seguente:
È possibile usare qualsiasi Web browser compatibile per esplorare Studio AI della piattaforma Azure.
Creare una connessione all'endpoint dell'API serverless
Per creare una connessione, seguire questa procedura:
Connettersi al progetto o all'hub in cui viene distribuito l'endpoint:
Passare a Studio AI della piattaforma Azure, quindi passare al progetto in cui viene distribuito l'endpoint a cui connettersi.
Ottenere l'URL e le credenziali dell'endpoint a cui si vuole connettersi. In questo esempio, si ottengono i dettagli per un nome di endpoint meta-llama3-8b-qwerty.
Dalla barra laterale sinistra del progetto in AI Studio passare a Componenti>Distribuzioni per visualizzare l'elenco delle distribuzioni nel progetto.
Selezionare la distribuzione a cui connettersi.
Copiare i valori per URI di destinazione e Chiave.
Connettersi ora al progetto o all'hub in cui si vuole creare la connessione:
Passare al progetto in cui deve essere creata la connessione.
Creare la connessione nel progetto:
Nella barra laterale sinistra del progetto in AI Studio selezionare Impostazioni.
Nella sezione Risorse connesse selezionare Nuova connessione.
Selezionare Modello serverless.
Per l'URI di destinazione, incollare il valore copiato in precedenza.
Per il valore Chiave, incollare il valore copiato in precedenza.
Assegnare un nome alla connessione, in questo caso meta-llama3-8b-connection.
Selezionare Aggiungi connessione.
A questo punto, la connessione è disponibile per l'uso.
Per verificare che la connessione funzioni:
Nella barra laterale sinistra del progetto in AI Studio selezionare Strumenti>Prompt flow.
Selezionare Crea per creare un nuovo flusso.
Selezionare Crea nella casella Flusso della chat.
Assegnare al Prompt flow un nome e selezionare Crea.
Selezionare il nodo chat dal grafo per passare alla sezione Chat.
Per Connessione, aprire l'elenco a discesa per selezionare la connessione appena creata, in questo caso meta-llama3-8b-connection.
Seleziona Avvia sessione di calcolo dalla barra di spostamento superiore per avviare un runtime automatico del prompt flow.
Seleziona l'opzione Chat. È ora possibile inviare messaggi e ottenere risposte.