Sicheres Verwenden von Azure OpenAI für Ihre Daten

In diesem Artikel erfahren Sie, wie Sie Azure OpenAI sicher mit Ihren Daten verwenden, indem Sie Daten und Ressourcen mit der rollenbasierter Zugriffssteuerung von Microsoft Entra ID, virtuellen Netzwerken und privaten Endpunkten schützen.

Dieser Artikel gilt nur bei Verwendung von Azure OpenAI für Ihre Daten mit Text. Er gilt nicht für Azure OpenAI für Ihre Daten mit Bildern.

Architektur für die Datenerfassung

Wenn Sie Azure OpenAI für Ihre Daten zum Erfassen von Daten aus Azure-Blobspeicher, lokalen Dateien oder von URLs in der Azure KI-Suche verwenden, wird der folgende Prozess verwendet, um die Daten zu verarbeiten.

• Die Schritte 1 und 2 werden nur für den Dateiupload verwendet.
• Das Herunterladen von URLs in Ihre Blob Storage-Instanz wird in diesem Diagramm nicht veranschaulicht. Nachdem Webseiten aus dem Internet heruntergeladen und in Blob Storage hochgeladen wurden, ist die Vorgehensweise ab Schritt 3 identisch.
• Zwei Indexer, zwei Indizes, zwei Datenquellen und ein benutzerdefinierte Skill werden in der Azure KI-Suche-Ressource erstellt.
• Der Blockcontainer wird in Blob Storage erstellt.
• Wenn die Erfassung durch den Zeitplan ausgelöst wird, beginnt der Erfassungsprozess bei Schritt 7.
• Die preprocessing-jobs-API von Azure OpenAI implementiert das Web-API-Protokoll für benutzerdefinierte Skills von Azure KI-Suche und verarbeitet die Dokumente in einer Warteschlange.
• Azure OpenAI:
  1. verwendet intern den ersten zuvor erstellten Indexer, um die Dokumente aufzuschlüsseln.
  2. Verwendet einen Algorithmus auf Heuristikbasis zum Durchführen der Blockerstellung. Dabei werden Tabellenlayouts und andere Formatierungselemente in der Blockgrenze berücksichtigt, um die beste Qualität bei der Blockerstellung sicherzustellen.
  3. Wenn Sie die Vektorsuche aktivieren, verwendet Azure OpenAI die ausgewählte Einbettungseinstellung, um die Blöcke zu vektorisieren.
• Wenn alle Daten, die der Dienst überwacht, verarbeitet wurden, löst Azure OpenAI den zweiten Indexer aus.
• Der Indexer speichert die verarbeiteten Daten in einem Azure KI-Suchdienst.

Für die verwalteten Identitäten, die in Dienstaufrufen verwendet werden, werden nur systemseitig zugewiesene verwaltete Identitäten unterstützt. Benutzerseitig zugewiesene verwaltete Identitäten werden nicht unterstützt.

Rückschlussarchitektur

Wenn Sie API-Aufrufe zum Chatten mit einem Azure OpenAI-Modell für Ihre Daten senden, muss der Dienst die Indexfelder während des Rückschlusses abrufen, um die Feldzuordnung auszuführen. Daher erfordert der Dienst, dass die Azure OpenAI-Identität auch während Rückschlüssen über die Rolle Search Service Contributor für den Suchdienst verfügt.

Wenn in der Rückschlussanforderung eine Einbettungsabhängigkeit bereitgestellt wird, vektorisiert Azure OpenAI die umgeschriebene Abfrage, und sowohl die Abfrage als auch der Vektor werden für die Vektorsuche an Azure KI-Suche übermittelt.

Zugriffssteuerung auf Dokumentebene

Mit Azure OpenAI für Ihre Daten können Sie die Dokumente, die in Antworten für verschiedene Benutzer verwendet werden können, mit Sicherheitsfiltern der Azure KI-Suche einschränken. Wenn Sie den Zugriff auf Dokumentebene aktivieren, kürzt Azure KI-Suche die Suchergebnisse basierend auf der Benutzergruppenmitgliedschaft in Microsoft Entra. Sie können den Zugriff auf Dokumentebene nur für vorhandene Azure KI Search-Indizes aktivieren. So aktivieren Sie den Zugriff auf Dokumentebene:

1. Führen Sie die Schritte in der Dokumentation zu Azure KI-Suche aus, um Ihre Anwendung zu registrieren und Benutzer und Gruppen zu erstellen.

2. Indizieren Sie Ihre Dokumente mit den zugehörigen zulässigen Gruppen. Stellen Sie sicher, dass Ihre neuen Sicherheitsfelder das folgende Schema aufweisen:

   {"name": "group_ids", "type": "Collection(Edm.String)", "filterable": true }
   

   group_ids ist der Standardfeldname. Wenn Sie einen anderen Feldnamen, wie my_group_ids, verwenden, können Sie das Feld in der Indexfeldzuordnung zuordnen.

3. Stellen Sie für jedes vertrauliche Dokument im Index sicher, dass dieser Sicherheitsfeldwert auf die zulässigen Gruppen des Dokuments festgelegt ist.

4. Fügen Sie in Azure OpenAI Studio Ihre Datenquelle hinzu. Im Abschnitt Indexfeldzuordnung können Sie dem Feld für zulässige Gruppen null oder einen Wert zuordnen, sofern das Schema kompatibel ist. Wenn das Feld Zulässige Gruppen nicht zugeordnet ist, ist der Zugriff auf Dokumentebene deaktiviert.

Azure OpenAI Studio

Sobald der Index von Azure KI-Suche verbunden ist, erhalten Ihre Antworten in Studio Dokumentzugriff basierend auf den Microsoft Entra-Berechtigungen des angemeldeten Benutzers.

Web-App

Wenn Sie eine veröffentlichte Web-App verwenden, müssen Sie sie erneut bereitstellen, um ein Upgrade auf die neueste Version durchzuführen. Die neueste Version der Web-App umfasst die Möglichkeit, die Gruppen des Microsoft Entra-Kontos angemeldeter Benutzer abzurufen, zwischenzuspeichern und die Gruppen-IDs in die einzelnen API-Anforderungen einzuschließen.

API

Wenn Sie die API verwenden, übergeben Sie den filter-Parameter in jeder API-Anforderung. Zum Beispiel:

Weitere Informationen zur Sicherheit von KI Services finden Sie unter Authentifizieren von Anforderungen an Azure KI Services.

{
    "messages": [
        {
            "role": "user",
            "content": "who is my manager?"
        }
    ],
    "data_sources": [
        {
            "type": "azure_search",
            "parameters": {
                "endpoint": "<AZURE_AI_SEARCH_ENDPOINT>",
                "key": "<AZURE_AI_SEARCH_API_KEY>",
                "index_name": "<AZURE_AI_SEARCH_INDEX>",
                "filter": "my_group_ids/any(g:search.in(g, 'group_id1, group_id2'))"
            }
        }
    ]
}

• my_group_ids ist der Feldname, den Sie während der Feldzuordnung für Zulässige Gruppen ausgewählt haben.
• group_id1, group_id2 sind Gruppen, die dem angemeldeten Benutzer zugeordnet sind. Die Clientanwendung kann Benutzergruppen abrufen und zwischenspeichern.

Ressourcenkonfiguration

Verwenden Sie die folgenden Abschnitte, um Ihre Ressourcen für eine optimale und sichere Verwendung zu konfigurieren. Auch wenn Sie beabsichtigen, nur einen Teil Ihrer Ressourcen zu schützen, müssen Sie dennoch alle Schritte ausführen.

Dieser Artikel beschreibt die Netzwerkeinstellungen für die Deaktivierung des öffentlichen Netzwerks für Azure OpenAI-Ressourcen, Azure KI-Suchressourcen und Speicherkonten. Die Verwendung ausgewählter Netzwerke mit IP-Regeln wird nicht unterstützt, da die IP-Adressen der Dienste dynamisch sind.

Ressourcengruppe erstellen

Erstellen Sie eine Ressourcengruppe, damit Sie alle relevanten Ressourcen organisieren können. Die Ressourcen in der Ressourcengruppe umfassen unter anderem:

• Ein virtuelles Netzwerk
• Drei wichtige Dienste: eine Azure OpenAI-Instanz, eine Azure KI-Suche-Instanz, ein Speicherkonto
• Drei private Endpunkte, die jeweils mit einem Schlüsseldienst verknüpft sind
• Drei Netzwerkschnittstellen, die jeweils einem privaten Endpunkt zugeordnet sind
• Ein Gateway für virtuelle Netzwerke für den Zugriff von lokalen Clientcomputern
• Eine Web-App mit integriertem virtuellen Netzwerk
• Eine private DNS-Zone, damit die Web-App die IP-Adresse Ihrer Azure OpenAI-Instanz findet

Virtuelles Netzwerk erstellen

Das virtuelle Netzwerk umfasst drei Subnetze.

1. Das erste Subnetz wird für das VNET-Gateway verwendet.
2. Das zweite Subnetz wird für die privaten Endpunkte der drei Schlüsseldienste verwendet.
3. Das dritte Subnetz ist leer und wird für die Integration ausgehender virtueller Netzwerke in der Web-App verwendet.

Konfigurieren von Azure OpenAI

Aktivierte benutzerdefinierte Unterdomäne

Die benutzerdefinierte Unterdomäne ist für die auf Microsoft Entra ID basierende Authentifizierung und die private DNS-Zone erforderlich. Wenn die Azure OpenAI-Ressource mithilfe der ARM-Vorlage erstellt wird, muss die benutzerdefinierte Unterdomäne explizit angegeben werden.

Aktivieren einer verwalteten Identität

Damit Ihre Azure KI-Suche-Instanz und Ihr Speicherkonto Ihre Azure OpenAI Service-Instanz über die Microsoft Entra ID-Authentifizierung erkennen, müssen Sie Ihrer Azure OpenAI Service-Instanz eine verwaltete Identität zuweisen. Die einfachste Möglichkeit besteht darin, die systemseitig zugewiesene verwaltete Identität im Azure-Portal zu aktivieren.

Informationen zum Festlegen der verwalteten Identitäten über die Verwaltungs-API finden Sie in der Verwaltungs-API-Referenzdokumentation.

"identity": {
  "principalId": "<YOUR-PRINCIPAL-ID>",
  "tenantId": "<YOUR-TENNANT-ID>",
  "type": "SystemAssigned, UserAssigned", 
  "userAssignedIdentities": {
    "/subscriptions/<YOUR-SUBSCIRPTION-ID>/resourceGroups/my-resource-group",
    "principalId": "<YOUR-PRINCIPAL-ID>", 
    "clientId": "<YOUR-CLIENT-ID>"
  }
}

Aktivieren eines vertrauenswürdigen Diensts

Damit Ihre Instanz von Azure KI-Suche Ihre Azure OpenAI-preprocessing-jobs als benutzerdefinierte Web-API aufrufen kann, auch wenn Azure OpenAI keinen Zugriff auf das öffentliche Netzwerk hat, müssen Sie Azure OpenAI so einrichten, dass Azure KI-Suche basierend auf der verwalteten Identität als vertrauenswürdiger Dienst umgangen wird. Azure OpenAI identifiziert den Datenverkehr von Azure KI-Suche, indem die Ansprüche im JSON Web Token (JWT) überprüft werden. Azure KI-Suche muss die Authentifizierung mit einer systemseitig zugewiesenen verwalteten Identität verwenden, um die Web-API für benutzerdefinierte Skills aufzurufen.

Legen Sie networkAcls.bypass über die Verwaltungs-API auf AzureServices fest. Weitere Informationen finden Sie im Artikel zu virtuellen Netzwerken.

Dieser Schritt kann nur übersprungen werden, wenn Sie über einen freigegebenen privaten Link für Ihre Azure AI Search-Ressource verfügen.

Deaktivieren des Zugriffs auf das öffentliche Netzwerk

Sie können den Zugriff aus öffentlichen Netzwerken auf Ihre Azure OpenAI-Ressource im Azure-Portal deaktivieren.

Um den Zugriff auf Azure OpenAI Service von Ihren Clientcomputern z. B. für die Verwendung von Azure OpenAI Studio zuzulassen, müssen Sie Verbindungen mit privaten Endpunkten herstellen, über die eine Verbindung mit Ihrer Azure OpenAI-Ressource hergestellt werden kann.

Konfigurieren von Azure KI-Suche

Sie können den Basic-Tarif und höhere Tarife für die Suchressource verwenden. Es ist nicht erforderlich, aber wenn Sie den Tarif „S2“ verwenden, sind erweiterten Optionen verfügbar.

Aktivieren einer verwalteten Identität

Damit Ihre anderen Ressourcen Azure KI-Suche mithilfe der Microsoft Entra ID-Authentifizierung erkennen können, müssen Sie Ihrer Instanz von Azure KI-Suche eine verwaltete Identität zuweisen. Die einfachste Möglichkeit besteht darin, die systemseitig zugewiesene verwaltete Identität im Azure-Portal zu aktivieren.

Aktivieren der rollenbasierten Zugriffssteuerung

Da Azure OpenAI für den Zugriff auf Azure KI-Suche eine verwaltete Identität verwendet, müssen Sie die rollenbasierte Zugriffssteuerung in Azure KI-Suche aktivieren. Um diesen Schritt im Azure-Portal auszuführen, wählen Sie Beides oder Rollenbasierte Zugriffssteuerung auf der Registerkarte Schlüssel im Azure-Portal aus.

Weitere Informationen finden Sie im Artikel zur rollenbasierten Zugriffssteuerung für Azure KI-Suche.

Deaktivieren des Zugriffs auf das öffentliche Netzwerk

Sie können den Zugriff aus öffentlichen Netzwerken auf Ihre Azure KI-Suche-Ressource im Azure-Portal deaktivieren.

Um den Zugriff auf Ihre Azure KI-Suche-Ressource von Ihren Clientcomputern z. B. für die Verwendung von Azure OpenAI Studio zuzulassen, müssen Sie Verbindungen mit privaten Endpunkten herstellen, über die eine Verbindung mit Ihrer Azure KI-Suche-Ressource hergestellt werden kann.

Aktivieren eines vertrauenswürdigen Diensts

Sie können den vertrauenswürdigen Dienst Ihrer Suchressource über das Azure-Portal aktivieren.

Wechseln Sie zur Netzwerkregisterkarte Ihrer Suchressource. Legen Sie den Zugriff über öffentliche Netzwerke auf deaktiviert fest, und wählen Sie Für Azure-Dienste aus der Liste vertrauenswürdiger Dienste Zugriff auf diesen Suchdienst zulassen aus.

Sie können auch die REST-API verwenden, um den vertrauenswürdigen Dienst zu aktivieren. In diesem Beispiel werden die Azure CLI und das Tool jq verwendet.

rid=/subscriptions/<YOUR-SUBSCRIPTION-ID>/resourceGroups/<YOUR-RESOURCE-GROUP>/providers/Microsoft.Search/searchServices/<YOUR-RESOURCE-NAME>
apiVersion=2024-03-01-Preview
#store the resource properties in a variable
az rest --uri "https://management.azure.com$rid?api-version=$apiVersion" > search.json

#replace bypass with AzureServices using jq
jq '.properties.networkRuleSet.bypass = "AzureServices"' search.json > search_updated.json

#apply the updated properties to the resource
az rest --uri "https://management.azure.com$rid?api-version=$apiVersion" \
    --method PUT \
    --body @search_updated.json

Erstellen einer freigegebenen privaten Verbindung

Dieser Abschnitt gilt nur für S2-Ressourcen für die Preisstufensuche, da er Unterstützung privater Endpunkte für Indizierer mit einem Fertigkeitsprofil erfordert.

Informationen zum Erstellen eines freigegebenen privaten Links aus Ihrer Suchressource, die eine Verbindung mit Ihrer Azure OpenAI-Ressource herstellt, finden Sie in der Suchdokumentation. Wählen Sie Ressourcentyp als Microsoft.CognitiveServices/accounts und Gruppen-ID als openai_account aus.

Bei freigegebener privater Verbindung wird Schritt 8 des Architekturdiagramms für die Datenerfassung von Umgehung des vertrauenswürdigen Diensts in Freigegebene private Verbindung geändert.

Konfigurieren des Speicherkontos

Aktivieren eines vertrauenswürdigen Diensts

Um den Zugriff auf Ihr Speicherkonto über Azure OpenAI und Azure KI-Suche zu ermöglichen, müssen Sie das Speicherkonto so einrichten, dass Ihre Instanzen von Azure OpenAI und Azure KI-Suche basierend auf der verwalteten Identität als vertrauenswürdige Dienste umgangen werden.

Navigieren Sie im Azure-Portal zur Registerkarte „Netzwerk“ für Ihr Speicherkonto, und wählen Sie „Ausgewählte Netzwerke“, anschließend Erlauben Sie Azure-Diensten auf der Liste der vertrauenswürdigen Dienste den Zugriff auf dieses Speicherkonto und dann „Speichern“ aus.

Deaktivieren des Zugriffs auf das öffentliche Netzwerk

Sie können den Zugriff auf öffentliche Netzwerke für Ihr Speicherkonto im Azure-Portal deaktivieren.

Um den Zugriff auf Ihr Speicherkonto von Ihren Clientcomputern z. B. für die Verwendung von Azure OpenAI Studio zuzulassen, müssen Sie Verbindungen mit privaten Endpunkten herstellen, über die eine Verbindung mit Ihrer Blob Storage-Instanz hergestellt werden kann.

Rollenzuweisungen

Bislang haben Sie alle Ressource so eingerichtet, dass sie unabhängig voneinander funktionieren. Als Nächstes müssen Sie es den Diensten gestatten, sich gegenseitig zu autorisieren.

In der obigen Tabelle ist Assignee die systemseitig zugewiesene verwaltete Identität dieser Ressource.

Administrator*innen benötigen die Rolle Owner für diese Ressourcen, um Rollenzuweisungen hinzuzufügen.

Anweisungen zum Festlegen dieser Rollen im Azure-Portal finden Sie in der Azure RBAC-Dokumentation. Sie können das verfügbare Skript auf GitHub verwenden, um die Rollenzuweisungen programmgesteuert hinzuzufügen.

Damit Entwickler*innen diese Ressourcen zum Erstellen von Anwendungen verwenden können, müssen Administrator*innen den Ressourcen die Identitäten der Entwickler*innen mit den folgenden Rollenzuweisungen hinzufügen.

Konfigurieren von Gateway und Client

Um von Ihren lokalen Clientcomputern auf Azure OpenAI Service zuzugreifen, besteht einer der Ansätze darin, Azure VPN Gateway und Azure VPN Client zu konfigurieren.

Befolgen Sie diesen Leitfaden, um ein Gateway für Ihr virtuelles Netzwerk zu erstellen.

Befolgen Sie diesen Leitfaden, um die Point-to-Site-Konfiguration hinzuzufügen und die auf Microsoft Entra ID basierende Authentifizierung zu aktivieren. Laden Sie das Azure VPN Client-Profilkonfigurationspaket herunter, entzippen Sie es, und importieren Sie die Datei AzureVPN/azurevpnconfig.xml in Ihre Azure VPN Client-Instanz.

Konfigurieren Sie die Datei hosts auf Ihrem lokalen Computer so, dass die Hostnamen Ihrer Ressourcen auf die privaten IP-Adressen in Ihrem virtuellen Netzwerk verweisen. Die Datei hosts befindet sich unter Windows in C:\Windows\System32\drivers\etc und unter Linux in /etc/hosts. Beispiel:

10.0.0.5 contoso.openai.azure.com
10.0.0.6 contoso.search.windows.net
10.0.0.7 contoso.blob.core.windows.net

Azure OpenAI Studio

Sie sollten in der Lage sein, alle Features von Azure OpenAI Studio, einschließlich Erfassung und Rückschluss, von Ihren lokalen Clientcomputern aus zu verwenden.

Web-App

Die Web-App kommuniziert mit Ihrer Azure OpenAI-Ressource. Da das öffentliche Netzwerk für Ihre Azure OpenAI-Ressource deaktiviert ist, muss die Web-App so eingerichtet werden, dass der private Endpunkt in Ihrem virtuellen Netzwerk für den Zugriff auf Ihre Azure OpenAI-Ressource verwendet wird.

Die Web-App muss Ihren Azure OpenAI-Hostnamen in die private IP-Adresse des privaten Endpunkts für Azure OpenAI auflösen. Daher müssen Sie zunächst die private DNS-Zone für Ihr virtuelles Netzwerk konfigurieren.

1. Erstellen Sie eine private DNS-Zone in Ihrer Ressourcengruppe.
2. Fügen Sie einen DNS-Eintrag hinzu. Die IP-Adresse ist die private IP-Adresse des privaten Endpunkts für Ihre Azure OpenAI-Ressource, und Sie können die IP-Adresse von der Netzwerkschnittstelle abrufen, die dem privaten Endpunkt für Ihre Azure OpenAI-Instanz zugeordnet ist.
3. Verknüpfen Sie die private DNS-Zone mit Ihrem virtuellen Netzwerk, damit die in dieses virtuelle Netzwerk integrierte Web-App diese private DNS-Zone verwenden kann.

Wenn Sie die Web-App aus Azure OpenAI Studio bereitstellen, wählen Sie denselben Speicherort im virtuellen Netzwerk und eine geeignete SKU aus, damit sie das Feature für die Integration virtueller Netzwerke unterstützen kann.

Nachdem die Web-App bereitgestellt wurde, konfigurieren Sie im Azure-Portal auf der Registerkarte „Netzwerk“ die Integration in ein virtuelles Netzwerk für den ausgehenden Datenverkehr der Web-App und wählen das dritte Subnetz aus, das Sie für die Web-App reserviert haben.

Verwenden der API

Stellen Sie sicher, dass Ihre Anmeldeinformationen über die Rolle Cognitive Services OpenAI Contributor in Ihrer Azure OpenAI-Ressource verfügen, und führen Sie zuerst az login aus.

Erfassungs-API

Ausführliche Informationen zu den Anforderungs- und Antwortobjekten, die von der Erfassungs-API verwendet werden, finden Sie im Referenzartikel zur Erfassungs-API.

Rückschluss-API

Ausführliche Informationen zu den Anforderungs- und Antwortobjekten, die von der Rückschluss-API verwendet werden, finden Sie im Referenzartikel zur Rückschluss-API.

Verwenden von Microsoft Defender für Cloud

Sie können jetzt Microsoft Defender for Cloud (Vorschau) in Ihre Azure-Ressourcen integrieren, um Ihre Anwendungen zu schützen. Microsoft Defender für Cloud schützt Ihre Anwendungen mit Bedrohungsschutz für KI-Workloads und bietet Teams nachweisbasierte Sicherheitswarnungen, die mit Microsoft Threat Intelligence-Signalen angereichert sind, und ermöglicht es Teams, ihre Sicherheitsstatus mit integrierten Empfehlungen für bewährte Sicherheitspraxis zu stärken.

Verwenden Sie dieses Formulars, um Zugriff zu beantragen.