Warnungen für KI-Workloads (Vorschau)
In diesem Artikel werden die Sicherheitswarnungen aufgeführt, die Sie möglicherweise für KI-Workloads von Microsoft Defender für Cloud und alle von Ihnen aktivierten Microsoft Defender-Pläne erhalten. Welche Warnungen in Ihrer Umgebung angezeigt werden, hängt von den Ressourcen und Diensten, die Sie schützen, sowie von Ihrer angepassten Konfiguration ab.
Hinweis
Einige der kürzlich hinzugefügten Warnungen, die von Microsoft Defender Threat Intelligence und Microsoft Defender für Endpunkt unterstützt werden, sind möglicherweise nicht dokumentiert.
Informationen zur Reaktion auf diese Warnungen
Informationen zum Exportieren von Warnungen
Hinweis
Warnungen aus unterschiedlichen Quellen erfordern möglicherweise unterschiedlich lange Zeit, bis sie angezeigt werden. Beispielsweise kann es länger dauern, bis Warnungen, die eine Analyse des Netzwerkdatenverkehrs erfordern, angezeigt werden, als das Anzeigen von Warnungen im Zusammenhang mit verdächtigen Prozessen auf virtuellen Computern.
KI-Workloadwarnungen
Erkannter Diebstahl von Anmeldeinformationen bei einer Azure OpenAI-Modellbereitstellung
(KI. Azure_CredentialTheftAttempt)
Beschreibung: Die Warnung zum Diebstahl von Anmeldeinformationen ist so konzipiert, dass die SOC benachrichtigt wird, wenn Anmeldeinformationen in GenAI-Modellantworten auf eine Benutzeraufforderung erkannt werden, was auf eine potenzielle Verletzung hinweist. Diese Warnung ist entscheidend für die Erkennung von Fällen des Verlusts oder Diebstahls von Anmeldeinformationen, die für generative KI einzigartig sind und schwerwiegende Folgen haben können, wenn dies erfolgreich ist.
MITRE-Taktiken: Zugriff auf Anmeldeinformationen, Laterale Bewegung, Exfiltration
Schweregrad: Mittel
Ein Jailbreak-Versuch bei einer Azure OpenAI-Modellbereitstellung wurde durch Azure AI Content Safety Shields blockiert.
(KI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Beschreibung: Die Jailbreak-Warnung, die mit einer direkten Eingabeaufforderungseinfügungsmethode durchgeführt wird, wurde entwickelt, um die SOC zu benachrichtigen, es gab einen Versuch, die Systemaufforderung zu manipulieren, um die Sicherheitsmaßnahmen der generativen KI zu umgehen, potenziell auf vertrauliche Daten oder privilegierte Funktionen zugreifen. Es hat darauf hingewiesen, dass solche Versuche von Azure Responsible AI Content Safety (AKA Prompt Shields) blockiert wurden, um die Integrität der KI-Ressourcen und der Datensicherheit sicherzustellen.
MITRE-Taktiken: Berechtigungseskalation, Verteidigungshinterziehung
Schweregrad: Mittel
Ein Jailbreak-Versuch bei einer Azure OpenAI-Modellbereitstellung wurde von Azure AI Content Safety Shields erkannt.
(KI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Beschreibung: Die Jailbreak-Warnung, die mit einer direkten Eingabeaufforderungseinfügungsmethode durchgeführt wird, wurde entwickelt, um die SOC zu benachrichtigen, es gab einen Versuch, die Systemaufforderung zu manipulieren, um die Sicherheitsmaßnahmen der generativen KI zu umgehen, potenziell auf vertrauliche Daten oder privilegierte Funktionen zugreifen. Es hat darauf hingewiesen, dass solche Versuche von Azure Responsible AI Content Safety (AKA Prompt Shields) erkannt wurden, aufgrund von Inhaltsfiltereinstellungen oder aufgrund geringer Vertrauenswürdigkeit nicht blockiert wurden.
MITRE-Taktiken: Berechtigungseskalation, Verteidigungshinterziehung
Schweregrad: Mittel
Vertrauliche Datenexposition in der Azure OpenAI-Modellbereitstellung erkannt
(KI. Azure_DataLeakInModelResponse.Sensitive)
Beschreibung: Die Warnung über vertrauliche Datenlecks wurde soC benachrichtigt, dass ein GenAI-Modell auf eine Benutzeraufforderung mit vertraulichen Informationen reagierte, was möglicherweise auf einen böswilligen Benutzer zurückzuführen ist, der versucht, die Sicherheit der generativen KI für den Zugriff auf nicht autorisierte vertrauliche Daten zu umgehen.
MITRE-Taktiken: Sammlung
Schweregrad: Mittel
Beschädigte KI-Anwendung\beschädigtes Modell\beschädigte Daten steuerten einen Phishingversuch bei einem Benutzer
(KI. Azure_PhishingContentInModelResponse)
Beschreibung: Diese Warnung weist auf eine Beschädigung einer VON der Organisation entwickelten KI-Anwendung hin, da sie aktiv eine bekannte schädliche URL für Phishing für einen Benutzer freigegeben hat. Die URL stammt aus der Anwendung selbst, dem KI-Modell oder den Daten, auf die die Anwendung zugreifen kann.
MITRE-Taktiken: Auswirkung (Enttäuserung)
Schweregrad: hoch
Phishing-URL in einer KI-Anwendung freigegeben
(KI. Azure_PhishingContentInAIApplication)
Beschreibung: Diese Warnung weist auf eine potenzielle Beschädigung einer KI-Anwendung oder einen Phishingversuch eines der Endbenutzer hin. Die Warnung bestimmt, dass eine schädliche URL, die für Phishing verwendet wird, während einer Unterhaltung über die KI-Anwendung übergeben wurde, der Ursprung der URL (Benutzer oder Anwendung) jedoch unklar ist.
MITRE-Taktiken: Impact (Defacement), Sammlung
Schweregrad: hoch
Phishingversuch in einer KI-Anwendung erkannt
(KI. Azure_PhishingContentInUserPrompt)
Beschreibung: Diese Warnung gibt an, dass eine URL, die für Phishingangriffe verwendet wird, von einem Benutzer an eine KI-Anwendung gesendet wurde. Der Inhalt spioniert typischerweise Unternehmensanmeldeinformationen oder Finanzdaten aus, die von Besuchern in eine legitime aussehende Website eingegeben werden. Das Senden an eine KI-Anwendung kann dazu dienen, sie zu beschädigen, die Datenquellen zu vergiften, auf die sie Zugriff hat, oder Zugriff auf Mitarbeiter oder andere Kunden über die Tools der Anwendung zu erhalten.
MITRE-Taktiken: Sammlung
Schweregrad: hoch
Hinweis
Für Warnungen, die sich in der Vorschau befinden: Die ergänzenden Bestimmungen für Azure-Vorschauen enthalten zusätzliche rechtliche Bedingungen, die für Azure-Features gelten, die sich in der Beta- oder Vorschauversion befinden bzw. anderweitig noch nicht zur allgemeinen Verfügbarkeit freigegeben sind.