Alertas para cargas de trabalho de IA (versão prévia)
Este artigo lista os alertas de segurança que você pode receber para cargas de trabalho de IA do Microsoft Defender para Nuvem e todos os planos do Microsoft Defender habilitados. Os alertas mostrados em seu ambiente dependem dos recursos e serviços que você está protegendo, bem como a configuração personalizada.
Observação
Alguns dos alertas adicionados recentemente com a plataforma Microsoft Defender Threat Intelligence e Microsoft Defender para Ponto de Extremidade podem não estar documentados.
Saiba como responder a esses alertas.
Observação
Alertas de fontes diferentes podem levar diferentes quantidades de tempo para serem exibidos. Por exemplo, alertas que exigem análise de tráfego de rede podem levar mais tempo para aparecer do que alertas relacionados a processos suspeitos em execução em máquinas virtuais.
Alertas de carga de trabalho de IA
Tentativas de roubo de credenciais detectadas em uma implantação de modelo OpenAI do Azure
(AI. Azure_CredentialTheftAttempt)
Descrição: o alerta de roubo de credenciais foi projetado para notificar o SOC quando as credenciais são detectadas nas respostas do modelo GenAI a um prompt do usuário, indicando uma possível violação. Esse alerta é crucial para detectar casos de vazamento ou roubo de credenciais, que são exclusivos da IA generativa e podem ter consequências graves se forem bem-sucedidos.
Táticas MITRE: Acesso a Credenciais, Movimento Lateral, Exfiltração
Gravidade: Média
Uma tentativa de jailbreak em uma implantação de modelo OpenAI do Azure foi bloqueada pelos Módulos de Prompt de Segurança de Conteúdo do Azure AI
(AI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Descrição: o alerta de jailbreak, realizado usando uma técnica de injeção de prompt direto, foi projetado para notificar o SOC de que houve uma tentativa de manipular o prompt do sistema para contornar as proteções da IA generativa, potencialmente acessando dados confidenciais ou funções privilegiadas. Ele indicou que tais tentativas foram bloqueadas pelo Azure Responsible AI Content Safety (também conhecido como Prompt Shields), garantindo a integridade dos recursos de IA e a segurança dos dados.
Táticas MITRA: Escalonamento de Privilégios, Evasão de Defesa
Gravidade: Média
Uma tentativa de jailbreak em uma implantação de modelo OpenAI do Azure foi detectada pelos Módulos de Prompt de Segurança de Conteúdo do Azure AI
(AI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Descrição: o alerta de jailbreak, realizado usando uma técnica de injeção de prompt direto, foi projetado para notificar o SOC de que houve uma tentativa de manipular o prompt do sistema para contornar as proteções da IA generativa, potencialmente acessando dados confidenciais ou funções privilegiadas. Ele indicou que essas tentativas foram detectadas pela Segurança de Conteúdo de IA Responsável do Azure (também conhecida como Módulos de Prompt), mas não foram bloqueadas devido às configurações de filtragem de conteúdo ou devido à baixa confiança.
Táticas MITRA: Escalonamento de Privilégios, Evasão de Defesa
Gravidade: Média
Exposição de dados confidenciais detectada na implantação do modelo OpenAI do Azure
(AI. Azure_DataLeakInModelResponse. Sensível)
Descrição: o alerta de vazamento de dados confidenciais foi projetado para notificar o SOC de que um modelo GenAI respondeu a um prompt do usuário com informações confidenciais, potencialmente devido a um usuário mal-intencionado tentando contornar as proteções da IA generativa para acessar dados confidenciais não autorizados.
Táticas MITRE: Coleção
Gravidade: Média
Aplicativo de IA corrompido\modelo\dados direcionou uma tentativa de phishing a um usuário
(AI. Azure_PhishingContentInModelResponse)
Descrição: esse alerta indica uma corrupção de um aplicativo de IA desenvolvido pela organização, pois ele compartilhou ativamente um URL mal-intencionado conhecido usado para phishing com um usuário. A URL originada dentro do próprio aplicativo, o modelo de IA ou os dados que o aplicativo pode acessar.
Táticas do MITRA: Impacto (Desfiguração)
Gravidade: Alta
URL de phishing compartilhada em um aplicativo de IA
(AI. Azure_PhishingContentInAIApplication)
Descrição: esse alerta indica uma possível corrupção de um aplicativo de IA ou uma tentativa de phishing por um dos usuários finais. O alerta determina que uma URL maliciosa usada para phishing foi passada durante uma conversa por meio do aplicativo de IA, no entanto, a origem da URL (usuário ou aplicativo) não é clara.
Táticas MITRE: Impacto (Desfiguração), Coleta
Gravidade: Alta
Tentativa de phishing detectada em um aplicativo de IA
(AI. Azure_PhishingContentInUserPrompt)
Descrição: esse alerta indica que um URL usado para ataque de phishing foi enviado por um usuário para um aplicativo de IA. O conteúdo normalmente atrai os visitantes para inserir as credenciais corporativas ou informações financeiras em um site de aparência legítima. Enviar isso para um aplicativo de IA pode ter o objetivo de corrompê-lo, envenenar as fontes de dados às quais ele tem acesso ou obter acesso a funcionários ou outros clientes por meio das ferramentas do aplicativo.
Táticas MITRE: Coleção
Gravidade: Alta
Observação
Para obter alertas que estão em versão prévia: os termos suplementares de versão prévia do Azure incluem termos legais adicionais que se aplicam aos recursos do Azure que estão em versão beta, versão prévia ou que, de outra forma, ainda não foram lançados em disponibilidade geral.