Configurar entrega do log de diagnóstico

Esse artigo descreve como habilitar a entrega de log de diagnóstico para seus workspaces do Azure Databricks.

1. Faça logon no portal do Azure como Proprietário, Colaborador ou como usuário com uma função personalizada com a permissão Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action para o espaço de trabalho do Azure Databricks. Em seguida, clique no recurso de serviço do Azure Databricks.

2. Na seção Monitoramento da barra lateral, clique na guia Configurações de diagnóstico.

3. Clique em Ativar diagnóstico.

   

4. Na página Configurações de diagnóstico, forneça a seguinte configuração:

   Nome

   Insira um nome para os logs a serem criados.

   Arquivar em uma conta de armazenamento

   Para usar essa opção, você precisa de uma conta de armazenamento existente à qual se conectar. Para criar uma nova conta de armazenamento no portal, consulte Criar uma conta de armazenamento e siga as instruções para criar uma conta de uso geral do Azure Resource Manager. Em seguida, retorne a esta página no portal para selecionar sua conta de armazenamento. Pode levar alguns minutos para que as contas de armazenamento recém-criadas sejam exibidas no menu suspenso. Para saber mais sobre custos adicionais incorridos ao gravar em uma conta de armazenamento, confira preços do Armazenamento do Azure.

   Transmitir por streaming para um hub de eventos

   Para usar essa opção, é necessário ter um namespace e um hub de eventos dos Hubs de Eventos do Azure aos quais se conectar. Para criar um namespace do Hubs de Eventos, consulte Criar um namespace dos Hubs de Eventos e um hub de eventos usando o portal do Azure. Em seguida, retorne a essa página no portal para selecionar o namespace e o nome da política dos Hubs de Eventos. Para saber mais sobre custos adicionais incorridos ao gravar em um hub de eventos, confira preços dos Hubs de Eventos do Azure.

   Enviar para o Log Analytics

   Para usar essa opção, use um workspace existente do Log Analytics ou crie um novo executando as etapas para Criar um novo workspace no portal. Para saber mais sobre custos adicionais incorridos ao enviar logs para o Log Analytics, confira Preços do Azure Monitor.

   

5. Escolha os serviços para os quais você deseja obter logs de diagnóstico.

6. Selecione Salvar.

7. Caso receba um erro que diga "Falha ao atualizar o diagnóstico para <workspace name>. A assinatura <subscription id> não está registrada para usar o microsoft.insights", siga as instruções em Solucionar Problemas de Diagnóstico do Azure para registrar a conta e repetir esse procedimento.

8. Se você quiser alterar como os seus logs de diagnóstico são salvos em qualquer ponto no futuro, retorne a esta página para modificar as configurações de log de diagnóstico para sua conta.

Habilitar o registro em log usando o PowerShell

1. Inicie uma sessão do PowerShell do Azure e entre em sua conta do Azure com o seguinte comando:

    Connect-AzAccount
   

   Para iniciar sessão na sua conta do Azure como usuário, consulte Iniciar sessão do PowerShell com uma conta de usuário do Azure Databricks. Para iniciar sessão na sua conta do Azure como entidade de serviço, consulte Iniciar sessão do PowerShell com uma entidade de serviço do Microsoft Entra ID.

   Se você ainda não tiver o Azure Powershell instalado, use os comandos a seguir para instalar o Azure PowerShell e importar o módulo do Azure RM.

    Install-Module -Name Az -AllowClobber
   

2. Na janela pop-up do navegador, insira o nome de usuário e a senha da sua conta do Azure. O Azure PowerShell obtém todas as assinaturas que estão associadas a essa conta e, por padrão, usa a primeira.

   Se você tiver mais de uma assinatura, será preciso especificar a assinatura específica que foi usada para criar seu Azure Key Vault. Digite o seguinte comando para ver as assinaturas da sua conta:

   Get-AzSubscription
   

   Para especificar a assinatura associada à conta do Azure Databricks que está sendo registrada em log, digite o seguinte comando:

   Set-AzContext -SubscriptionId <subscription ID>
   

3. Defina o nome do recurso do Log Analytics como uma variável chamada logAnalytics, em que ResourceName é o nome do workspace do Log Analytics.

   $logAnalytics = Get-AzResource -ResourceGroupName <resource group name> -ResourceName <resource name> -ResourceType "Microsoft.OperationalInsights/workspaces"
   

4. Defina o nome do recurso de serviço do Azure Databricks como uma variável chamada databricks, em que ResourceName é o nome do serviço do Azure Databricks.

   $databricks = Get-AzResource -ResourceGroupName <your resource group name> -ResourceName <your Azure Databricks service name> -ResourceType "Microsoft.Databricks/workspaces"
   

5. Para habilitar o registro em log no Azure Databricks, use o cmdlet Set-AzDiagnosticSetting com as variáveis da nova conta de armazenamento, o serviço do Azure Databricks e a categoria para habilitar o registro em log. Execute o seguinte comando e defina o sinalizador -Enabled como $true:

   New-AzDiagnosticSetting -ResourceId $databricks.ResourceId -WorkspaceId $logAnalytics.ResourceId -Enabled $true -name "<diagnostic setting name>" -Category <comma separated list>
   

Habilitar o registro em log usando a CLI do Azure

1. Abra o PowerShell.

2. Use o seguinte comando para conectar-se à sua conta do Azure:

   az login
   

   Para se conectar usando uma entidade de serviço do Microsoft Entra ID, confira Login da CLI do Azure com uma entidade de serviço do Microsoft Entra ID.

   Para se conectar usando uma conta de usuário do Azure Databricks, consulte o Logon da CLI do Azure com uma conta de usuário do Azure Databricks.

3. Execute o seguinte comando de configuração de diagnóstico:

   az monitor diagnostic-settings create --name <diagnostic name>
   --resource-group <log analytics workspace resource group>
   --workspace <log analytics name or object ID>
   --resource <target resource object ID>
   --logs '[
   {
    \"category\": <category name>,
     \"enabled\": true
   }
   ]'
   

API REST

Use a API LogSettings.

Solicitação

PUT https://management.azure.com/{resourceUri}/providers/microsoft.insights/diagnosticSettings/{name}?api-version=2017-05-01-preview

Corpo da solicitação

{
    "properties": {
    "workspaceId": "<log analytics resourceId>",
    "logs": [
      {
        "category": "<category name>",
        "enabled": true,
        "retentionPolicy": {
          "enabled": false,
          "days": 0
        }
      }
    ]
  }
}

Latência do log de diagnóstico

Após a habilitação do registro em log para a sua conta, o Azure Databricks envia automaticamente os logs de diagnósticos para o seu local de entrega. Normalmente, os logs ficam disponíveis 15 minutos após a ativação. Os eventos auditáveis do Azure Databricks normalmente aparecem nos logs de diagnóstico dentro de 15 minutos nas regiões comerciais do Azure.

Os logs de logon SSH são entregues com alta latência.