Criar, configurar e usar um ambiente no Microsoft Fabric
Os ambientes Microsoft Fabric são um item consolidado para todas as suas configurações de hardware e software. Em um ambiente, você pode selecionar diferentes tempos de execução Spark, configurar seus recursos de computação, instalar bibliotecas de repositórios públicos ou do diretório local e muito mais.
Este tutorial fornece uma visão geral da criação, configuração e uso de um ambiente.
Criar um ambiente
Há vários pontos de entrada para a criação de novos ambientes.
Ponto de entrada padrão
No hub de criação ou na seção Novo do seu espaço de trabalho, você pode encontrar a opção para criar um novo ambiente como outros itens do Fabric.
Criar durante seleção
Ao selecionar o ambiente do seu notebook, a definição de trabalho do Spark e o padrão do espaço de trabalho, você pode encontrar a opção para criar um novo ambiente.
Configurar um ambiente
Há três componentes principais em um ambiente, que são a computação do Spark que inclui o runtime, as bibliotecas e o recurso do Spark. As configurações de computação e bibliotecas do Spark são necessárias para que a publicação seja eficaz, enquanto os recursos são um armazenamento compartilhado que pode mudar em tempo real. Consulte a seção Salvar e publicar alterações para obter mais detalhes.
Configurar a computação do Spark
Para um ambiente, você pode escolher entre vários runtimes do Spark, cada um com suas próprias configurações padrão e pacotes pré-instalados. Para exibir os runtimes disponíveis, navegue até a guia Página Inicial do ambiente e selecione Runtime. Selecione o runtime que melhor atende às suas necessidades.
Importante
- Se você estiver atualizando o runtime de um ambiente com configurações ou bibliotecas existentes, será necessário republicar o conteúdo com base na versão de runtime atualizada.
- Se as configurações ou bibliotecas existentes não forem compatíveis com a versão de runtime atualizada recentemente, a publicação falhará. Você deve remover as configurações ou bibliotecas incompatíveis e publicar o ambiente novamente.
A computação do Microsoft Fabric Spark fornece velocidade e eficiência incomparáveis em execução no Spark e experiências personalizadas por requisitos. Em seu ambiente, você pode escolher entre vários pools criados por administradores de workspace e administradores de capacidade. Você pode ajustar ainda mais as configurações e gerenciar as propriedades do Spark para ser eficaz nas sessões do Spark. Para obter mais informações, consulte definições de configuração de computação do Spark em ambientes do Fabric.
Gerenciar bibliotecas
Com exceção das bibliotecas internas fornecidas por cada runtime do Spark, o ambiente do Fabric permite que você instale bibliotecas de fontes públicas ou carregue bibliotecas personalizadas criadas por você ou sua organização. Depois de instalar as bibliotecas com êxito, elas estarão disponíveis em suas sessões do Spark. Para obter mais informações, consulte gerenciamento de bibliotecas em ambientes do Fabric. Você também pode encontrar as práticas recomendadas de gerenciamento de bibliotecas no Microsoft Fabric.Gerenciar bibliotecas do Apache Spark no Microsoft Fabric
Recursos
A seção Recursos no ambiente facilita a capacidade de gerenciar pequenos recursos durante a fase de desenvolvimento. Os arquivos carregados no ambiente podem ser acessados em notebooks quando conectados. Para obter mais informações, consulte Gerenciar os recursos no ambiente Fabric
Salvar e publicar alterações
Na guia Página Inicial da faixa de opções do ambiente, você pode encontrar facilmente dois botões chamados Salvar e Publicar. Eles serão ativados quando houver alterações pendentes não salvas ou não publicadas nas seções de computação Bibliotecas e Spark.
Você também verá um banner solicitando esses dois botões quando houver alterações pendentes nas seções de computação Bibliotecas e Spark. Eles têm as mesmas funcionalidades com os da faixa de opções.
- As alterações não salvas serão perdidas se você atualizar ou deixar o navegador aberto. Selecione o botão Salvar para garantir que suas alterações sejam gravadas antes de sair. O salvamento não aplica a configuração, mas os armazena em cache no sistema.
- Selecione Publicar para aplicar as alterações às bibliotecas e à computação do Spark. A página Alterações pendentes aparecerá para revisão final antes da publicação. Em seguida, selecione Publicar tudo para iniciar a configuração no ambiente Fabric. Esse processo pode levar algum tempo, especialmente se alterações de biblioteca estiverem envolvidas.
- Para cancelar um processo de publicação, selecione Exibir progresso no banner e Cancelar a operação.
- Uma notificação será exibida após a conclusão da publicação. Haverá uma notificação de erro se ocorrer algum problema durante o processo.
Observação
Um ambiente aceita apenas uma publicação de cada vez. Nenhuma outra alteração pode ser feita nas bibliotecas ou na seção de computação do Spark durante uma publicação em andamento. A publicação não afeta a adição, exclusão ou edição de arquivos e pastas na seção Recursos. As ações para gerenciar recursos são em tempo real. A publicação não bloqueia alterações na seção de recursos.
Anexar um ambiente
O ambiente do Microsoft Fabric pode ser anexado aos workspaces Engenharia de Dados/Ciência ou seus notebooks e definições de trabalho do Spark.
Anexar um ambiente como padrão do workspace
Localize a guia Ambiente selecionando configuração do Workspace ->Engenharia de Dados/Ciência ->configurações do Spark.
Novos workspaces
Quando você estiver trabalhando em um workspace que seja novo ou não tenha a biblioteca e as configurações do Spark configuradas, a tela de configurações do Spark a seguir será exibida.
Os administradores do workspace podem definir a carga de trabalho padrão para workspaces inteiros. Os valores configurados aqui são eficazes para notebooks e definições de trabalho do Spark que se anexam às configurações do Workspace.
A alternância de Definir ambiente padrão pode aprimorar a experiência do usuário. Por padrão, essa alternância é definida como Desativada. Se não houver nenhuma propriedade ou biblioteca padrão do Spark necessária como o padrão do workspace, os administradores poderão definir o runtime do Spark nesta circunstância. No entanto, se um administrador quiser preparar uma computação e bibliotecas padrão do Spark para o workspace, ele poderá alternar a alternância para Ativado e anexar facilmente um ambiente como o padrão do workspace. Essa opção torna todas as configurações no ambiente eficazes como as Configurações do Workspace.
Workspaces com biblioteca ou propriedades do Spark existentes
O recurso de ambiente é uma grande atualização para a seção Engenharia de Dados/Ciência de Dados nas Configurações do Workspace. Como parte dessa atualização, o Fabric não dá mais suporte ao gerenciamento de bibliotecas e à adição de novas propriedades do Spark no nível do workspace. Você pode migrar suas bibliotecas existentes e propriedades do Spark para um ambiente e anexá-las como o padrão do workspace. Para obter mais informações, consulte Migrar bibliotecas de workspace e propriedades do Spark para um ambientepadrão.
Anexar um ambiente a um notebook ou a uma definição de trabalho do Spark
O menu Ambiente aparece nas guias Página Inicial da definição de trabalho do Notebook e do Spark. Os ambientes disponíveis estão listados no menu. Se você selecionar um ambiente, a computação do Spark e as bibliotecas configuradas nele entrarão em vigor depois que você iniciar uma sessão do Spark.
Observação
Se você alternar para um ambiente diferente durante uma sessão ativa, o ambiente recém-selecionado não entrará em vigor até a próxima sessão.
Compartilhar um ambiente existente
O Microsoft Fabric oferece suporte ao compartilhamento de um item com diferentes níveis de permissões.
Quando você compartilha um item de ambiente, os destinatários recebem automaticamente a permissão de Leitura. Com essa permissão, eles podem explorar as configurações do ambiente e anexá-lo a notebooks ou trabalhos Spark. Para uma execução de código suave, certifique-se de conceder permissões de leitura para ambientes anexados ao compartilhar notebooks e definições de trabalhos Spark.
Além disso, você pode compartilhar o ambiente com permissões Compartilhar e Editar. Os usuários com permissão Compartilhar podem continuar compartilhando o ambiente com outras pessoas. Os destinatários com a permissão Editar podem atualizar o conteúdo do ambiente.