Início Rápido: Criar um conjunto do Apache Spark sem servidor no Azure Synapse Analytics com ferramentas Web

Neste início rápido, irá aprender a criar um conjunto do Apache Spark sem servidor no Azure Synapse com ferramentas Web. Em seguida, irá aprender a ligar ao conjunto do Apache Spark e a executar consultas SQL do Spark em ficheiros e tabelas. O Apache Spark permite uma análise de dados e computação de clusters rápidas através do processamento dentro da memória. Para obter informações sobre o Spark no Azure Synapse, veja Descrição geral: Apache Spark no Azure Synapse.

Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.

Pré-requisitos

• Precisará de uma subscrição do Azure. Se necessário, crie uma conta gratuita do Azure
• Área de trabalho do Synapse Analytics
• Conjunto do Apache Spark sem servidor

Iniciar sessão no portal do Azure

Inicie sessão no portal do Azure.

Se não tiver uma subscrição do Azure, crie uma conta gratuita do Azure antes de começar.

Criar um bloco de notas

Um bloco de notas é um ambiente interativo que suporta várias linguagens de programação. O bloco de notas permite-lhe interagir com os seus dados, combinar código com markdown, texto e executar visualizações simples.

1. Na vista do portal do Azure para a área de trabalho do Azure Synapse que pretende utilizar, selecione Iniciar o Synapse Studio.

2. Assim que o Synapse Studio for iniciado, selecione Desenvolver. Em seguida, selecione o ícone "+" para adicionar um novo recurso.

3. A partir daí, selecione Bloco de Notas. É criado e aberto um novo bloco de notas com um nome gerado automaticamente.

   

4. Na janela Propriedades , forneça um nome para o bloco de notas.

5. Na barra de ferramentas, clique em Publicar.

6. Se existir apenas um conjunto do Apache Spark na área de trabalho, está selecionado por predefinição. Utilize o menu pendente para selecionar o conjunto do Apache Spark correto se nenhum estiver selecionado.

7. Clique em Adicionar código. O idioma predefinido é Pyspark. Vai utilizar uma mistura de Pyspark e Spark SQL, pelo que a opção predefinida é boa. Outros idiomas suportados são Scala e .NET para Spark.

8. Em seguida, vai criar um objeto DataFrame do Spark simples para manipular. Neste caso, vai criá-lo a partir do código. Existem três linhas e três colunas:

   new_rows = [('CA',22, 45000),("WA",35,65000) ,("WA",50,85000)]
   demo_df = spark.createDataFrame(new_rows, ['state', 'age', 'salary'])
   demo_df.show()
   

9. Agora, execute a célula com um dos seguintes métodos:

   • Prima SHIFT + ENTER.

   • Selecione o ícone de reprodução azul à esquerda da célula.

   • Selecione o botão Executar tudo na barra de ferramentas.

     

10. Se a instância do conjunto do Apache Spark ainda não estiver em execução, será iniciada automaticamente. Pode ver o estado da instância do conjunto do Apache Spark abaixo da célula que está a executar e também no painel de estado na parte inferior do bloco de notas. Consoante o tamanho do conjunto, o início deve demorar entre 2 a 5 minutos. Assim que o código terminar de ser executado, as informações abaixo da célula mostram quanto tempo demorou a ser executado e a respetiva execução. Na célula de saída, verá o resultado.

    

11. Os dados já existem num DataFrame a partir daí, pode utilizar os dados de várias formas diferentes. Vai precisar dele em formatos diferentes para o resto deste início rápido.

12. Introduza o código abaixo noutra célula e execute-o, isto cria uma tabela do Spark, um CSV e um ficheiro Parquet com cópias dos dados:

     demo_df.createOrReplaceTempView('demo_df')
     demo_df.write.csv('demo_df', mode='overwrite')
     demo_df.write.parquet('abfss://<<TheNameOfAStorageAccountFileSystem>>@<<TheNameOfAStorageAccount>>.dfs.core.windows.net/demodata/demo_df', mode='overwrite')
    

    Se utilizar o explorador de armazenamento, é possível ver o impacto das duas formas diferentes de escrever um ficheiro utilizado acima. Quando não é especificado nenhum sistema de ficheiros, a predefinição é utilizada, neste caso default>user>trusted-service-user>demo_df. Os dados são guardados na localização do sistema de ficheiros especificado.

    Repare que nos formatos "csv" e "parquet", as operações de escrita são criadas num diretório com muitos ficheiros particionados.

    

    

Executar instruções SQL do Spark

linguagem SQL (Structured Query Language) (SQL) é a linguagem mais comum e amplamente utilizada para consultar e definir dados. O Spark SQL funciona como uma extensão do Apache Spark para o processamento de dados estruturados e utiliza a sintaxe familiar do SQL Server.

1. Cole o seguinte código numa célula vazia e, em seguida, execute o código. O comando lista as tabelas no conjunto.

   %%sql
   SHOW TABLES
   

   Quando utiliza um Bloco de Notas com o conjunto do Apache Spark do Azure Synapse, obtém uma predefinição sqlContext que pode utilizar para executar consultas com o Spark SQL. %%sql indica ao bloco de notas para utilizar a predefinição sqlContext para executar a consulta. A consulta obtém as 10 principais linhas de uma tabela de sistema fornecida com todos os conjuntos do Apache Spark do Azure Synapse por predefinição.

2. Execute outra consulta para ver os dados no demo_df.

   %%sql
   SELECT * FROM demo_df
   

   O código produz duas células de saída, uma que contém dados resulta na outra, que mostra a vista de tarefa.

   Por predefinição, a vista de resultados mostra uma grelha. Contudo, existe um comutador de vista por baixo da grelha que permite que a vista alterne entre as vistas de grelha e gráfico.

   

3. No comutador Ver , selecione Gráfico.

4. Selecione o ícone Ver opções no lado direito.

5. No campo Tipo de gráfico , selecione "gráfico de barras".

6. No campo de coluna do eixo X, selecione "estado".

7. No campo coluna eixo Y, selecione "salário".

8. No campo Agregação , selecione "AVG".

9. Selecione Aplicar.

   

10. É possível obter a mesma experiência de execução do SQL, mas sem ter de mudar de idiomas. Pode fazê-lo ao substituir a célula SQL acima por esta célula PySpark. A experiência de saída é a mesma porque é utilizado o comando de apresentação :

    display(spark.sql('SELECT * FROM demo_df'))
    

11. Cada uma das células executadas anteriormente tinha a opção de aceder ao Servidor de Histórico e Monitorização. Clicar nas ligações leva-o a diferentes partes da Experiência de Utilizador.

Limpar os recursos

O Azure Synapse guarda os seus dados no Azure Data Lake Storage. Pode permitir que uma instância do Spark seja encerrada em segurança quando não estiver a ser utilizada. É-lhe cobrado um conjunto do Apache Spark sem servidor, desde que esteja em execução, mesmo quando não está a ser utilizado.

Uma vez que os custos do conjunto são muitas vezes mais do que os custos de armazenamento, faz sentido económico permitir que as instâncias do Spark sejam encerradas quando não estão a ser utilizadas.

Para garantir que a instância do Spark está encerrada, termine todas as sessões ligadas (blocos de notas). O conjunto é encerrado quando o tempo de inatividade especificado no conjunto do Apache Spark é atingido. Também pode selecionar a sessão de fim na barra de estado na parte inferior do bloco de notas.

Passos seguintes

Neste início rápido, aprendeu a criar um conjunto do Apache Spark sem servidor e a executar uma consulta SQL básica do Spark.

• Azure Synapse Analytics
• Documentação do .NET para Apache Spark