Aggiornare Archiviazione BLOB di Azure con le funzionalità di Azure Data Lake Storage

Articolo
09/26/2024

Questo articolo illustra come abilitare uno spazio dei nomi gerarchico e sbloccare funzionalità come la sicurezza a livello di file e directory e operazioni più veloci. Queste funzionalità vengono ampiamente usate dai carichi di lavoro di analisi dei Big Data e, nel complesso, vengono denominate Azure Data Lake Storage.

Per altre informazioni su queste funzionalità e per la valutazione dell'impatto di questo aggiornamento su carichi di lavoro, applicazioni, costi, integrazioni di servizi, strumenti, funzionalità e documentazione, vedere Aggiornamento di Azure Blob Storage con le funzionalità di Azure Data Lake Storage.

Importante

gli aggiornamenti sono unidirezionali. Non è possibile ripristinare l'account dopo aver eseguito l'aggiornamento. È consigliabile convalidare l'aggiornamento in un ambiente non di produzione.

Preparare l'aggiornamento

Per preparare l'aggiornamento dell'account di archiviazione a Data Lake Storage:

Esaminare il supporto per le funzionalità
Verificare che i segmenti di ogni percorso BLOB siano denominati
Impedire l'attività di scrittura nell'account di archiviazione

Esaminare il supporto per le funzionalità

L'account di archiviazione potrebbe essere configurato per l'uso di funzionalità non ancora supportate negli account abilitati per Data Lake Storage. Se l'account usa tali funzionalità, l'aggiornamento non supererà la fase di convalida. Esaminare l'articolo Supporto per la funzionalità di Archiviazione BLOB negli account di Archiviazione di Azure per identificare le funzionalità non supportate. Se si usano tali funzionalità nell'account, disabilitarle prima di iniziare l'aggiornamento.

Le funzionalità seguenti sono supportate per gli account di Data Lake Storage, ma non dal processo di aggiornamento:

Snapshot BLOB
Ambiti di crittografia
Archiviazione non modificabile
Rilevamento dell'ora dell'ultimo accesso per la gestione del ciclo di vita
Eliminazione temporanea per i BLOB
Eliminazione temporanea per i contenitori

Se l'account di archiviazione dispone di tali funzionalità abilitate, è necessario disabilitarle prima di eseguire l'aggiornamento. Se si desidera riprendere a usare le funzionalità dopo il completamento dell'aggiornamento, riabilitarle.

In alcuni casi, prima di effettuare l'aggiornamento, è necessario prevedere un po’ di tempo per le operazioni di pulizia in seguito alla disabilitazione di una funzionalità. Ad esempio, nel caso della funzionalità di eliminazione temporanea del BLOB. È necessario disabilitare l'eliminazione temporanea del BLOB e quindi consentire la scadenza di tutti i BLOB eliminati in modo temporaneo prima di poter aggiornare l'account.

Importante

Non è possibile aggiornare un account di archiviazione in Data Lake Storage che abbia già abilitato la funzionalità del feed di modifiche. La semplice disabilitazione del feed di modifiche non consente di eseguire un aggiornamento. È invece necessario creare un account con la funzionalità dello spazio dei nomi gerarchico abilitata e trasferire i dati in tale account.

Rimuovere BLOB di pagine dall'account di archiviazione

Non è possibile aggiornare un account di archiviazione che contiene BLOB di pagine. Assicurarsi di rimuovere i BLOB di pagine dall'account di archiviazione prima di eseguire l'aggiornamento.

Verificare che i segmenti di ogni percorso BLOB siano denominati

Il processo di migrazione crea una directory per ogni segmento di percorso di un BLOB. Le directory di Data Lake Storage devono essere denominate, pertanto, affinché la migrazione vada a buon fine, ogni segmento di percorso in una directory virtuale deve avere un nome. Lo stesso requisito è valido per i segmenti che vengono denominati solo con un carattere di spazio. Se i segmenti di percorso non hanno un nome (// ) o vengono denominati solo con un carattere di spazio (_), prima di procedere con la migrazione è necessario copiare tali BLOB in un nuovo percorso che sia compatibile con questi requisiti di denominazione.

Impedire l'attività di scrittura nell'account di archiviazione

Se durante l’aggiornamento un'applicazione scrive nell'account di archiviazione, tale operazione potrebbe avere esito negativo. Per evitare tale attività di scrittura:

Disattivare tutte le applicazioni o i servizi che potrebbero eseguire operazioni di scrittura.
Rilasciare o interrompere i lease esistenti nei contenitori e nei BLOB dell'account di archiviazione.

Al termine dell'aggiornamento, interrompere i lease creati per riprendere consentendo l'accesso in scrittura ai contenitori e ai BLOB.

Avviso

L'interruzione di un lease attivo senza disabilitare correttamente le applicazioni o le macchine virtuali che stanno accedendo a tali risorse potrebbe comportare risultati imprevisti. Assicurarsi di disattivare tutte le attività di scrittura correnti prima di interrompere i lease in corso.

Eseguire l'aggiornamento.

Accedere al portale di Azure per iniziare.
Individuare l'account di archiviazione e visualizzare la sezione della panoramica dell'account.
Selezionare Migrazione di Data Lake Gen2.

Viene visualizzata la pagina di configurazione Eseguire l'aggiornamento a un Account di archiviazione con le funzionalità di Azure Data Lake Gen2.
Espandere la sezione Passaggio 1: Verificare le modifiche all'account prima dell'aggiornamento e fare clic su Verifica e accetta le modifiche.
Nella pagina Verificare le modifiche dell'account, selezionare la casella di controllo e quindi fare clic suAccetta le modifiche.
Espandere la sezione Passaggio 2: Convalidare l'account prima dell'aggiornamento e quindi fare clic su Avvia convalida.

Se la convalida ha esito negativo, viene visualizzato un errore nella pagina. In alcuni casi, viene visualizzato il collegamento Visualizza errori. Se viene visualizzato tale collegamento, selezionarlo.

Quindi, dal menu di scelta rapida del file error.json, selezionare Scarica.

Aprire il file scaricato per determinare il motivo per cui l'account non ha superato il passaggio di convalida. Il codice JSON seguente indica che nell'account è abilitata una funzionalità incompatibile. In questo caso, si disabilita la funzionalità e quindi si avvia di nuovo il processo di convalida.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Dopo aver convalidato l’account, espandere la sezione Passaggio 3: Aggiornare l'account, quindi fare clic su Avvia aggiornamento.

Importante

Le operazioni di scrittura vengono disabilitate durante l'aggiornamento dell'account. Le operazioni di lettura non vengono disabilitate, ma è consigliabile sospenderle perché potrebbero destabilizzare il processo di aggiornamento.

Al termine della migrazione, viene visualizzato un messaggio simile al seguente.

Aprire una finestra dei comandi di Windows PowerShell.
Verificare che sia installata la versione più recente del modulo Azure PowerShell. Vedere Installare un modulo Azure PowerShell.
Accedere alla sottoscrizione di Azure con il comando Connect-AzAccount e seguire le istruzioni visualizzate.
```
Connect-AzAccount
```
Se l'identità è associata a più di una sottoscrizione, impostare la sottoscrizione attiva.
```
$context = Get-AzSubscription -SubscriptionId <subscription-id>
Set-AzContext $context
```
Sostituire il valore segnaposto <subscription-id> con l'ID della sottoscrizione.
Convalidare l'account di archiviazione usando il comando seguente.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Validation -AsJob
```
- Sostituire il valore segnaposto <resource-group-name> con il nome del proprio gruppo di risorse.
- Sostituire il valore segnaposto <storage-account-name> con il nome del proprio account di archiviazione.
A seconda delle dimensioni dell'account, questo processo può richiedere del tempo. È possibile usare l'opzione asJob per eseguire il comando in un processo in background, in modo che il client non venga bloccato. Il comando viene eseguito in modalità remota, ma il processo è presente nel computer locale o nella macchina virtuale da cui si esegue il comando. I risultati vengono trasmessi al computer locale o alla macchina virtuale.
Per controllare lo stato del processo e visualizzarne tutte le proprietà in un elenco, inviare tramite pipe la variabile restituita al cmdlet Format-List.
```
$result | Format-List -Property *
```
Se la convalida ha esito positivo, la proprietà State verrà impostata su Completed.

Se la convalida ha esito negativo, la proprietà State verrà impostata su Failed e la proprietà Error mostrerà errori di convalida.

L'output seguente indica che nell'account è abilitata una funzionalità incompatibile. In questo caso, si disabilita la funzionalità e quindi si avvia di nuovo il processo di convalida.

In alcuni casi, la proprietà Error fornisce un percorso a un file denominato error.json. È possibile aprire tale file per determinare il motivo per cui l'account non ha superato il passaggio di convalida.

Il codice JSON seguente indica che nell'account è abilitata una funzionalità incompatibile. In questo caso, si disabilita la funzionalità e quindi si avvia di nuovo il processo di convalida.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Dopo aver convalidato l'account, avviare l'aggiornamento eseguendo il comando seguente.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Upgrade -AsJob -Force
```
Come nell'esempio di convalida precedente, in questo esempio viene usata l'opzione asJob per eseguire il comando in un processo in background. L'opzione Force esegue l'override delle richieste per confermare l'aggiornamento. Se non si usa l'opzione AsJob, non è necessario usare l'opzione Force perché è sufficiente rispondere alle richieste.

Importante

Le operazioni di scrittura vengono disabilitate durante l'aggiornamento dell'account. Le operazioni di lettura non vengono disabilitate, ma è consigliabile sospenderle perché potrebbero destabilizzare il processo di aggiornamento.

Per controllare lo stato del processo, usare le stesse tecniche descritte nei passaggi precedenti. Durante l'esecuzione del processo, la proprietà State verrà impostata su Running.

Una volta completata la migrazione, la proprietà State verrà impostata su Completed e la proprietà Error non visualizzerà errori.

Importante

Una stima approssimativa del tempo di aggiornamento corrisponde a circa 5-10 minuti per 2 milioni di BLOB. Ad esempio, se l'account dispone di 10 milioni di BLOB, l'aggiornamento richiederà circa 25-50 minuti. Gli account che contengono meno di 2 milioni di BLOB vengono in genere aggiornati in meno di 10 minuti.

Prima di tutto aprire Azure Cloud Shell oppure un'applicazione console dei comandi come Windows PowerShell, se si dispone dell’interfaccia della riga di comando di Azure installata in locale.
Verificare con il comando seguente che la versione dell'interfaccia della riga di comando di Azure installata corrisponda a 2.29.0 o successive.
```
 az --version
```
Se la versione dell'interfaccia della riga di comando di Azure fosse inferiore a 2.29.0, installare la versione successiva. Per altre informazioni, vedere Installare l'interfaccia della riga di comando di Azure.
Se l'identità è associata a più di una sottoscrizione, impostare la sottoscrizione attiva.
```
   az account set --subscription <subscription-id>
```
Sostituire il valore segnaposto <subscription-id> con l'ID della sottoscrizione.
Convalidare l'account di archiviazione usando il comando seguente.
```
az storage account hns-migration start --type validation -n <storage-account-name> -g <resource-group-name>
```
- Sostituire il valore segnaposto <resource-group-name> con il nome del proprio gruppo di risorse.
- Sostituire il valore segnaposto <storage-account-name> con il nome del proprio account di archiviazione.
Se la convalida ha esito positivo, il processo viene completato e non vengono visualizzati errori.

Se la convalida non riesce, nella console verrà visualizzato un errore di convalida. Ad esempio, l'errore (IncompatibleValuesForAccountProperties) Values for account properties are incompatible: Versioning Enabled indica che nell'account è abilitata una funzionalità non compatibile (Controllo delle versioni). In questo caso, si disabilita la funzionalità e quindi si avvia di nuovo il processo di convalida.

In alcuni casi, il percorso di un file denominato error.json viene visualizzato nella console. È possibile aprire tale file per determinare il motivo per cui l'account non ha superato il passaggio di convalida.

Il codice JSON seguente indica che nell'account è abilitata una funzionalità incompatibile. In questo caso, si disabilita la funzionalità e quindi si avvia di nuovo il processo di convalida.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Dopo aver convalidato l'account, avviare l'aggiornamento eseguendo il comando seguente.
```
az storage account hns-migration start --type upgrade -n storage-account-name -g <resource-group-name>
```
Importante

Le operazioni di scrittura vengono disabilitate durante l'aggiornamento dell'account. Le operazioni di lettura non vengono disabilitate, ma è consigliabile sospenderle perché potrebbero destabilizzare il processo di aggiornamento.

Se la migrazione ha esito positivo, il processo viene completato e non vengono visualizzati errori.

Arrestare l'aggiornamento

È possibile arrestare la migrazione prima del completamento.

Per arrestare l'aggiornamento prima del completamento, selezionare Annulla aggiornamento mentre tale processo è in corso.

Annulla aggiornamento

Per arrestare l'aggiornamento prima del completamento, usare il comando Stop-AzStorageAccountHierarchicalNamespaceUpgrade.

Stop-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName <resource-group-name> -Name <storage-account-name>

Per arrestare l'aggiornamento prima del completamento, usare il comando az storage account hns-migration stop.

az storage account hns-migration stop -n <storage-account-name> -g <resource-group-name>

Eseguire la migrazione di dati, carichi di lavoro e applicazioni

Configurare i servizi nei carichi di lavoro in modo che siano indirizzati all'endpoint del servizio BLOB o a quello di Data Lake Storage.
Assicurarsi di modificare i carichi di lavoro Hadoop che usano i driver BLOB del servizio di archiviazione di Azure di Windows o WASB per usare il driver Azure Blob File System (ABFS). A differenza del driver WASB che effettua richieste all'endpoint del servizio BLOB, il driver ABFS effettuerà richieste all'endpoint di Data Lake Storage dell'account.
Testare le applicazioni personalizzate per assicurarsi che funzionino come previsto con l'account aggiornato.

L'accesso multi-protocollo in Data Lake Storage consente alla maggior parte delle applicazioni di continuare a usare le API BLOB senza modifiche. Se si riscontrano problemi o si vogliono usare le API per lavorare con operazioni di directory ed elenchi di controllo di accesso, è possibile spostare parte del codice per usare le API di Data Lake Storage. Vedere le guide per .NET, Java, Python, Node.js e REST.
Testare gli script personalizzati per assicurarsi che funzionino come previsto con l'account aggiornato.

Come nel caso delle API BLOB, è probabile che molti degli script funzionino senza che sia necessario modificarli. Tuttavia, se necessario, è possibile aggiornare i file di script per usare i cmdlet di PowerShell di Data Lake Storage e i comandi dell'interfaccia della riga di comando di Azure.

Vedi anche

Introduzione all’archiviazione di Azure Data Lake

Condividi tramite