Confrontare le opzioni di archiviazione per l'uso con i cluster Azure HDInsight
È possibile scegliere tra differenti servizi di archiviazione di Azure durante la creazione di cluster HDInsight:
Questo articolo offre una panoramica di questi tipi di archiviazione e delle relative funzionalità univoche.
Tipi di archiviazione e funzionalità
La tabella seguente riepiloga i servizi di Archiviazione di Azure supportati con versioni differenti di HDInsight:
| Servizio di archiviazione | Tipo di conto | Tipo di spazio dei nomi | Servizi supportati | Livelli di prestazioni supportati | Livelli di accesso supportati | HDInsight Version | Tipo di cluster |
|---|---|---|---|---|---|---|---|
| Azure Data Lake Storage Gen2 | Utilizzo generico v2 | Gerarchico (filesystem) | BLOB | Standard | Frequente, sporadico, archivio | 3.6+ | Tutti tranne Spark 2.1 e 2.2 |
| Archiviazione di Azure | Utilizzo generico v2 | Object | BLOB | Standard | Frequente, sporadico, archivio | 3.6+ | Tutte le date |
| Archiviazione di Azure | Utilizzo generico v1 | Object | BLOB | Standard | N/D | Tutte le date | Tutte le date |
| Archiviazione di Azure | Archiviazione BLOB** | Object | BLOB in blocchi | Standard | Frequente, sporadico, archivio | Tutte le date | Tutte le date |
| Azure Data Lake Storage Gen1 | N/D | Gerarchico (filesystem) | N/D | N/D | N/D | Solo 3.6 | Tutti tranne HBase |
| Archiviazione di Azure | BLOB in blocchi | Object | BLOB in blocchi | Premium | N/D | 3.6+ | Solo HBase con scritture accelerate |
| Azure Data Lake Storage Gen2 | BLOB in blocchi | Gerarchico (filesystem) | BLOB in blocchi | Premium | N/D | 3.6+ | Solo HBase con scritture accelerate |
**Per i cluster HDInsight, solo gli account di archiviazione secondari possono essere di tipo BlobStorage e BLOB di pagine non è un'opzione di archiviazione supportata.
Per altre informazioni sui tipi di account di Archiviazione di Azure, vedere la panoramica dell'account di archiviazione di Azure
Per altre informazioni sui livelli di accesso di Archiviazione di Azure, vedere Archiviazione BLOB di Azure: livelli di archiviazione Premium (anteprima), ad accesso frequente, ad accesso sporadico e archivio
È possibile creare cluster usando combinazioni di servizi per l'archiviazione primaria e secondaria facoltativa. La tabella seguente riepiloga le configurazioni di archiviazione cluster attualmente supportate in HDInsight:
| HDInsight Version | Archiviazione primaria | Archiviazione secondaria | Supportata |
|---|---|---|---|
| 3.6 & 4.0 | Utilizzo generico V1, utilizzo generico V2 | Utilizzo generico V1, Utilizzo generico V2, BlobStorage(BLOB in blocchi) | Sì |
| 3.6 & 4.0 | Utilizzo generico V1, utilizzo generico V2 | Data Lake Storage Gen2 | No |
| 3.6 & 4.0 | Data Lake Storage Gen2* | Data Lake Storage Gen2 | Sì |
| 3.6 & 4.0 | Data Lake Storage Gen2* | Utilizzo generico V1, Utilizzo generico V2, BlobStorage(BLOB in blocchi) | Sì |
| 3.6 & 4.0 | Data Lake Storage Gen2 | Data Lake Storage Gen1 | No |
| 3.6 | Data Lake Storage Gen1 | Data Lake Storage Gen1 | Sì |
| 3.6 | Data Lake Storage Gen1 | Utilizzo generico V1, Utilizzo generico V2, BlobStorage(BLOB in blocchi) | Sì |
| 3.6 | Data Lake Storage Gen1 | Data Lake Storage Gen2 | No |
| 4.0 | Data Lake Storage Gen1 | Qualsiasi | No |
| 4.0 | Utilizzo generico V1, utilizzo generico V2 | Data Lake Storage Gen1 | No |
*=Può trattarsi di uno o più Data Lake Storage Gen2, purché siano tutti configurati per usare la stessa identità gestita per l'accesso al cluster.
Nota
L'archiviazione primaria di Data Lake Storage Gen2 non è supportata per i cluster Spark 2.1 o 2.2.
Replica dei dati
Azure HDInsight non archivia i dati dei clienti. I mezzi principali di archiviazione per un cluster sono gli account di archiviazione associati. È possibile collegare il cluster a un account di archiviazione esistente o creare un nuovo account di archiviazione durante il processo di creazione del cluster. Se viene creato un nuovo account, verrà creato come account di archiviazione con ridondanza locale (LRS) e soddisfa i requisiti di residenza dei dati nell'area, inclusi quelli specificati nel Centro protezione.
È possibile verificare che HDInsight sia configurato correttamente per archiviare i dati in una singola area assicurandosi che l'account di archiviazione associato a HDInsight sia LRS o un'altra opzione di archiviazione menzionata nel Centro protezione.
Nota
L'aggiornamento dell'account di archiviazione primario o secondario di un cluster in esecuzione con le funzionalità di Azure Data Lake Storage Gen2 non è supportato. Per modificare il tipo di archiviazione di un cluster HDInsight esistente in Data Lake Storage Gen2, è necessario ricreare il cluster e selezionare un account di archiviazione abilitato per lo spazio dei nomi gerarchico.