Konfigurieren des Cachings

Das Abfragen des Objektspeichers mithilfe des Hive-Connectors ist ein gängiger Anwendungsfall für Trino. Dieser Vorgang umfasst häufig das Senden großer Datenmengen. Objekte werden aus HDFS oder einem anderen unterstützten Objektspeicher von mehreren Workern abgerufen und von diesen verarbeitet. Wiederholte Abfragen mit unterschiedlichen Parametern oder sogar unterschiedliche Abfragen von verschiedenen Benutzer*innen, greifen häufig auf dieselben Objekte zu und übertragen sie.

In HDInsight on AKS wurde eine Funktion zum Zwischenspeichern der Endergebnisse für Trino hinzugefügt, die die folgenden Vorteile bietet:

• Verringern der Auslastung des Objektspeichers
• Verbessern der Abfrageleistung
• Reduzieren der Abfragekosten

Optionen für die Zwischenspeicherung

Verschiedene Optionen für die Zwischenspeicherung:

• Zwischenspeichern der Endergebnisse: Wenn diese Option aktiviert ist (im Abschnitt zur Konfiguration der Koordinatorkomponente), wird ein Ergebnis für alle Abfragen für alle Kataloge auf einer Koordinator-VM zwischengespeichert.
• Zwischenspeichern von Hive-/Iceberg-/Delta Lake-Katalogen: Wenn diese Option (für einen bestimmten Katalog des entsprechenden Typs) aktiviert ist, werden geteilte Daten für jede Abfrage innerhalb des Clusters auf Worker-VMs zwischengespeichert.

Zwischenspeichern von Endergebnissen

Das Zwischenspeichern von Endergebnissen kann auf zwei Arten konfiguriert werden:

• Über das Azure-Portal
• Verwenden einer ARM-Vorlage

Die verfügbaren Konfigurationsparameter sind:

Das Zwischenspeichern von Endergebnissen kann auch über die folgenden Sitzungsparameter gesteuert werden:

set session query_cache_enabled=true;
select cust.name, *
from tpch.tiny.orders 
join tpch.tiny.customer as cust on cust.custkey = orders.custkey
order by cust.name
limit 10;

Endergebniszwischenspeicherung erzeugt JMX-Metriken, die mithilfe von verwaltetem Prometheus und Grafana angezeigt werden können. Folgende Metriken sind verfügbar:

Über das Azure-Portal

1. Melden Sie sich beim Azure-Portal an.

2. Geben Sie in die Suchleiste des Azure-Portals den Suchbegriff „HDInsight on AKS-Cluster“ ein, und wählen Sie in der Dropdownliste „Azure HDInsight on AKS-Cluster“ aus.

   

3. Wählen Sie auf der Seite mit der Liste den Namen Ihres Clusters aus.

   

4. Navigieren Sie zum Blatt Konfigurationsverwaltung.

   

5. Wechseln Sie zu „config.properties“ > „Benutzerdefinierte Konfigurationen“, und klicken Sie dann auf Hinzufügen.

   

6. Legen Sie die erforderlichen Eigenschaften fest, und klicken Sie auf OK.

   

7. Speichern Sie die Konfiguration.

   

Per ARM-Vorlage

Voraussetzungen

• Ein betriebsbereiter Trino-Cluster mit HDInsight on AKS.
• Erstellen einer ARM-Vorlage für Ihren Cluster
• Überprüfen eines Beispielclusters basierend auf einer ARM-Vorlage
• Kenntnisse in der Erstellung und Bereitstellung von ARM-Vorlagen

Sie müssen die Eigenschaften in der Koordinatorkomponente im Abschnitt properties.clusterProfile.serviceConfigsProfiles der ARM-Vorlage definieren. Im folgenden Beispiel wird veranschaulicht, wo die Eigenschaften hinzugefügt werden.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {},
    "resources": [
        {
            "type": "microsoft.hdinsight/clusterpools/clusters",
            "apiVersion": "<api-version>",
            "name": "<cluster-pool-name>/<cluster-name>",
            "location": "<region, e.g. westeurope>",
            "tags": {},
            "properties": {
                "clusterType": "Trino",

                "clusterProfile": {

                    "serviceConfigsProfiles": [
                        {
                            "serviceName": "trino",
                            "configs": [
                                {
                                    "component": "coordinator",
                                    "files": [
                                        {
                                            "fileName": "config.properties",
                                            "values": {
                                                "query.cache.enabled": "true",
                                                "query.cache.ttl": "10m"
                                            }
                                        }
                                    ]
                                }
                            ]
                        }
                    ]
                }

            }
        }
    ]
}

Hive-/Iceberg-/Delta Lake-Zwischenspeicherung

Alle drei Connectors verwenden die gleichen Parameter, die auch unter Hive-Zwischenspeicherung beschrieben sind.

Im folgenden Beispiel wird veranschaulicht, wo die Eigenschaften zum Aktivieren der Hive-Zwischenspeicherung mithilfe der ARM-Vorlage hinzugefügt werden.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {},
    "resources": [
        {
            "type": "microsoft.hdinsight/clusterpools/clusters",
            "apiVersion": "<api-version>",
            "name": "<cluster-pool-name>/<cluster-name>",
            "location": "<region, e.g. westeurope>",
            "tags": {},
            "properties": {
                "clusterType": "Trino",

                "clusterProfile": {

                    "serviceConfigsProfiles": [
                        {
                            "serviceName": "trino",
                            "configs": [
                                {
                                    "component": "catalogs",
                                    "files": [
                                        {
                                            "fileName": "hive1.properties",
                                            "values": {
                                                "connector.name": "hive"
                                                "hive.cache.enabled": "true",
                                                "hive.cache.ttl": "5d"
                                            }
                                        }
                                    ]
                                }
                            ]
                        }
                    ]
                }

            }
        }
    ]
}

Stellen Sie die aktualisierte ARM-Vorlage bereit, um die Änderungen in Ihrem Cluster widerzuspiegeln. Erfahren Sie, wie Sie eine ARM-Vorlage bereitstellen.