Dataströmning med AKS

Azure App Service
Azure API Management
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

Lösningsidéer

I den här artikeln beskrivs en lösningsidé. Molnarkitekten kan använda den här vägledningen för att visualisera huvudkomponenterna för en typisk implementering av den här arkitekturen. Använd den här artikeln som utgångspunkt för att utforma en välkonstruerad lösning som överensstämmer med arbetsbelastningens specifika krav.

I den här artikeln beskrivs en lösning för att använda Azure Kubernetes Service (AKS) för att snabbt bearbeta och analysera en stor mängd strömmande data från enheter.

*Apache®, Apache Kafka och Apache Spark är antingen registrerade varumärken eller varumärken som tillhör Apache Software Foundation i USA och/eller andra länder. Inget godkännande från Apache Software Foundation underförstås av användningen av dessa märken. Splunk är ett registrerat varumärke som tillhör Cisco. *

Arkitektur

Arkitekturdiagram som visar hur strömmande data från enheter matas in, bearbetas och analyseras.

Ladda ned en Visio-fil med den här arkitekturen.

Dataflöde

  1. Sensorer genererar data och strömmar dem till Azure API Management.
  2. Ett AKS-kluster kör mikrotjänster som distribueras som containrar bakom ett tjänstnät. Containrarna skapas med hjälp av en DevOps-process. Containeravbildningarna lagras i Azure Container Registry.
  3. En inmatningstjänst i AKS lagrar data i Azure Cosmos DB.
  4. Asynkront tar en analystjänst i AKS emot data och strömmar dem till Apache Kafka i Azure HDInsight.
  5. Dataexperter använder maskininlärningsmodeller i Azure HDInsights och Splunk-plattformen för att analysera data.
  6. En bearbetningstjänst i AKS bearbetar data och lagrar resultatet i Azure Database for PostgreSQL. Tjänsten cachelagrar även data i Azure Cache for Redis.
  7. En webbapp som körs i Azure App Service skapar visualiseringar av resultaten.

Komponenter

Lösningen använder följande viktiga tekniker:

Information om scenario

Den här lösningen passar bra för ett scenario som omfattar miljontals datapunkter, där datakällor inkluderar IoT-enheter (Internet of Things), sensorer och fordon. I en sådan situation är bearbetning av den stora mängden data en utmaning. Att snabbt analysera data är en annan krävande uppgift, eftersom organisationer försöker få insikt i komplexa scenarier.

Containerbaserade mikrotjänster i AKS utgör en viktig del av lösningen. Dessa fristående tjänster matar in och bearbetar dataströmmen i realtid. De skalas också efter behov. Containrarnas portabilitet gör det möjligt för tjänsterna att köras i olika miljöer och bearbeta data från flera källor. För att utveckla och distribuera mikrotjänster används DevOps och kontinuerlig integrering/kontinuerlig leverans (CI/CD). Dessa metoder förkortar utvecklingscykeln.

För att lagra inmatade data använder lösningen Azure Cosmos DB. Den här databasen skalar dataflöde och lagring elastiskt, vilket gör den till ett bra val för stora mängder data.

Lösningen använder också Apache Kafka. Den här strömningsplattformen med låg fördröjning hanterar dataflöden i realtid i extremt höga hastigheter.

En annan viktig lösningskomponent är Azure HDInsight, som är en hanterad molntjänst som gör att du effektivt kan bearbeta enorma mängder data med hjälp av de mest populära öppen källkod ramverken. Azure HDInsight förenklar körningen av stordataramverk i stora volymer och hastighet när du använder Apache Spark i Azure. Splunk hjälper till i dataanalysprocessen. Splunk skapar visualiseringar från realtidsdata och tillhandahåller business intelligence.

Potentiella användningsfall

Den här lösningen gynnar följande områden:

  • Fordonssäkerhet, särskilt inom fordonsindustrin
  • Kundtjänst inom detaljhandeln och andra branscher
  • Lösningar för sjukvårdsmoln
  • Finansiella tekniklösningar inom finansbranschen

Nästa steg

Produktdokumentation:

Microsofts utbildningsmoduler: