Termen Big Compute används för stora arbetsbelastningar som kräver ett stort antal kärnor, ofta hundratals eller tusentals. Det kan till exempel användas inom bildåtergivning, hydrodynamik, finansiell riskmodellering, oljeprospektering, läkemedel och teknisk hållfasthetsanalys.
Här följer några typiska egenskaper för Big Compute-program:
- Arbetet kan delas upp i separata uppgifter som kan köras över många kärnor samtidigt.
- Varje uppgift är begränsad. Den tar emot en viss mängd indata, utför en viss bearbetning och ger utdata. Hela tillämpningen körs under en begränsad tid (från minuter till dagar). Ett vanligt mönster är att tillhandahålla ett stort antal kärnor i en burst och sedan gå ned till noll när tillämpningen slutförs.
- Tillämpningen måste inte vara igång dygnet runt. Systemet måste dock kunna hantera nodfel eller tillämpningskrascher.
- I en del tillämpningar är uppgifterna fristående och kan köras parallellt. I andra fall är uppgifterna kopplade till varandra och måste interagera eller utbyta delresultat. I det fallet bör du överväga att använda teknik för höghastighetsnätverk, t.ex. InfiniBand och direktåtkomst till fjärrminne (RDMA).
- Du kan använda beräkningsintensiva VM-storlekar (H16r, H16mr och A9) beroende på arbetsbelastningen.
När ska den här arkitekturen användas?
- Beräkningsintensiva åtgärder som simuleringar och sifferberäkning.
- Beräkningsintensiva simuleringar som måste delas upp mellan processorer på flera datorer (tiotals till tusentals).
- Simuleringar som kräver för mycket minne för en enda dator och måste delas upp på flera datorer.
- Tidskrävande beräkningar som tar för lång tid att slutföra på en enda dator.
- Mindre beräkningar som måste köras hundratals eller tusentals gånger, som Monte Carlo-simuleringar.
Förmåner
- Hög prestanda med ”embarrassingly parallel”-bearbetning.
- Kan utnyttja hundratals eller tusentals datorkärnor för att lösa stora problem snabbare.
- Åtkomst till specialiserad, högpresterande maskinvara med dedikerade InfiniBand-nätverk med hög hastighet.
- Du kan tillhandahålla virtuella datorer efter behov och sedan ta ner dem.
Utmaningar
- Hantera VM-infrastrukturen.
- Hantera volymen av nummerknäckning
- Etablering av tusentals kärnor i rätt tid.
- Tätt kopplade uppgifter kan returnera mindre om fler kärnor läggs till. Du kan behöva prova dig fram till det optimala antalet kärnor.
Big Compute med Azure Batch
Azure Batch är en hanterad tjänst för körning av storskaliga parallella program med höga prestanda (HPC).
Med Azure Batch kan du konfigurera en VM-pool och ladda upp program och filer. Batch-tjänsten tillhandahåller sedan de virtuella datorerna, tilldelar uppgifter till dem, kör uppgifterna och övervakar förloppet. Batch kan automatiskt skala ut de virtuella datorerna som svar på arbetsbelastningen. Batch tillhandahåller också jobbschemaläggning.
Körning av Big Compute på virtuella datorer
Du kan använda Microsoft HPC Pack för att administrera ett kluster med virtuella datorer, och schemalägga och övervaka HPC-jobb. Med den här metoden måste du etablera och hantera de virtuella datorerna och nätverksinfrastrukturen. Överväg att använda den här metoden om du har befintliga HPC-arbetsbelastningar och vill flytta några eller alla till Azure. Du kan flytta hela HPC-klustret till Azure eller behålla HPC-klustret lokalt men använda Azure för burst-kapacitet. Mer information finns i Batch- och HPC-lösningar för storskaliga beräkningsarbetsbelastningar.
HPC Pack distribuerat på Azure
I det här scenariot skapas HPC-klustret helt i Azure.
Huvudnoden tillhandahåller hanterings- och schemaläggningstjänster till klustret. För tätt kopplade uppgifter använder du ett RDMA-nätverk som ger mycket hög bandbredd och låglatenskommunikation mellan de virtuella datorerna. Mer information finns i Distribuera ett HPC Pack 2016-kluster i Azure.
Burst- och HPC-kluster till Azure
Organisationen i detta scenario kör HPC Pack lokalt och använder virtuella Azure-datorer för burst-kapacitet. Klustrets huvudnod är lokal. Det lokala nätverket ansluts till Azure VNet med ExpressRoute eller VPN Gateway.
