Spuštění pracovního postupu CI/CD s využitím sady prostředků Databricks a GitHub Actions
Tento článek popisuje, jak spustit pracovní postup CI/CD (kontinuální integrace nebo průběžné nasazování) na GitHubu pomocí GitHub Actions a sady prostředků Databricks. Podívejte se , co jsou sady prostředků Databricks?
Pomocí GitHub Actions a příkazů Rozhraní příkazového řádku bundle
Databricks můžete automatizovat, přizpůsobovat a spouštět pracovní postupy CI/CD v úložištích GitHubu.
Soubory YAML GitHub Actions, například následující, můžete přidat do adresáře úložiště .github/workflows
. Následující příklad souboru YAML GitHub Actions ověří, nasadí a spustí zadanou úlohu v sadě v předprodukčním cíli s názvem "qa", jak je definováno v konfiguračním souboru sady. Tento příklad souboru YAML GitHub Actions spoléhá na následující:
- Konfigurační soubor sady v kořenovém adresáři úložiště, který je explicitně deklarován prostřednictvím nastavení
working-directory: .
souboru YAML GitHub Actions (Toto nastavení je možné vynechat, pokud je konfigurační soubor sady již v kořenovém adresáři úložiště.) Tento konfigurační soubor sady definuje pracovní postup Azure Databricks s názvemmy-job
a cílovým názvemqa
. Viz konfigurace sady prostředků Databricks. - Tajný klíč
SP_TOKEN
GitHubu, který představuje přístupový token Azure Databricks pro instanční objekt Azure Databricks přidružený k pracovnímu prostoru Azure Databricks, do kterého se tato sada nasazuje a spouští. Viz Šifrované tajné kódy.
# This workflow validates, deploys, and runs the specified bundle
# within a pre-production target named "qa".
name: "QA deployment"
# Ensure that only a single job or workflow using the same concurrency group
# runs at a time.
concurrency: 1
# Trigger this workflow whenever a pull request is opened against the repo's
# main branch or an existing pull request's head branch is updated.
on:
pull_request:
types:
- opened
- synchronize
branches:
- main
jobs:
# Used by the "pipeline_update" job to deploy the bundle.
# Bundle validation is automatically performed as part of this deployment.
# If validation fails, this workflow fails.
deploy:
name: "Deploy bundle"
runs-on: ubuntu-latest
steps:
# Check out this repo, so that this workflow can access it.
- uses: actions/checkout@v3
# Download the Databricks CLI.
# See https://github.com/databricks/setup-cli
- uses: databricks/setup-cli@main
# Deploy the bundle to the "qa" target as defined
# in the bundle's settings file.
- run: databricks bundle deploy
working-directory: .
env:
DATABRICKS_TOKEN: ${{ secrets.SP_TOKEN }}
DATABRICKS_BUNDLE_ENV: qa
# Validate, deploy, and then run the bundle.
pipeline_update:
name: "Run pipeline update"
runs-on: ubuntu-latest
# Run the "deploy" job first.
needs:
- deploy
steps:
# Check out this repo, so that this workflow can access it.
- uses: actions/checkout@v3
# Use the downloaded Databricks CLI.
- uses: databricks/setup-cli@main
# Run the Databricks workflow named "my-job" as defined in the
# bundle that was just deployed.
- run: databricks bundle run my-job --refresh-all
working-directory: .
env:
DATABRICKS_TOKEN: ${{ secrets.SP_TOKEN }}
DATABRICKS_BUNDLE_ENV: qa
Následující soubor YAML GitHub Actions může existovat ve stejném úložišti jako předchozí soubor. Tento soubor ověří, nasadí a spustí zadanou sadu v rámci produkčního cíle s názvem "prod", jak je definováno v konfiguračním souboru sady. Tento příklad souboru YAML GitHub Actions spoléhá na následující:
- Konfigurační soubor sady v kořenovém adresáři úložiště, který je explicitně deklarován prostřednictvím nastavení
working-directory: .
souboru YAML GitHub Actions (Toto nastavení je možné vynechat, pokud je konfigurační soubor sady již v kořenovém adresáři úložiště.) Tento konfigurační soubor sady definuje pracovní postup Azure Databricks s názvemmy-job
a cílovým názvemprod
. Viz konfigurace sady prostředků Databricks. - Tajný klíč
SP_TOKEN
GitHubu, který představuje přístupový token Azure Databricks pro instanční objekt Azure Databricks přidružený k pracovnímu prostoru Azure Databricks, do kterého se tato sada nasazuje a spouští. Viz Šifrované tajné kódy.
# This workflow validates, deploys, and runs the specified bundle
# within a production target named "prod".
name: "Production deployment"
# Ensure that only a single job or workflow using the same concurrency group
# runs at a time.
concurrency: 1
# Trigger this workflow whenever a pull request is pushed to the repo's
# main branch.
on:
push:
branches:
- main
jobs:
deploy:
name: "Deploy bundle"
runs-on: ubuntu-latest
steps:
# Check out this repo, so that this workflow can access it.
- uses: actions/checkout@v3
# Download the Databricks CLI.
# See https://github.com/databricks/setup-cli
- uses: databricks/setup-cli@main
# Deploy the bundle to the "prod" target as defined
# in the bundle's settings file.
- run: databricks bundle deploy
working-directory: .
env:
DATABRICKS_TOKEN: ${{ secrets.SP_TOKEN }}
DATABRICKS_BUNDLE_ENV: prod
# Validate, deploy, and then run the bundle.
pipeline_update:
name: "Run pipeline update"
runs-on: ubuntu-latest
# Run the "deploy" job first.
needs:
- deploy
steps:
# Check out this repo, so that this workflow can access it.
- uses: actions/checkout@v3
# Use the downloaded Databricks CLI.
- uses: databricks/setup-cli@main
# Run the Databricks workflow named "my-job" as defined in the
# bundle that was just deployed.
- run: databricks bundle run my-job --refresh-all
working-directory: .
env:
DATABRICKS_TOKEN: ${{ secrets.SP_TOKEN }}
DATABRICKS_BUNDLE_ENV: prod