Pipeline Sınıf

  • Başvuru

Yeniden kullanılabilir bir Azure Machine Learning iş akışı olarak yürütülebilecek bir adım koleksiyonunu temsil eder.

Çeşitli makine öğrenmesi aşamalarını bir araya getiren iş akışları oluşturmak ve yönetmek için İşlem Hattı kullanın. Veri hazırlama ve model eğitimi gibi her makine öğrenmesi aşaması bir İşlem Hattındaki bir veya daha fazla adımdan oluşabilir.

İşlem Hatlarının neden ve ne zaman kullanılacağına genel bir bakış için bkz https://aka.ms/pl-concept. .

İşlem Hattı oluşturma hakkında genel bakış için bkz https://aka.ms/pl-first-pipeline. .

İşlem Hattını Başlatın.

Devralma
builtins.object
Pipeline

Oluşturucu

Pipeline(workspace, steps, description=None, default_datastore=None, default_source_directory=None, resolve_closure=True, _workflow_provider=None, _service_endpoint=None, **kwargs)

Parametreler

Name Description
workspace
Gerekli
Workspace

İşlem Hattının gönder iletişim alanının açık olduğu çalışma alanı.
steps
Gerekli
list

İşlem Hattının parçası olarak yürütülecek adımların listesi.
description
Gerekli
str

İşlem Hattının açıklaması.
default_datastore
Gerekli
AbstractAzureStorageDatastore veya AzureDataLakeDatastore

Veri bağlantıları için kullanılacak varsayılan veri deposu.
default_source_directory
Gerekli
str

Betiği yürüten adımlar için varsayılan betik dizini.
resolve_closure
Gerekli
bool

Kapatmanın çözümlenip çözümlenmeyeceği (bağımlı adımları otomatik olarak getirin).
workspace
Gerekli
Workspace

İşlem Hattının gönder iletişim alanının açık olduğu çalışma alanı.
steps
Gerekli
list

İşlem Hattının parçası olarak yürütülecek adımların listesi.
description
Gerekli
str

İşlem Hattının açıklaması.
default_datastore
Gerekli
AbstractAzureStorageDatastore veya AzureDataLakeDatastore

Veri bağlantıları için kullanılacak varsayılan veri deposu.
default_source_directory
Gerekli
str

Betiği yürüten adımlar için varsayılan betik dizini.
resolve_closure
Gerekli
bool

Kapatmayı çözümleyip çözmeme (bağımlı adımları otomatik olarak getirme).
_workflow_provider
Gerekli
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

Hiçbiri oluşturulduysa, iş akışı sağlayıcısı.
_service_endpoint
Gerekli
str

Hizmet uç noktası, Hiçbiri ise çalışma alanı kullanılarak belirlenir.
kwargs
Gerekli
dict

Gelecekteki geliştirmeler için ayrılmış özel anahtar sözcük bağımsız değişkenleri

Açıklamalar

Adım listesi ve çalışma alanı ile bir işlem hattı oluşturulur. İşlem hattında kullanılabilecek bir dizi adım türü vardır. Makine öğrenmesi senaryonuza göre adım türünü seçersiniz.

  • Azure Machine Learning İşlem Hatları, yaygın senaryolar için yerleşik adımlar sağlar. PipelineStep'ten türetilen önceden oluşturulmuş adımlar, tek bir işlem hattında kullanılan adımlardır. Örnekler için paketine steps ve sınıfına AutoMLStep bakın.

  • Kullanım makine öğrenmesi iş akışınız farklı işlem hatlarında sürüm oluşturulabilen ve kullanılabilecek adımlar oluşturmayı çağırıyorsa modüldeki Module işlevselliği kullanın.

kullanarak submitbir işlem hattı gönderin. Gönder çağrıldığında, iş akışındaki her adım için nesneler oluşturan StepRun bir PipelineRun oluşturulur. Çalıştırma yürütmesini izlemek için bu nesneleri kullanın.

İşlem hattı gönderme örneği aşağıdaki gibidir:


   from azureml.pipeline.core import Pipeline

   pipeline = Pipeline(workspace=ws, steps=steps)
   pipeline_run = experiment.submit(pipeline)

bir İşlem Hattı için içinde gönderimde submitbelirtilebilen bir dizi isteğe bağlı ayar vardır.

  • continue_on_step_failure: Bir adım başarısız olursa işlem hattı yürütmeye devam edilip edilmeyeceği; varsayılan değer False'tur. True ise, yalnızca başarısız adımın çıkışında bağımlılığı olmayan adımlar yürütülmeye devam eder.

  • regenerate_outputs: Tüm adım çıkışlarının yeniden oluşturulmasını zorlamak ve bu çalıştırma için verilerin yeniden kullanılmasına izin vermemek için varsayılan değer False'tur.

  • pipeline_parameters: İşlem hattı yürütme parametreleri, {name: value} sözlüğü. Diğer ayrıntılar için bkz PipelineParameter .

  • parent_run_id: RunHistory'ye yansıtılan bu işlem hattı çalıştırmasının üst çalıştırmasını ayarlamak için bir çalıştırma kimliği sağlayabilirsiniz. Üst çalıştırma, bu işlem hattının gönderildiği denemeye ait olmalıdır.

Bu ayarları kullanarak İşlem Hattı gönderme örneği aşağıdaki gibidir:


   from azureml.pipeline.core import Pipeline

   pipeline = Pipeline(workspace=ws, steps=steps)
   pipeline_run = experiment.submit(pipeline,
                                    continue_on_step_failure=True,
                                    regenerate_outputs=True,
                                    pipeline_parameters={"param1": "value1"},
                                    parent_run_id="<run_id>")

Yöntemler

load_yaml

Belirtilen YAML dosyasından bir İşlem Hattı yükleyin.

YAML dosyası, ModuleSteps'i içeren bir İşlem Hattını açıklamak için kullanılabilir.
publish

bir işlem hattı yayımlayın ve yeniden çalıştırılabilmesini sağlayın.

bir İşlem Hattı yayımlandıktan sonra, İşlem Hattını oluşturan Python kodu olmadan gönderilebilir. Oluşturulan PublishedPipelineöğesini döndürür.
service_endpoint

İşlem hattıyla ilişkili hizmet uç noktasını alın.
submit

İşlem hattı çalıştırması gönderin. Bu, kullanmakla submiteşdeğerdir.

Gönderilen PipelineRunöğesini döndürür. Çalıştırmanın ayrıntılarını izlemek ve görüntülemek için bu nesneyi kullanın.
validate

İşlem hattını doğrulayın ve bağlı olmayan girişler gibi olası hataları belirleyin.

load_yaml

Belirtilen YAML dosyasından bir İşlem Hattı yükleyin.

YAML dosyası, ModuleSteps'i içeren bir İşlem Hattını açıklamak için kullanılabilir.

static load_yaml(workspace, filename, _workflow_provider=None, _service_endpoint=None)

Parametreler

Name Description
workspace
Gerekli
Workspace

İşlem Hattının gönder iletişim alanının açık olduğu çalışma alanı.
filename
Gerekli
str

İşlem Hattını açıklayan YAML dosyası.
_workflow_provider
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

İş akışı sağlayıcısı.

Default value: None
_service_endpoint
str

Hiçbiri ise hizmet uç noktası, çalışma alanı kullanılarak belirlenir.

Default value: None

Döndürülenler

Tür Description
Pipeline

Yapılan İşlem Hattı.

Açıklamalar

Örnek bir YAML dosyası için aşağıya bakın. YAML, İşlem Hattı için bir ad, default_compute ve parametre, veri başvurusu ve adım listesi içerir. Her adım modül, işlem ve parametre, giriş ve çıkış bağlamalarını belirtmelidir. Ayrıca, gerekirse bir adım runconfig ve bağımsız değişkenler belirtilebilir.

Örnek Yaml dosyası:


   pipeline:
       description: SamplePipelineFromYaml
       parameters:
           NumIterationsParameter:
               type: int
               default: 40
           DataPathParameter:
               type: datapath
               default:
                   datastore: workspaceblobstore
                   path_on_datastore: sample2.txt
           NodeCountParameter:
               type: int
               default: 4
       data_references:
           DataReference:
               datastore: workspaceblobstore
               path_on_datastore: testfolder/sample.txt
           Dataset:
               dataset_name: 'titanic'
       default_compute: aml-compute
       steps:
           PrepareStep:
               type:  ModuleStep
               name: "TestModule"
               compute: aml-compute2
               runconfig: 'D:\.azureml\default_runconfig.yml'
               arguments:
               -'--input1'
               -input:in1
               -'--input2'
               -input:in2
               -'--input3'
               -input:in3
               -'--output'
               -output:output_data
               -'--param'
               -parameter:NUM_ITERATIONS
               parameters:
                   NUM_ITERATIONS:
                       source: NumIterationsParameter
               inputs:
                   in1:
                       source: Dataset
                       bind_mode: mount
                   in2:
                       source: DataReference
                   in3:
                       source: DataPathParameter
               outputs:
                   output_data:
                       destination: Output1
                       datastore: workspaceblobstore
                       bind_mode: mount
           TrainStep:
               type: ModuleStep
               name: "TestModule2"
               version: "2"
               runconfig: 'D:\.azureml\default_runconfig.yml'
               arguments:
               -'--input'
               -input:train_input
               -'--output'
               -output:result
               -'--param'
               -parameter:NUM_ITERATIONS
               parameters:
                   NUM_ITERATIONS: 10
               runconfig_parameters:
                   NodeCount:
                       source: NodeCountParameter
               inputs:
                   train_input:
                       source: Output1
                       bind_mode: mount
               outputs:
                   result:
                       destination: Output2
                       datastore: workspaceblobstore
                       bind_mode: mount

publish

bir işlem hattı yayımlayın ve yeniden çalıştırılabilmesini sağlayın.

bir İşlem Hattı yayımlandıktan sonra, İşlem Hattını oluşturan Python kodu olmadan gönderilebilir. Oluşturulan PublishedPipelineöğesini döndürür.

publish(name=None, description=None, version=None, continue_on_step_failure=None)

Parametreler

Name Description
name
str

Yayımlanan işlem hattının adı.

Default value: None
description
str

Yayımlanan işlem hattının açıklaması.

Default value: None
version
str

Yayımlanan işlem hattının sürümü.

Default value: None
continue_on_step_failure
bool

Bir adım başarısız olursa PipelineRun'daki diğer adımların yürütülmesine devam edilip edilmeyeceğini gösterir; varsayılan değer false'tur. True ise, yalnızca başarısız adımın çıkışında bağımlılığı olmayan adımlar yürütülmeye devam eder.

Default value: None

Döndürülenler

Tür Description
PublishedPipeline

Yayımlanan işlem hattı oluşturuldu.

service_endpoint

İşlem hattıyla ilişkili hizmet uç noktasını alın.

service_endpoint()

Döndürülenler

Tür Description
str

Hizmet uç noktası.

submit

İşlem hattı çalıştırması gönderin. Bu, kullanmakla submiteşdeğerdir.

Gönderilen PipelineRunöğesini döndürür. Çalıştırmanın ayrıntılarını izlemek ve görüntülemek için bu nesneyi kullanın.

submit(experiment_name, pipeline_parameters=None, continue_on_step_failure=False, regenerate_outputs=False, parent_run_id=None, credential_passthrough=None, **kwargs)

Parametreler

Name Description
experiment_name
Gerekli
str

İşlem hattının gönder olduğu denemenin adı.
pipeline_parameters
dict

İşlem hattı yürütme parametreleri, {name: value} sözlüğü. Diğer ayrıntılar için bkz PipelineParameter .

Default value: None
continue_on_step_failure
bool

Bir adım başarısız olursa işlem hattı yürütmeye devam edilip edilmeyeceğini gösterir. True ise, yalnızca başarısız adımın çıkışında bağımlılığı olmayan adımlar yürütülmeye devam eder.

Default value: False
regenerate_outputs
bool

Tüm adım çıkışlarının yeniden oluşturulmasını zorunlu tutarak bu çalıştırma için verilerin yeniden kullanılmasına izin verilip verilmeyeceğini gösterir. False ise, bu çalıştırma önceki çalıştırmaların sonuçlarını yeniden kullanabilir ve sonraki çalıştırmalar bu çalıştırmanın sonuçlarını yeniden kullanabilir.

Default value: False
parent_run_id
str

RunHistory'ye yansıtılan bu işlem hattı çalıştırmasının üst çalıştırması için ayarlayabileceğiniz isteğe bağlı çalıştırma kimliği. Üst çalıştırma, bu işlem hattının gönderildiği denemenin aynısına ait olmalıdır.

Default value: None
credential_passthrough

İsteğe bağlı olarak, bu bayrak etkinleştirilirse uzak işlem hattı işi, işi başlatan kullanıcının kimlik bilgilerini kullanır. Bu özellik yalnızca özel önizlemede kullanılabilir.

Default value: None

Döndürülenler

Tür Description
PipelineRun

Gönderilen işlem hattı çalıştırması.

validate

İşlem hattını doğrulayın ve bağlı olmayan girişler gibi olası hataları belirleyin.

validate()

Döndürülenler

Tür Description
list

İşlem hattındaki hataların listesi.

Açıklamalar

Doğrulama hatalarının örnekleri şunlardır:

  • eksik veya beklenmeyen işlem hattı veri kaynakları veya adım türleri

  • işlem hattı veri kaynağı veya adımı için eksik parametreler veya çıkış tanımları

  • bağlı olmayan girişler

  • döngü veya döngü oluşturan işlem hattı adımları

Doğrulama başarılı olursa (boş bir liste döndürür) ve işlem hattınız çalışmazsa bkz. Makine öğrenmesi işlem hatlarında hata ayıklama ve sorun giderme.

Öznitelikler

graph

İşlem hattıyla ilişkili grafiği alın. Adımlar ve veri girişleri grafikte düğüm olarak görünür.

Döndürülenler

Tür Description
Graph

Graf.