PythonScriptStep Sınıf

  • Başvuru

Python betiğini çalıştıran bir Azure ML İşlem Hattı adımı oluşturur.

PythonScriptStep kullanma örneği için not defterine https://aka.ms/pl-get-startedbakın.

Python betiğini çalıştıran bir Azure ML İşlem Hattı adımı oluşturun.

Devralma
azureml.pipeline.core._python_script_step_base._PythonScriptStepBase
PythonScriptStep

Oluşturucu

PythonScriptStep(script_name, name=None, arguments=None, compute_target=None, runconfig=None, runconfig_pipeline_params=None, inputs=None, outputs=None, params=None, source_directory=None, allow_reuse=True, version=None, hash_paths=None)

Parametreler

Name Description
script_name
Gerekli
str

[Gerekli] ile ilgili Bir Python betiğinin source_directoryadı.
name
str

Adımın adı. Belirtilmemişse script_name kullanılır.

Default value: None
arguments
list

Python betik dosyası için komut satırı bağımsız değişkenleri. Bağımsız değişkenler RunConfiguration içindeki parametresi aracılığıyla arguments hesaplamaya geçirilir. Özel simgeler gibi bağımsız değişkenleri işleme hakkında daha fazla ayrıntı için bkz RunConfiguration. .

Default value: None
compute_target
Union[DsvmCompute, AmlCompute, RemoteCompute, HDInsightCompute, str, tuple]

[Gerekli] Kullanılacak işlem hedefi. Belirtilmemişse runconfig'den hedef kullanılır. Bu parametre bir işlem hedefi nesnesi veya çalışma alanında işlem hedefinin dize adı olarak belirtilebilir. İşlem hedefi işlem hattı oluşturma zamanında kullanılamıyorsa, işlem hedef nesnesinin (AmlCompute türü 'AmlCompute' ve RemoteCompute türü 'VirtualMachine') getirilmemesi için bir demet belirtebilirsiniz ('işlem hedefi adı', 'işlem hedef türü').

Default value: None
runconfig
RunConfiguration

Kullanılacak isteğe bağlı RunConfiguration. RunConfiguration, conda bağımlılıkları ve docker görüntüsü gibi ek çalıştırma gereksinimlerini belirtmek için kullanılabilir. Belirtilmezse, varsayılan bir runconfig oluşturulur.

Default value: None
runconfig_pipeline_params
dict[str, PipelineParameter]

Her biri runconfig özelliğinin adı ve bu özellik için PipelineParameter olan anahtar-değer çiftlerini kullanarak çalışma zamanında runconfig özelliklerini geçersiz kılar.

Desteklenen değerler: 'NodeCount', 'MpiProcessCountPerNode', 'TensorflowWorkerCount', 'TensorflowParameterServerCount'

Default value: None
inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputFileDataset, PipelineOutputTabularDataset, DatasetConsumptionConfig]]

Giriş bağlantı noktası bağlamalarının listesi.

Default value: None
outputs
list[Union[PipelineData, OutputDatasetConfig, PipelineOutputFileDataset, PipelineOutputTabularDataset, OutputPortBinding]]

Çıkış bağlantı noktası bağlamalarının listesi.

Default value: None
params
dict

"AML_PARAMETER_" ile ortam değişkenleri olarak kaydedilen ad-değer çiftlerinin sözlüğü.

Default value: None
source_directory
str

Python betiği, conda env ve adımda kullanılan diğer kaynakları içeren bir klasör.

Default value: None
allow_reuse
bool

Aynı ayarlarla yeniden çalıştırıldığında adımın önceki sonuçları yeniden kullanıp kullanmayacağını gösterir. Yeniden kullan özelliği varsayılan olarak etkindir. Adım içeriği (betikler/bağımlılıklar) ve girişler ve parametreler değişmeden kalırsa, bu adımın önceki çalıştırmasından elde edilen çıkış yeniden kullanılır. Adımı yeniden kullanırken, işi hesaplamaya göndermek yerine, önceki çalıştırmanın sonuçları sonraki adımlarda hemen kullanılabilir hale gelir. Giriş olarak Azure Machine Learning veri kümelerini kullanıyorsanız, yeniden kullanım, temel alınan verilerin değişip değişmediğine değil, veri kümesinin tanımının değişip değişmediğine göre belirlenir.

Default value: True
version
str

Adımdaki işlev değişikliğini belirtmek için isteğe bağlı bir sürüm etiketi.

Default value: None
hash_paths
list

KULLANIMDAN KALKTI: artık gerekli değil.

Adım içeriğinde yapılan değişiklikler denetlenirken karmaya giden yolların listesi. Hiçbir değişiklik algılanırsa, işlem hattı önceki çalıştırmanın adım içeriğini yeniden kullanır. Varsayılan olarak, .amlignore veya .gitignore içinde listelenen dosyalar dışında içeriğinin source_directory karması oluşturulur.

Default value: None
script_name
Gerekli
str

[Gerekli] ile ilgili Bir Python betiğinin source_directoryadı.
name
Gerekli
str

Adımın adı. Belirtilmemişse script_name kullanılır.
arguments
Gerekli
[str]

Python betik dosyası için komut satırı bağımsız değişkenleri. Bağımsız değişkenler RunConfiguration içindeki parametresi aracılığıyla arguments hesaplamaya geçirilir. Özel simgeler gibi bağımsız değişkenleri işleme hakkında daha fazla ayrıntı için bkz RunConfiguration. .
compute_target
Gerekli
Union[DsvmCompute, AmlCompute, RemoteCompute, HDInsightCompute, str, tuple]

[Gerekli] Kullanılacak işlem hedefi. Belirtilmemişse runconfig'den hedef kullanılır. Bu parametre bir işlem hedefi nesnesi veya çalışma alanında işlem hedefinin dize adı olarak belirtilebilir. İşlem hedefi işlem hattı oluşturma zamanında kullanılamıyorsa, işlem hedef nesnesinin (AmlCompute türü 'AmlCompute' ve RemoteCompute türü 'VirtualMachine') getirilmemesi için bir demet belirtebilirsiniz ('işlem hedefi adı', 'işlem hedef türü').
runconfig
Gerekli
RunConfiguration

Kullanılacak isteğe bağlı RunConfiguration. RunConfiguration, conda bağımlılıkları ve docker görüntüsü gibi ek çalıştırma gereksinimlerini belirtmek için kullanılabilir. Belirtilmezse, varsayılan bir runconfig oluşturulur.
runconfig_pipeline_params
Gerekli
dict[str, PipelineParameter]

Her biri runconfig özelliğinin adı ve bu özellik için PipelineParameter olan anahtar-değer çiftlerini kullanarak çalışma zamanında runconfig özelliklerini geçersiz kılar.

Desteklenen değerler: 'NodeCount', 'MpiProcessCountPerNode', 'TensorflowWorkerCount', 'TensorflowParameterServerCount'
inputs
Gerekli
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputFileDataset, PipelineOutputTabularDataset, DatasetConsumptionConfig]]

Giriş bağlantı noktası bağlamalarının listesi.
outputs
Gerekli
list[Union[PipelineData, OutputDatasetConfig, PipelineOutputFileDataset, PipelineOutputTabularDataset, OutputPortBinding]]

Çıkış bağlantı noktası bağlamalarının listesi.
params
Gerekli
<xref:<xref:{str: str}>>

Ad-değer çiftlerinin sözlüğü. ">>AML_PARAMETER_<<" ile ortam değişkenleri olarak kaydedilir.
source_directory
Gerekli
str

Python betiği, conda env ve adımda kullanılan diğer kaynakları içeren bir klasör.
allow_reuse
Gerekli
bool

Aynı ayarlarla yeniden çalıştırıldığında adımın önceki sonuçları yeniden kullanıp kullanmayacağını gösterir. Yeniden kullan özelliği varsayılan olarak etkindir. Adım içeriği (betikler/bağımlılıklar) ve girişler ve parametreler değişmeden kalırsa, bu adımın önceki çalıştırmasından elde edilen çıkış yeniden kullanılır. Adımı yeniden kullanırken, işi hesaplamaya göndermek yerine, önceki çalıştırmanın sonuçları sonraki adımlarda hemen kullanılabilir hale gelir. Giriş olarak Azure Machine Learning veri kümelerini kullanıyorsanız, yeniden kullanım, temel alınan verilerin değişip değişmediğine değil, veri kümesinin tanımının değişip değişmediğine göre belirlenir.
version
Gerekli
str

Adımdaki işlev değişikliğini belirtmek için isteğe bağlı bir sürüm etiketi.
hash_paths
Gerekli
list

KULLANIMDAN KALKTI: artık gerekli değil.

Adım içeriğinde yapılan değişiklikler denetlenirken karmaya giden yolların listesi. Hiçbir değişiklik algılanırsa, işlem hattı önceki çalıştırmanın adım içeriğini yeniden kullanır. Varsayılan olarak, .amlignore veya .gitignore içinde listelenen dosyalar dışında içeriğinin source_directory karması oluşturulur.

Açıklamalar

PythonScriptStep, bir işlem hedefinde Python Betiği çalıştırmaya yönelik temel, yerleşik bir adımdır. Betik adını ve betiğin bağımsız değişkenleri, işlem hedefi, girişler ve çıkışlar gibi diğer isteğe bağlı parametreleri alır. İşlem hedefi belirtilmezse, çalışma alanı için varsayılan işlem hedefi kullanılır. PythonScriptStep için conda bağımlılıkları ve docker görüntüsü gibi gereksinimleri belirtmek için de kullanabilirsiniz RunConfiguration .

PythonScriptStep ile çalışırken en iyi uygulama, betikler ve adımla ilişkili bağımlı dosyalar için ayrı bir klasör kullanmak ve bu klasörü parametresiyle source_directory belirtmektir. Bu en iyi uygulamanın iki avantajı vardır. İlk olarak, adım için oluşturulan anlık görüntünün boyutunu azaltmaya yardımcı olur çünkü yalnızca adım için gerekli olan anlık görüntü oluşturulur. İkinci olarak, anlık görüntünün yeniden yüklenmesini tetikleyecek bir değişiklik source_directory olmadığında önceki çalıştırmadan alınan adım çıkışı yeniden kullanılabilir.

Aşağıdaki kod örneği, bir makine öğrenmesi eğitim senaryosunda PythonScriptStep kullanmayı gösterir. Bu örnekteki diğer ayrıntılar için bkz https://aka.ms/pl-first-pipeline. .


   from azureml.pipeline.steps import PythonScriptStep

   trainStep = PythonScriptStep(
       script_name="train.py",
       arguments=["--input", blob_input_data, "--output", output_data1],
       inputs=[blob_input_data],
       outputs=[output_data1],
       compute_target=compute_target,
       source_directory=project_folder
   )

PythonScriptSteps bir dizi giriş ve çıkış türünü destekler. Bunlar, DatasetConsumptionConfig girişler ve OutputDatasetConfig, PipelineOutputAbstractDatasetve PipelineData girişler ile çıkışlar için içerir.

Aşağıda, adım giriş ve çıkış olarak kullanma Dataset örneği verilmiştir:


   from azureml.core import Dataset
   from azureml.pipeline.steps import PythonScriptStep
   from azureml.pipeline.core import Pipeline, PipelineData

   # get input dataset
   input_ds = Dataset.get_by_name(workspace, 'weather_ds')

   # register pipeline output as dataset
   output_ds = PipelineData('prepared_weather_ds', datastore=datastore).as_dataset()
   output_ds = output_ds.register(name='prepared_weather_ds', create_new_version=True)

   # configure pipeline step to use dataset as the input and output
   prep_step = PythonScriptStep(script_name="prepare.py",
                                inputs=[input_ds.as_named_input('weather_ds')],
                                outputs=[output_ds],
                                compute_target=compute_target,
                                source_directory=project_folder)

Diğer giriş/çıkış türlerini kullanma örnekleri için lütfen ilgili belge sayfalarına başvurun.

Yöntemler

create_node

PythonScriptStep için bir düğüm oluşturun ve bunu belirtilen grafiğe ekleyin.

Bu yöntemin doğrudan kullanılması amaçlanmamıştır. Bu adımla bir işlem hattı örneği oluşturulduğunda, Azure ML bu yöntem aracılığıyla gerekli parametreleri otomatik olarak geçirir, böylece adım iş akışını temsil eden bir işlem hattı grafiğine eklenebilir.

create_node

PythonScriptStep için bir düğüm oluşturun ve bunu belirtilen grafiğe ekleyin.

Bu yöntemin doğrudan kullanılması amaçlanmamıştır. Bu adımla bir işlem hattı örneği oluşturulduğunda, Azure ML bu yöntem aracılığıyla gerekli parametreleri otomatik olarak geçirir, böylece adım iş akışını temsil eden bir işlem hattı grafiğine eklenebilir.

create_node(graph, default_datastore, context)

Parametreler

Name Description
graph
Gerekli
Graph

Düğümün ekleneceği grafik nesnesi.
default_datastore
Gerekli
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Varsayılan veri deposu.
context
Gerekli
<xref:azureml.pipeline.core._GraphContext>

Graf bağlamı.

Döndürülenler

Tür Description
Node

Oluşturulan düğüm.