Spark Classe

  • Référence

Classe de base pour le nœud Spark, utilisée pour la consommation de la version du composant Spark.

Vous ne devez pas instancier cette classe directement. Au lieu de cela, vous devez le créer à partir de la fonction de générateur : spark.

] :p sortiesaram : mappage des noms de sortie aux sources de données de sortie utilisées dans le travail. :type outputs : Dict[str, Union[str, ~azure.ai.ml.Output]] :p aram args : arguments du travail. :type args : str :p aram compute : ressource de calcul sur laquelle le travail s’exécute. :type compute : str :p aram resources : Configuration des ressources de calcul pour le travail. :type resources : Union[Dict, ~azure.ai.ml.entities.SparkResourceConfiguration] :p aram entry : The file or class entry point. :type entry : Dict[str, str] :p aram py_files : liste des fichiers .zip, .egg ou .py à placer sur pythonPATH pour les applications Python. :type py_files : List[str] :p jarsaram : la liste de . Fichiers JAR à inclure dans les chemins de classe du pilote et de l’exécuteur. :type jars : List[str] :p aram files : liste des fichiers à placer dans le répertoire de travail de chaque exécuteur. :type files : List[str] :p aram archives : liste des archives à extraire dans le répertoire de travail de chaque exécuteur. :type archives : List[str]

Héritage
azure.ai.ml.entities._builders.base_node.BaseNode
Spark
azure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixin
Spark

Constructeur

Spark(*, component: str | SparkComponent, identity: Dict[str, str] | ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, args: str | None = None, **kwargs)

Paramètres

component
Union[str, SparkComponent]
Obligatoire

ID ou instance du composant ou du travail Spark à exécuter pendant l’étape.

identity
Union[ Dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]
Obligatoire

Identité que le travail Spark utilisera lors de l’exécution sur le calcul.

driver_cores
int
Obligatoire

Nombre de cœurs à utiliser pour le processus de pilote, uniquement en mode cluster.

driver_memory
str
Obligatoire

Quantité de mémoire à utiliser pour le processus de pilote, mise en forme sous forme de chaînes avec un suffixe d’unité de taille (« k », « m », « g » ou « t ») (par exemple, « 512m », « 2g »).

executor_cores
int
Obligatoire

Nombre de cœurs à utiliser sur chaque exécuteur.

executor_memory
str
Obligatoire

Quantité de mémoire à utiliser par processus d’exécuteur, mise en forme sous forme de chaînes avec un suffixe d’unité de taille (« k », « m », « g » ou « t ») (par exemple, « 512m », « 2g »).

executor_instances
int
Obligatoire

Nombre initial d’exécuteurs.

dynamic_allocation_enabled
bool
Obligatoire

Indique s’il faut utiliser l’allocation dynamique des ressources, qui met à l’échelle le nombre d’exécuteurs inscrits auprès de cette application en fonction de la charge de travail.

dynamic_allocation_min_executors
int
Obligatoire

Limite inférieure pour le nombre d’exécuteurs si l’allocation dynamique est activée.

dynamic_allocation_max_executors
int
Obligatoire

Limite supérieure pour le nombre d’exécuteurs si l’allocation dynamique est activée.

conf
Dict[str, str]
Obligatoire

Dictionnaire avec une clé et des valeurs de configuration Spark prédéfinies.

inputs
Dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]
Obligatoire

Mappage des noms d’entrée aux sources de données d’entrée utilisées dans le travail.

Méthodes

clear
copy
dump

Vide le contenu du travail dans un fichier au format YAML.
fromkeys

Créez un dictionnaire avec des clés itérables et des valeurs définies sur valeur.
get

Retourne la valeur de la clé si la clé se trouve dans le dictionnaire, sinon par défaut.
items
keys
pop

Si la clé est introuvable, retournez la valeur par défaut si elle est donnée ; sinon, déclenchez une erreur KeyError.
popitem

Supprimez et retournez une paire (clé, valeur) sous la forme d’un tuple à 2.

Les paires sont retournées dans l’ordre LIFO (dernier entré, premier sorti). Lève KeyError si la dict est vide.
setdefault

Insérez une clé avec une valeur par défaut si la clé n’est pas dans le dictionnaire.

Retourne la valeur de la clé si la clé se trouve dans le dictionnaire, sinon par défaut.
update

Si E est présent et a une méthode .keys(), alors fait : pour k dans E : D[k] = E[k] Si E est présent et ne dispose pas d’une méthode .keys(), alors fait : for k, v in E : D[k] = v Dans les deux cas, ceci est suivi par : for k in F : D[k] = F[k]
values

clear 

clear() -> None.  Remove all items from D.

copy 

copy() -> a shallow copy of D

dump

Vide le contenu du travail dans un fichier au format YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Paramètres

dest
Union[<xref:PathLike>, str, IO[AnyStr]]
Obligatoire

Chemin d’accès local ou flux de fichiers dans lequel écrire le contenu YAML. Si dest est un chemin de fichier, un nouveau fichier est créé. Si dest est un fichier ouvert, le fichier est écrit directement dans.

kwargs
dict

Arguments supplémentaires à passer au sérialiseur YAML.

Exceptions

FileExistsError

Déclenché si dest est un chemin de fichier et que le fichier existe déjà.

IOError

Déclenché si dest est un fichier ouvert et que le fichier n’est pas accessible en écriture.

fromkeys

Créez un dictionnaire avec des clés itérables et des valeurs définies sur valeur.

fromkeys(value=None, /)

Paramètres

type
Obligatoire
iterable
Obligatoire
value
valeur par défaut: None

get

Retourne la valeur de la clé si la clé se trouve dans le dictionnaire, sinon par défaut.

get(key, default=None, /)

Paramètres

key
Obligatoire
default
valeur par défaut: None

items 

items() -> a set-like object providing a view on D's items

keys 

keys() -> a set-like object providing a view on D's keys

pop

Si la clé est introuvable, retournez la valeur par défaut si elle est donnée ; sinon, déclenchez une erreur KeyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Supprimez et retournez une paire (clé, valeur) sous la forme d’un tuple à 2.

Les paires sont retournées dans l’ordre LIFO (dernier entré, premier sorti). Lève KeyError si la dict est vide.

popitem()

setdefault

Insérez une clé avec une valeur par défaut si la clé n’est pas dans le dictionnaire.

Retourne la valeur de la clé si la clé se trouve dans le dictionnaire, sinon par défaut.

setdefault(key, default=None, /)

Paramètres

key
Obligatoire
default
valeur par défaut: None

update

Si E est présent et a une méthode .keys(), alors fait : pour k dans E : D[k] = E[k] Si E est présent et ne dispose pas d’une méthode .keys(), alors fait : for k, v in E : D[k] = v Dans les deux cas, ceci est suivi par : for k in F : D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values 

values() -> an object providing a view on D's values

Attributs

base_path

Chemin d’accès de base de la ressource.

Retours

Chemin d’accès de base de la ressource.

Type de retour

str

code

Chemin d’accès local ou distant pointant vers le code source.

Type de retour

Union[str, <xref:PathLike>]

component

ID ou instance du composant ou du travail Spark à exécuter pendant l’étape.

Type de retour

SparkComponent

creation_context

Contexte de création de la ressource.

Retours

Métadonnées de création pour la ressource.

Type de retour

Optional[SystemData]

entry

id

ID de la ressource.

Retours

ID global de la ressource, id Azure Resource Manager (ARM).

Type de retour

Optional[str]

identity

Identité que le travail Spark utilisera lors de l’exécution sur le calcul.

Type de retour

Union[ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

inputs

Obtenez les entrées de l’objet.

Retours

Dictionnaire contenant les entrées de l’objet.

Type de retour

Dict[str, Union[Input, str, bool, int, float]]

log_files

Fichiers de sortie de travail.

Retours

Dictionnaire des noms de journaux et des URL.

Type de retour

Optional[Dict[str, str]]

name

Obtenez le nom du nœud.

Retours

Nom du nœud.

Type de retour

str

outputs

Obtenez les sorties de l’objet.

Retours

Dictionnaire contenant les sorties de l’objet.

Type de retour

Dict[str, Union[str, Output]]

resources

Configuration des ressources de calcul pour le travail.

Type de retour

SparkResourceConfiguration

status

État du travail.

Les valeurs courantes retournées sont « Exécution en cours (Running) », « Terminé (Finished) » et « Échec (Failed) ». Toutes les valeurs possibles sont les suivantes :

  • NotStarted : il s’agit d’un état temporaire dans lequel se trouvent les objets Run côté client avant la soumission cloud.

  • Démarrage : l’exécution a commencé à être traitée dans le cloud. L’appelant a un ID d’exécution à ce stade.

  • Approvisionnement : le calcul à la demande est en cours de création pour une soumission de travail donnée.

  • Préparation : l’environnement d’exécution est en cours de préparation et se trouve dans l’une des deux étapes suivantes :

    • Build d’image Docker

    • Configuration de l’environnement Conda

  • Mis en file d’attente : le travail est mis en file d’attente sur la cible de calcul. Par exemple, dans BatchAI, le travail est dans un état mis en file d’attente

    en attendant que tous les nœuds demandés soient prêts.

  • En cours d’exécution : le travail a commencé à s’exécuter sur la cible de calcul.

  • Finalisation : l’exécution du code utilisateur est terminée et l’exécution est en phase de post-traitement.

  • CancelRequested : l’annulation a été demandée pour le travail.

  • Terminé : l’exécution s’est terminée avec succès. Cela inclut à la fois l’exécution et l’exécution du code utilisateur

    Étapes de post-traitement.

  • Failed (Échec) : l’exécution a échoué. En règle générale, la propriété Error d’une exécution fournit des détails sur la raison de l’échec.

  • Annulé : suit une demande d’annulation et indique que l’exécution a bien été annulée.

  • NotResponding : pour les exécutions pour lesquelles des pulsations sont activées, aucune pulsation n’a été envoyée récemment.

Retours

État du travail.

Type de retour

Optional[str]

studio_url

Point de terminaison Azure ML Studio.

Retours

URL de la page des détails du travail.

Type de retour

Optional[str]

type

Type du travail.

Retours

Type du travail.

Type de retour

Optional[str]

CODE_ID_RE_PATTERN 

CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)