Flusso di lavoro di inferenza dei modelli di Deep Learning

  • Articolo

Per l'inferenza del modello per le applicazioni di Deep Learning, Azure Databricks consiglia il flusso di lavoro seguente. Per esempi di notebook che usano TensorFlow e PyTorch, vedere Esempi di inferenza del modello di Deep Learning.

  1. Caricare i dati in dataframe Spark. A seconda del tipo di dati, Azure Databricks consiglia i modi seguenti per caricare i dati:

    • File di immagine (JPG,PNG): caricare i percorsi dell'immagine in un dataframe Spark. Il caricamento e la pre-elaborazione dei dati di input vengono caricati in una funzione definita dall'utente pandas.
    files_df = spark.createDataFrame(map(lambda path: (path,), file_paths), ["path"])

    df = spark.read.format("tfrecords").load(image_path)
    • Origini dati come Parquet, CSV, JSON, JDBC e altri metadati: caricare i dati usando origini dati Spark.

  2. Eseguire l'inferenza del modello usando le funzioni definite dall'utente pandas. Le funzioni definite dall'utente pandas usano Apache Arrow per trasferire dati e pandas per lavorare con i dati. Per eseguire l'inferenza del modello, di seguito sono riportati i passaggi generali del flusso di lavoro con le funzioni definite dall'utente pandas.

    1. Caricare il modello sottoposto a training: per un'efficienza, Azure Databricks consiglia di trasmettere i pesi del modello dal driver e caricare il grafico del modello e ottenere i pesi dalle variabili trasmesse in una funzione definita dall'utente pandas.
    2. Caricare e pre-elaborare i dati di input: per caricare i dati in batch, Azure Databricks consiglia di usare l'API tf.data per TensorFlow e la classe DataLoader per PyTorch. Entrambi supportano il prelettura e il caricamento multithread per nascondere la latenza associata a I/O.
    3. Eseguire la stima del modello: eseguire l'inferenza del modello nel batch di dati.
    4. Inviare le stime ai dataframe Spark: raccogliere i risultati della stima e restituire come pd.Series.

Esempi di inferenza del modello di Deep Learning

Gli esempi in questa sezione seguono il flusso di lavoro di inferenza di Deep Learning consigliato. Questi esempi illustrano come eseguire l'inferenza del modello usando un modello di rete neurale resnets (Deep Residual Networks) con training preliminare.