Inferenza del modello con TensorFlow e TensorRT
Il notebook di esempio di questo articolo illustra il flusso di lavoro di inferenza di Deep Learning consigliato di Azure Databricks con TensorFlow e TensorFlowRT. Questo esempio illustra come ottimizzare un modello ResNet-50 con training con TensorRT per l'inferenza del modello.
NVIDIA TensorRT è un'inferenza e un runtime con prestazioni elevate che offre bassa latenza e velocità effettiva elevata per le applicazioni di inferenza di Deep Learning. TensorRT è installato nella versione abilitata per GPU di Databricks Runtime per Machine Learning.