开始使用 DirectML

当大规模为用户提供硬件加速的 AI 时,很多开发人员采用的最直接方法通常是将 DirectML 与 ONNX 运行时配对。 这三个步骤是有关如何使用这一强大组合的常规指南。

1. 转换

使用 ONNX 格式,可以利用具有 DirectML 的 ONNX 运行时,DirectML 可提供跨硬件功能。

要将模型转换为 ONNX 格式,可以利用 ONNXMLToolsOlive

2. 优化

拥有 .onnx 模型之后,利用 DirectML 支持的 Olive 优化此模型。 你会发现性能得到显著改进,并可以将其部署到 Windows 硬件生态系统中。

3. 集成

模型准备就绪后,即可使用 ONNX 运行时和 DirectML 将硬件加速的推理集成到应用中。 对于生成式 AI 模型,建议使用 ONNX Generate() API

我们构建了一些示例,以演示如何使用 DirectML 和 ONNX 运行时:

DirectML 和 PyTorch

用于 Pytorch 的 DirectML 后端可实现对 GPU 硬件的高性能、低级别访问,同时向开发人员公开熟悉的 Pytorch API。 可以在此处找到有关如何将 PyTorch 与 DirectML 配合使用的更多信息

用于 Web 应用程序的 DirectML(预览版)

Web Neural Network (WebNN) API 是一种新兴的 Web 标准,允许 Web 应用和框架使用 GPU、CPU 等设备端硬件或专门构建的 AI 加速器(例如 NPU)来加速深度神经网络。 WebNN API 利用 Windows 上的 DirectML API 访问本机硬件功能以及优化神经网络模型的执行。 可以在此处找到有关 WebNN 的更多信息