在模型服务端点上配置 AI 网关

本文介绍如何在模型服务端点上配置 Mosaic AI 网关。

要求

• 模型服务支持的区域中的 Databricks 工作区。
• 完成创建外部模型服务端点的步骤 1 和 2。

使用 UI 配置 AI 网关

下面演示了如何使用服务 UI 在端点创建过程中配置 AI 网关。

在端点创建页面的“AI 网关”部分，可以单独配置以下 AI 网关功能：

在 UI 中配置 AI 护栏

下表演示了如何配置支持的护栏。

使用情况跟踪表架构

system.serving.served_entities 使用情况跟踪系统表具有以下架构：

system.serving.endpoint_usage 使用情况跟踪系统表具有以下架构：

使用 usage_context 进一步定义使用情况

查询启用了使用情况跟踪的外部模型时，可以提供类型 usage_context 的 Map[String, String] 参数。 用法上下文映射显示在 usage_context 列的使用情况跟踪表中。 帐户管理员可以根据用法上下文合并不同的行，以获取见解，并且可以将此信息与有效负载日志记录表中的信息进行联接。 例如，可以将 end_user_to_charge 添加到 usage_context，以跟踪最终用户的成本归因。

{
  "messages": [
    {
      "role": "user",
      "content": "What is Databricks?"
    }
  ],
  "max_tokens": 128,
  "usage_context":
    {
      "use_case": "external",
      "project": "project1",
      "priority": "high",
      "end_user_to_charge": "abcde12345",
      "a_b_test_group": "group_a"
    }
}

已启用 AI 网关的推理表架构

使用 AI 网关启用的推理表具有以下架构：

更新端点上的 AI 网关功能

可在以前启用 AI 网关功能和未启用该功能的模型服务端点上更新 AI 网关功能。 AI 网关配置的更新需要大约 20-40 秒才能应用，但速率限制更新最长可能需要 60 秒。

下面演示了如何使用服务 UI 更新模型服务端点上的 AI 网关功能。

在端点页面的“网关”部分，可以看到已启用了哪些功能。 若要更新这些功能，请单击“编辑 AI 网关”。

笔记本示例

以下笔记本演示了如何以编程方式启用和使用 Databricks Mosaic AI 网关功能，以管理和治理来自提供商的模型。

启用 Databricks Mosaic AI 网关功能笔记本

获取笔记本

其他资源

• Mosaic AI 网关。
• 用于监视和调试模型的推理表。