Mosaic AI 网关
重要
此功能目前以公共预览版提供。
本文介绍 Mosaic AI 网关，此 Databricks 解决方案用于治理和监视对支持的生成式 AI 模型及其关联的模型服务端点的访问。
什么是 Mosaic AI 网关？
Mosaic AI 网关旨在简化组织中生成式 AI 模型的使用情况和管理。 它是一种集中式服务，为模型服务端点带来了治理、监视和生产就绪。 它还允许你运行、保护和治理 AI 流量，以实现组织 AI 采用的民主化和加速采用。
所有数据都记录到 Unity Catalog 中的 Delta 表。
AI 网关支持以下功能：
- 权限和速率限制，控制谁有权访问和访问量。
- 有效负载日志记录，使用推理表监视和审核要发送到模型 API 的数据。
- 使用情况跟踪，使用系统表监视端点上的操作使用情况和相关成本。
- AI 护栏，可防止请求和响应中不需要的数据和不安全的数据。
- 流量路由，最大程度减少部署期间和之后的生产中断。
Mosaic AI 网关基于已启用的功能产生费用。 预览期间，这些付费功能包括 AI 护栏、有效负载日志记录和使用情况跟踪。 查询权限、速率限制和流量路由等功能免费提供。 任何新功能均需付费。
下表反映了付费 AI 网关功能的每百万 (M) 令牌 Databricks 单位 (DBU) 费率。 费用列在 Serverless Real-time Inference SKU 下。
| 功能 | DBU 费率 |
|---|---|
| AI 护栏 | 每百万令牌 21.429 个 DBU |
| 有效负载日志记录 | 每百万令牌 2.857 个 DBU |
| 使用情况跟踪 | 每百万令牌 0.571 个 DBU |
AI 护栏
AI 护栏允许用户在模型服务端点级别配置和强制执行数据合规性，并减少发送到基础模型的任何请求中的有害内容。 错误的请求和响应会被阻止，并向用户返回默认消息。 请参阅如何在模型服务端点配置护栏。
重要
AI 护栏仅适用于支持基础模型 API 按令牌付费的区域。
下表汇总了可配置的护栏。
| 护栏 | 定义 |
|---|---|
| 安全筛选 | 安全筛选可防止模型与不安全且有害的内容（如暴力犯罪、自残和仇恨言论）进行交互。 AI 网关安全筛选器使用 Meta Llama 3 构建。 Databricks 使用 Llama Guard 2-8b 作为安全筛选器。 若要详细了解 Llama Guard 安全筛选器，以及适用于安全筛选器的主题，请参阅 Meta Llama Guard 2 8B 模型卡 Meta Llama 3 根据 LLAMA 3 社区许可授权，版权所有 © Meta Platforms, Inc.保留所有权利。 客户需负责确保遵守适用的模型许可条款。 |
| 个人身份信息 (PII) 检测 | 客户可以检测用户的任何敏感信息（如姓名、地址、信用卡号码）。 对于此功能，AI 网关使用 Presidio。 PII 分类器可帮助识别结构化和非结构化数据中的敏感信息或 PII。 但是，由于使用的是自动检测机制，因此不能保证该服务一定能找到所有敏感信息。 因此，应采用其他系统和保护措施。 这些分类方法主要适用于美国 PII 类别，例如美国电话号码和社会安全号码。 |
| 主题审查 | 列出一组允许的主题的功能。 给定聊天请求后，如果请求的主题不在允许的主题范围内，则此护栏会标记该请求。 |
| 关键字筛选 | 客户可以为输入与输出指定不同的无效关键字集。 关键字筛选的一个潜在用例是让模型不谈论竞争对手。 此护栏使用关键字或字符串匹配来确定关键字是否存在于请求或响应内容中。 |
使用 AI 网关
可使用服务 UI 在模型服务端点上配置 AI 网关功能。 请参阅在模型服务端点上配置 AI 网关。
限制
预览期间的限制如下：
- AI 网关仅支持服务外部模型模型服务端点。
- HIPAA 工作区不支持 AI 网关。
- 使用护栏时，请求批次大小（即嵌入批次大小、完成批次大小或聊天请求的
n参数）不能超过 16。