生成式 AI 模型维护策略
本文介绍了针对基础模型 API(按令牌付费)和 Mosaic AI 模型训练产品/服务的模型维护策略。
为了继续支持最先进的模型,Databricks 可能会更新支持的模型或停用基础模型 API(按令牌付费)和 Mosaic AI 模型训练产品/服务的旧模型。
模型停用策略
以下停用策略仅适用于基础模型 API(按标记付费)和 Mosaic AI 模型训练产品/服务中支持的聊天和完成模型。
如果将某个模型设置为停用,则 Databricks 将采取以下措施来通知客户:
- Databricks 工作区“服务”页上的模型卡中会显示一条警告消息,指出该模型计划停用。
- “试验”选项卡中的 Mosaic AI 模型训练下拉菜单中会显示一条警告消息,指出相应模型计划停用。
- 适用的文档包含一则通知,指出相应模型计划停用并提供不再支持该模型的起始日期。
在通知客户即将停用模型后,Databricks 将在 3 个月后停用该模型。 在此期间,客户可以选择迁移到预配吞吐量终结点,以便在模型生命周期结束后继续使用该模型。
有关当前宣布停用的模型和计划停用日期的列表,请参阅停用的模型。
模型更新
Databricks 可能会发送按令牌付费模型的增量更新,以提供优化。 更新模型时,终结点 URL 将保持不变,但响应对象中的模型 ID 会更改以反映更新日期。 例如,如果在 2024 年 3 月 4 日将更新发送到 meta-llama/Meta-Llama-3.1-405B
,则响应对象中的模型名称会更新为 meta-llama/Meta-Llama-3.1-405B-030424
。 Databricks 将维护可供参考的更新版本历史记录。
停用的模型
以下部分汇总了基础模型 API(按标记付费)和 Mosaic AI 模型训练产品/服务的当前和即将到来的模型停用情况。
Mosaic AI 模型训练停用
下表显示了已停用的模型系列、其停用日期,以及用于 Mosaic AI 模型训练工作负载的建议替换模型系列。 Databricks 建议在指定的停用日期之前迁移应用程序,以使用替换模型。
模型系列 | 停用日期 | 建议的替换模型系列 |
---|---|---|
Meta-Llama-3 | 2024 年 12 月 13 日 | Meta-Llama-3.1 |
Meta-Llama-2 | 2024 年 12 月 13 日 | Meta-Llama-3.1 |
Code Llama | 2024 年 12 月 13 日 | Meta-Llama-3.1 |
基础模型 API(按标记付费)
下表显示了模型停用情况,它们的停用日期和建议用于基础模型 API 按标记付费服务工作负载的替换模型。 Databricks 建议在指定的停用日期之前迁移应用程序,以使用替换模型。
重要
在 2024 年 7 月 23 日,Meta-Llama-3.1-70B-Instruct 支持取代对基础模型 API(按标记付费)终结点中 Meta-Llama-3-70B-Instruct 的支持。
型号 | 停用日期 | 建议的替换模型 |
---|---|---|
Meta-Llama-3-70B-Instruct | 2024 年 7 月 23 日 | Meta-Llama-3.1-70B-Instruct |
Meta-Llama-2-70B-Chat | 2024 年 10 月 30 日 | Meta-Llama-3.1-70B-Instruct |
MPT 7B Instruct | 2024 年 8 月 30 日 | Mixtral-8x7B |
MPT 30B Instruct | 2024 年 8 月 30 日 | Mixtral-8x7B |
如果需要获得针对特定模型版本的长期支持,Databricks 建议为服务工作负载使用基础模型 API(预配吞吐量)。