监视模型质量和终结点运行状况
Mosaic AI 模型服务提供高级工具，用于监视模型及其部署的质量和运行状况。 下表概述了可用的每个监视工具。
| 工具 | 描述 | 用途 | Access |
|---|---|---|---|
| 服务日志 | 从模型服务终结点捕获 stdout 和 stderr 流。 |
对模型部署期间的调试很有用。 使用 print(..., flush=true) 可立即在日志中显示。 |
可以使用 Serving UI 中的“日志”选项卡进行访问。 日志会实时流式传输，且可以通过 API 导出。 |
| 生成日志 | 显示来自会自动为模型服务终结点创建生产就绪型 Python 环境的进程的输出。 | 对诊断模型部署和依赖项问题很有用。 | 当模型服务生成完成时，显示在“日志”选项卡中的“生成日志”下。日志可以通过 API 导出。 |
| 终结点运行状况指标 | 有助于深入了解延迟、请求率、错误率、CPU 使用情况和内存使用情况等基础结构指标。 | 对于了解 Serving 基础结构的性能和运行状况有重要影响。 | 过去 14 天在 Serving UI 中默认可用。 还可以实时将数据流式传输到可观测性工具。 |
| 推理表 | 自动将联机预测请求和响应记录到 Unity Catalog 管理的 Delta 表中。 | 使用此工具监视和调试模型质量或响应、生成训练数据集或执行合规性审核。 | 可为现有和新的模型服务终结点启用，只需在 UI 中单击一下或使用 API 即可完成启用操作。 |