概述
Amazon SageMaker Model Monitor 可以帮助您维持高质量机器学习（ML）模型，方法是在生产中自动检测和提醒所部署模型上的不准确预测。
ML 模型的准确性可能会随着时间的推移而下降，这种现象称为模型漂移。许多因素可能会引起模型漂移，如模型特征的变化。ML 模型的准确性还可能会受概念漂移的影响，后者是指用于训练模型的数据与推理中使用的数据之间的差异。
Amazon SageMaker Model Monitor 可以实时检测模型和概念偏移并向您发送提醒以便立即采取行动，从而帮助您维持高质量 ML 模型。可以根据自变量和因变量监控模型的质量，以此检测模型和概念漂移。自变量（也称为特征）是 ML 模型的输入，因变量是模型的输出。例如，在预测银行贷款审批的 ML 模型中，自变量可以是申请者的年龄、收入和信用历史记录，因变量则是贷款申请的实际结果。此外，SageMaker Model Monitor 可以持续监控模型性能特征，如准确度（评估正确的预测数量，并与实际预测数量对比），以便您采取措施解决异常情况。
此外，SageMaker Model Monitor 与 Amazon SageMaker Clarify 集成，以帮助您通过模型偏差检测来识别 ML 模型中的潜在偏差。
数据收集和监控
借助 Amazon SageMaker Model Monitor，您可以选择您想要监控和分析的数据，而无需编写任何代码。借助 SageMaker Model Monitor，您可以从预测输出之类的选项菜单中选择数据，并捕获时间戳、模型名称和终端节点之类的元数据，以便根据元数据分析模型预测。在大量实时预测的情况下，您可以指定总流量的一定百分比作为数据捕获采样率，并且数据将会存储在您自己的 Amazon S3 存储桶中。此外，您还可以对这些数据进行加密、配置精细安全性、定义数据保留策略，并实施访问控制机制，以实现安全访问。
内置分析
可视化
持续的模型预测
监控计划
与 Amazon SageMaker Clarify 集成
Amazon SageMaker Model Monitor 与 Amazon SageMaker Clarify 集成，可提高对潜在偏差的可见性。尽管您的初始数据或模型可能没有偏差，但随着时间的推移，环境的变化可能会对已经过训练的模型带来偏移。例如，如果某些人口在原始训练数据中没有出现，购房者人口统计数据的重大变化可能会导致住房贷款申请模型出现偏差。通过与 SageMaker Clarify 集成，您可以配置警报系统（如 Amazon CloudWatch），以便在模型开始出现偏差时通知您。