Amazon SageMaker Model Monitor 可以帮助您维持高质量机器学习 (ML) 模型，方法是在生产中自动检测和提醒所部署模型上的不准确预测。
ML 模型的准确性可能会随着时间的推移而下降，这种现象称为模型漂移。许多因素可能会引起模型漂移，如模型特征的变化。ML 模型的准确性还可能会受概念漂移的影响，后者是指用于训练模型的数据与推理中使用的数据之间的差异。
Amazon SageMaker Model Monitor 可以实时检测模型和概念偏移并向您发送提醒以便立即采取行动，从而帮助您维持高质量 ML 模型。可以根据自变量和因变量监控模型的质量，以此检测模型和概念漂移。自变量（也称为特征）是 ML 模型的输入，因变量是模型的输出。例如，在预测银行贷款审批的 ML 模型中，自变量可以是申请者的年龄、收入和信用历史记录，因变量则是贷款申请的实际结果。此外，SageMaker Model Monitor 可以持续监控模型性能特征，如准确度（评估正确的预测数量，并与实际预测数量对比），以便您采取措施解决异常情况。
此外，SageMaker Model Monitor 与 Amazon SageMaker Clarify 集成，以帮助您通过模型偏差检测来识别 ML 模型中的潜在偏差。
数据收集和监控
借助 Amazon SageMaker Model Monitor，您可以选择您想要监控和分析的数据，而无需编写任何代码。借助 SageMaker Model Monitor，您可以从预测输出之类的选项菜单中选择数据，并捕获时间戳、模型名称和终端节点之类的元数据，以便根据元数据分析模型预测。在大量实时预测的情况下，您可以指定总流量的一定百分比作为数据捕获采样率，并且数据将会存储在您自己的 Amazon S3 存储桶中。此外，您还可以对这些数据进行加密、配置精细安全性、定义数据保留策略，并实施访问控制机制，以实现安全访问。
内置分析
Amazon SageMaker Model Monitor 以统计规则的形式提供内置分析，以检测数据和模型质量中的偏移。您还可以编写自定义规则并为每个规则指定阈值。然后使用这些规则来分析模型性能。SageMaker Model Monitor 将会对收集到的数据运行规则，检测异常情况并记录违规情况。
可视化
可以在 Amazon SageMaker Studio 中收集和查看 Amazon SageMaker Model Monitor 发送的所有指标，从而可视化分析您的模型性能，无需编写额外的代码。您不仅可以可视化您的指标，而且还可以在 SageMaker 笔记本中运行临时分析，以更好地了解您的模型。
持续的模型预测
Amazon SageMaker Model Monitor 使您能够摄取 ML 应用程序中的数据，以便计算模型性能。数据将存储在 Amazon S3 中并通过访问控制、加密和数据保留策略进行安全保护。
监控计划
您可以通过 Amazon SageMaker Model Monitor 安排监控作业，以此监控您的 ML 模型。您可以自动启动监控作业，以分析给定时间段内的模型预测。您还可以在 SageMaker 终端节点上安排多个计划。
与 Amazon SageMaker Clarify 集成
Amazon SageMaker Model Monitor 与 Amazon SageMaker Clarify 集成，可提高对潜在偏差的可见性。尽管您的初始数据或模型可能没有偏差，但随着时间的推移，环境的变化可能会对已经过训练的模型带来偏移。例如，如果某些人口在原始训练数据中没有出现，购房者人口统计数据的重大变化可能会导致住房贷款申请模型出现偏差。通过与 SageMaker Clarify 集成，您可以配置警报系统（如 Amazon CloudWatch），以便在模型开始出现偏差时通知您。
报告和警报
监控作业生成的报告可以保存在 Amazon S3 中，以供后续分析使用。Amazon SageMaker Model Monitor 向 Amazon CloudWatch 发送指标，您可以在其中使用通知来触发警报或纠正措施，如重新训练模型或审计数据。这些指标包括诸如违反规则之类的信息以及时间戳信息。SageMaker Model Monitor 还可与其他可视化工具集成，包括 Tensorboard、Amazon QuickSight 和 Tableau。
使用案例
异常值或异常情况
使用 Amazon SageMaker Model Monitor 检测预测超出预期范围或者处于预期值（如最小值或最大值）边缘的时间。例如，您可能预计温度会在 65°F - 75°F 之间，因此，50°F 为越界结果。出现这一越界结果时，将会发出异常警报。
数据漂移
使用 Amazon SageMaker Model Monitor 检测预测何时会因实际环境条件（如传感器老化引起的传感器读数不准确）变化而出现偏斜。Amazon SageMaker Model Monitor 会将实际环境数据与基线数据集（如训练数据集或评估数据集）对比，以此检测数据偏斜。
实际环境观察结果
一般来说，实际环境中会出现新的数据，因此，您需要能够调整您的模型，以便考虑新的功能。例如，需要更新自动驾驶模型才能使自动驾驶汽车检测道路上的新物体。Amazon SageMaker Model Monitor 将会检测新的观察结果，以便您可以使模型保持最新状态。
