发布于: Oct 18, 2022
通过 CreatePredictor API 与 GetAccuracyMetrics API ,或者使用 Forecast 控制台在 Forecast 中衡量模型的准确性。我们将分步介绍控制台的使用步骤。
您可以通过 CreatePredictor API 与 GetAccuracyMetrics API ,或者使用 Forecast 控制台在 Forecast 中衡量模型的准确性。在本节中,我们将分步介绍控制台的使用步骤。
![](https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/guoheng/articles/machine-learning/Amazon-Forecast-imng1.576d1462627852dbafeb653623ad651aef9bd00d.png)
![](https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/guoheng/articles/machine-learning/Amazon-Forecast-imng2.d9ab1795f04b9100bdc720a8214820622f4eb2b1.png)
![](https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/guoheng/articles/machine-learning/Amazon-Forecast-imng3.d11d7d58ee50616e697379cc98d785ec89afd74a.png)
![](https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/guoheng/articles/machine-learning/Amazon-Forecast-imng4.fef6664b719a5a5c5814584ee2ef2f137b193ce4.png)
![](https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/guoheng/articles/machine-learning/Amazon-Forecast-imng5.91c198d192bf3f994ac50cf3fa88c9464a712007.png)
在预测器的详细信息页面上,您可以查看整体模型的准确性指标,以及来自指定的回测窗口的具体指标。整体模型的准确性指标可通过对各回测窗口指标求均值来计算。
![](https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/guoheng/articles/machine-learning/Amazon-Forecast-imng6.ecea97ff7e4d88ead9661d459f6b6733fbf39d34.png)
在预测器训练期间,各分布点将生成对应的预测结果。作为可选项,您还可以指定不同的分布点以生成相应预测。
![](https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/guoheng/articles/machine-learning/Amazon-Forecast-imng7.76fc4c5009b4fcbc8cdc5f559fd95682ecc94cd0.png)
在本节中,我们将分享使用 Forecast 时的技巧与最佳实践:
- 在尝试使用 Forecast 之前,请定义与预测不足或预测过度相关的业务问题。评估权衡结果并确定优先顺序(例如更倾向于预测过度,而非预测不足)。
- 对多个分布点进行试验,以优化您的预测模型,在预测不足与预测过度之间实现成本平衡。
- 如果您要对多个不同模型进行比较,请使用相同分位数的 wQL 指标进行比较。值越低,则代表预测模型越准确。
- Forecast 允许您最多选择 5 个回测窗口。Forecast 使用回测机制调整预测器并生成准确性指标。为了执行回测,Forecast 会自动将我们的时间序列数据集分为两组:训练数据集与测试数据集。训练数据集用于训练模型,测试数据集则用于评估模型的预测准确性。我们建议选择一个以上的回测窗口,以最大程度减少选择偏差。单一窗口的偶然性或多或少会影响准确性。通过多个回测窗口评估模型的整体准确性,能够帮助我们更好地评估模型。
现在,大家可以使用 Forecast 在您所指定的多个分布点上测量预测模型的准确性。这使您可以更灵活地将 Forecast 与您的业务保持同步,因为预测过度与预测不足所引发的影响经常不同。您可以在 Forecast 正式上线的各区域内使用这项功能。关于区域可用性的更多详细信息,请参阅区域表。关于在创建预测器与访问准确性指标时指定自定义分布点 API 的更多详细信息,请参阅 CreatePredictor API 与 GetAccuracyMetrics API 说明文档。关于评估多个分布点上预测器准确性的更多详细信息,请参阅评估预测器的准确性。
相关文章