发布于: Nov 24, 2020

Amazon Elasticsearch Service 现已针对高基数数据集提供异常检测。借助这项新功能,您可以从数百万个事件中筛选数千个指标,从而准确找出具有异常模式的各个实体。通过利用机器学习,Amazon Elasticsearch Service 现在提供可靠的可行见解,可以显著缩短隔离和纠正问题的时间。高基数异常检测对于许多运营、安全和业务使用案例都是非常宝贵的,比如识别高 CPU 和内存消耗的主机、查找错误率最高的服务、隔离访问敏感信息的可疑用户或 IP 地址,或者按区域检测销售数据中的异常值。 

支持高基数数据流具有挑战性,因为处理复杂的数据需要进行计算和扩展。当操作员需要近乎实时地从大量数据集中找出异常实体时,该问题会进一步加剧。Amazon Elasticsearch Service 使用分布式架构,通过在域中的实例之间分散负载来解决性能和可扩展性方面的挑战。对高基数数据集进行异常检测由 Random Cut Forest (RCF) 算法提供支持,这是一种轻量级的非监督式机器学习算法,经证实可以在生产环境中大规模处理多维数据流。该功能还提供 Kibana 控制面板和可视化内容,可以一目了然地快速发现问题,从而使所有用户都能进行异常检测,无论其机器学习知识如何。 

高基数异常检测功能由 Open Distro for Elasticsearch(Elasticsearch 的 Apache 2.0 许可发行版)提供支持。要了解有关 Open Distro for Elasticsearch 及其异常检测插件的更多信息,请访问项目网站。所有运行 Elasticsearch 7.9 的域都可以进行异常检测。要了解更多信息,请参阅文档。 

适用于 Amazon Elasticsearch Service 的高基数异常检测功能现已可供由光环新网运营的 亚马逊云科技中国(北京)区域和由西云数据运营的 亚马逊云科技中国(宁夏)区域内的 Amazon Elasticsearch Service 域使用。