异常检测方法

三种常用的异常检测方法分别是无监督异常检测、监督式异常检测和半监督式异常检测。

  • 无监督异常检测可以通过查找大多数数据与其他数据不匹配的实例,在未标记的测试数据中检测异常。在数据集中备注 “正常”和“异常”是监督式异常检测的基础检测方式,
  • 另外监督式异常检测涉及到的训练分类器中所包含的内在不均衡性是与其它检测方法的主要区别。
  • 最后一种半监督异常检测方法,首先需创建一个正常行为的模型,然后检测通过该模型生成测试实例的可能性。

异常检测的应用领域

数据日志和过程日志_异常检测的应用领域

数据日志和过程日志

在对日志进行管理时,对存在异常的日志,通常采用自动化数据挖掘技术来对其中的异常数据进行检索。这些日志起到了为异常检测提供数据来源的作用。

安全监控_异常检测的应用领域

安全与监控

网络的安全和监视工作至关重要,所以在维护网络安全时,如何记录与管理计算机日志是需要着重考虑的问题。因为只有确保它们的安全性与可靠性,才能使其在异常值检测中提供更多的参考价值。

保健分析与医学诊断_异常检测的应用领域

保健分析与医学诊断

医疗保健与诊断设备在实际生活中一般用于判断患者是否患上某种疾病,其原理是将保健分析或者医学诊断当中获取到的数据与标准数据进行对比,从而判断患者是否患上某种疾病,它有助于正确诊断疾病并判断其潜在影响。保健分析与医学诊断结果使医生能够对病人的病情采取及时、适当的抑制措施。

数据质量和数据清洁_异常检测的应用领域

数据质量和数据清洁

数据可能会因为其来自不同应用领域而产生误差值,因此对数据的异常值检测是不可缺少的过程,采用筛除或者数据修正两种方法来调整数据,可以提升数据的品质并预测准确的结果。

异常检测问题中存在的难点

异常检测在实施过程中可能会存在这几大难点:在数据检测时,数据正常或异常区分的界限不够清晰;异常与正常行为两者之间随着时间的推移可能会变化;异常检测技术可能会因为其应用方向的不同或概念相矛盾而无法在不同领域内使用,这也是造成检测系统存在较大差异的主要原因;此外,异常值和噪声有时很难区分。异常检测问题中离群点检测面临较大挑战,目前相关的研究人员一直在寻找更好的解决方案来应对这些挑战。

亚马逊云科技热门云产品

Amazon CloudWatch

Amazon CloudWatch

收集和跟踪各项指标、收集和监控日志文件、设置警报

Amazon OpenSearch Service

Amazon OpenSearch Service

搜索、可视化和分析高达 PB 字节的文本和非结构化数据

Amazon GuardDuty

Amazon GuardDuty

利用智能威胁检测和持续监控保护您的亚马逊云科技账户、工作负载和数据

欢迎加入亚马逊云科技培训中心

欢迎加入亚马逊云科技培训中心

从 0 到 1 轻松上手云服务,获取更多官方开发资源及培训教程
从 0 到 1 轻松上手云服务,获取更多官方开发资源及培训教程
  • 快速上手训练营
  • 第一课:亚马逊云科技简介

    本课程帮助您初步了解云平台与本地环境的差异,以及亚马逊云科技平台的基础设施和部分核心服务,包括亚马逊云科技平台上的弹性高可用架构,架构设计准则和本地架构迁移上云的基本知识。

    亚马逊云科技技术讲师:李锦鸿

    第二课:存储与数据库服务

    您将在本课程中学习到亚马逊云科技上的三个存储服务分别是什么。我们也将在这个模块中为您介绍亚马逊云科技上的关系型数据库服务 Amazon Relational Database Service (RDS)。

    亚马逊云科技资深技术讲师:周一川

    第三课:安全、身份和访问管理

    在这个模块,您将学习到保护您在亚马逊云科技上构建的应用的安全相关知识,责任共担模型以及身份和访问管理服务, Identity and Access Management (IAM) 。同时,通过讲师演示,您将学会如何授权给 EC2 实例,允许其访问 S3 上的资源。

    亚马逊云科技技术讲师:马仲凯
  • 账单设置与查看
  • 视频:快速完成税务设置

    部署时间:5 分钟

    视频:账户账单信息

    部署时间:3 分钟

    视频:如何支付账单

    部署时间:3 分钟

  • 动手实操
  • 快速上手云上无服务器化的 MySQL 数据库

    本教程将引导您创建一个Aurora Serverless 数据库并且连接上它。

    部署时间:10 分钟

    启动一台基于 Graviton2 的 EC2 实例


    本教程将为您讲解如何在云控制台上启动一台基于 Graviton2 的 EC2 实例。

    部署时间:5 分钟

    使用 Amazon Systems Manager 进行云资源统一跟踪和管理

    在这个快速上手教程中,您将学会如何使用 Amazon Systems Manager 在 Amazon EC2 实例上远程运行命令。

    部署时间:10 分钟