什么是大数据监控

大数据监控的一个核心特征是实时或准实时的信息传递。它需要采用分布式并行架构框架，对来自各种传感器和数据源的大量数据进行高效处理和分析。

大数据分析技术包括机器学习、测试、文本分析等，用于从海量数据中发现有价值的见解。同时，图表和可视化工具也是大数据监控不可或缺的组成部分，用于直观展示分析结果。

大数据监控需要全面跟踪IT基础架构的运行状况，包括内存使用、CPU利用率、网络组件等。应用性能管理工具可以从服务器、容器、数据库等后端系统收集数据，帮助检测性能问题并找到应用程序错误的根源。

数据架构和数据建模描述了组织的数据资产，为创建和管理数据流程提供了蓝图，涉及操作数据库、数据湖、数据仓库、服务器等技术细节。用户定义的交易分析也是大数据监控的重要组成部分。

大数据监控还需要依赖商业智能、云计算和数据库等技术，以支持数据的存储、处理和分析。数据湖方法还可以快速将数据分类到共享模型中，以响应不断变化的信息管理需求。

利用用户生成的数据可以让那些无声的群体有机会表达自己的需求，为改善医疗、就业和自然灾害管理等关键领域的决策提供新的机会。然而，发展中地区的技术基础设施不足、经济/人力资源匮乏等挑战亟待解决。

将机器学习应用于"面向发展的人工智能（AI4D）"可以帮助解决"面向发展的大数据"挑战。例如，利用手机元数据估算贫困和财富水平，将卫星图像与机器学习相结合来预测贫困程度。

数字足迹数据可以提供主题和地理覆盖范围，以及包含许多相互关联变量的细粒度数据，用于研究劳动力市场和数字经济。

组织应确保现有的数据库和应用程序能够扩展，以支持数据量、种类和速度的突然增加。否则可能会导致成本升高、生产力和竞争力下降。

组织应部署健全的大数据策略，将现有的大型工作负载迁移到大数据技术上，并部署新应用程序以利用新机遇，从而降低成本、提高运营效率。

组织应利用能够管理从原始数据收集到可操作信息消费的整个数据管理周期的新工具。这些大数据技术使收集、存储和分析更大数据集以发现新的有价值见解在技术和经济上都变得可行。

传统监控通常只关注组织内部系统和基础设施中有限的参数或指标，而大数据监控则需要从内部和外部广泛来源收集和分析大量多样化的数据。大数据监控所涉及的数据规模和范围要大得多。

传统监控主要采用基本的统计分析和阈值检测等方法，而大数据监控则可以利用高级分析和机器学习技术，发现隐藏的模式和洞见，这是传统监控方法难以实现的。

传统监控侧重于监控内部系统的运行状况和性能，而大数据监控的目标更加全面，不仅包括内部运营，还包括客户行为、外部环境等，旨在获得对整体业务的全面了解。

由于涉及大量异构数据源，大数据监控面临着数据质量、数据整合和数据过载等传统监控所没有的挑战。

大数据成熟度模型（BDMMs）用于衡量和管理组织中大数据程序的进展和采用速度。BDMMs的目标是提供一种能力评估工具，专注于组织中的关键领域，帮助制定发展里程碑，避免在建立和构建大数据能力时出现陷阱。这些关键组织领域包括"人员、流程和技术"，以及子组件如对齐、架构、数据、数据治理、交付、开发、测量、项目管治、范围、技能、赞助、统计建模、技术、价值和可视化。

大数据监控的另一个关键指标是所处理数据的量、速度和多样性。数据量指海量数据的规模，可能从数百到数千到数百万PB不等。数据速度指持续高速产生的数据，如社交媒体上的视频新闻源和智能传感器的数据流。数据多样性指不同类型的数据，包括结构化、非结构化和半结构化数据。需要大数据分析工具和技术来处理和分析这种高量、高速和高多样性的数据。

大数据成熟度模型的不同阶段或阶段描述了组织中数据可以被使用的各种方式，是设定方向和监控组织大数据项目健康状况的关键工具之一。一个基本假设是，较高的大数据成熟度与收入增加和运营费用降低相关。然而，达到最高成熟度级别需要多年的大量投资，只有少数公司被认为处于"成熟"的大数据和分析阶段。

大数据成熟度模型（BDMMs）用于衡量和监控公司的大数据能力状态，评估完成当前阶段或成熟度阶段所需的工作量，并推进到下一阶段。BDMMs提供了一种能力评估工具，可以在人员、流程和技术等关键组织领域产生对大数据的具体关注。它们还有助于指导发展里程碑，避免在建立和构建大数据能力时出现陷阱。

分布式并行架构可以将数据分布在多个服务器上，从而大大提高大数据处理速度。这种架构将数据插入并行DBMS，实现MapReduce和Hadoop框架的使用，使处理能力对最终用户透明。

数据湖方法允许组织将重点从集中控制转移到共享模型，以应对大数据带来的挑战。通过采用这种方法，组织可以更好地管理和利用大数据，提高数据处理效率和质量。