大数据实时计算

实时计算平台是为构建一体化、实时处理大数据的处理平台。鉴于传统离线计算数据反馈不及时、多业务端工作存在一定的信息交互壁垒，实时计算平台功能为现代企业组织提供集成式、统一化的实时计算软件环境，由此在数字化转型进程中，助力企业降本提效、精益运营。

实时计算引擎是为满足即时性、低延迟计算业务场景的数据流处理框架。相伴实时计算引擎技术及生态日渐完善、持续迭代，历经 MapReduce, Tez 和 Oozie, Spark, Flink 四代引擎技术变革升级。当下，以 Apache 基金会 Spark 和 Flink 两款开源实时计算引擎，更受开发者欢迎。Spark 在微批处理、连续流处理上具有显著表现，但不能满足低延时需求；而 Flink 拥有卓越的图计算和机器学习功能，本质上是真正的实时计算引擎。

Flume

• Flume 架构为分布式、高可靠、高容错的信息聚合技术框架，可用于集成、传输海量日志。该架构不仅能够简易、灵活地处理实时数据，而且还具有可靠性机制和故障转移、恢复机制。运行机制上，Flume 在处理数据后，会将数据写入到不同的接受方。
  

Kafka

• Kafka 作为基于发布订阅的分布式消息系统，是由 Apache 软件基金会开发的开源流处理平台，能够出色地解决峰值流量压力、异步消息以及解耦等问题，在处理实时数据时，构建一体化、高吞吐、低延迟的分发平台。
  

Redis

• 作为业界流行的高性能数据库，Redis 是利用 ANSI C 编写的键值对存储数据库，保持开源的同时，该架构支持数据的持久化保存。实现持久化存储时，一种方式以快照的形式，实现半持久耐用模式；另一种方式，是使用 AOF 格式，提升安全性。
  

Echarts

• 作为一款可直观交互、实现个性化定制的数据可视化图表库，Echarts 架构如今被业界广泛应用，可兼容绝大多数浏览器类别，在 PC 和移动设备终端表现卓越、顺畅运行。
  

Storm

• Storm 是实时处理数据开源分布式处理框架，也被称为“实时版 Hadoop”。其显著效能表现在，Storm 通过高效、易用的原语，构建抽象框架 Trident，相当于 Hadoop 的 Pig 框架，驱动开发效能、缩短开发周期。当下，Storm 已是流计算技术中的主流框架。