首页  云计算知识 
大数据实时计算

大数据实时计算

大数据实时计算,是指面向海量数据,一般以秒级为单位的计算模式。伴随数据处理引擎等技术的更新迭代,实时计算领域的技术也变得愈发完善,相伴 5G、IoT、AI/ML 等技术生态的日渐成熟,大数据实时计算正在更加广泛地应用于物联网、通信、智能制造等行业的多重场景。

新用户享受中国区域 12 个月免费套餐

大数据实时计算
首页  云计算知识 
大数据实时计算
大数据实时计算

大数据实时计算

大数据实时计算,是指面向海量数据,一般以秒级为单位的计算模式。伴随数据处理引擎等技术的更新迭代,实时计算领域的技术也变得愈发完善,相伴 5G、IoT、AI/ML 等技术生态的日渐成熟,大数据实时计算正在更加广泛地应用于物联网、通信、智能制造等行业的多重场景。

新用户享受中国区域 12 个月免费套餐

实时计算平台

实时计算平台是为构建一体化、实时处理大数据的处理平台。鉴于传统离线计算数据反馈不及时、多业务端工作存在一定的信息交互壁垒,实时计算平台功能为现代企业组织提供集成式、统一化的实时计算软件环境,由此在数字化转型进程中,助力企业降本提效、精益运营。

实时计算引擎

实时计算引擎是为满足即时性、低延迟计算业务场景的数据流处理框架。相伴实时计算引擎技术及生态日渐完善、持续迭代,历经 MapReduce, Tez 和 Oozie, Spark, Flink 四代引擎技术变革升级。当下,以 Apache 基金会 Spark 和 Flink 两款开源实时计算引擎,更受开发者欢迎。Spark 在微批处理、连续流处理上具有显著表现,但不能满足低延时需求;而 Flink 拥有卓越的图计算和机器学习功能,本质上是真正的实时计算引擎。

实时计算平台

实时计算平台是为构建一体化、实时处理大数据的处理平台。鉴于传统离线计算数据反馈不及时、多业务端工作存在一定的信息交互壁垒,实时计算平台功能为现代企业组织提供集成式、统一化的实时计算软件环境,由此在数字化转型进程中,助力企业降本提效、精益运营。

实时计算引擎

实时计算引擎是为满足即时性、低延迟计算业务场景的数据流处理框架。相伴实时计算引擎技术及生态日渐完善、持续迭代,历经 MapReduce, Tez 和 Oozie, Spark, Flink 四代引擎技术变革升级。当下,以 Apache 基金会 Spark 和 Flink 两款开源实时计算引擎,更受开发者欢迎。Spark 在微批处理、连续流处理上具有显著表现,但不能满足低延时需求;而 Flink 拥有卓越的图计算和机器学习功能,本质上是真正的实时计算引擎。

实时计算架构

Flume

Flume 架构为分布式、高可靠、高容错的信息聚合技术框架,可用于集成、传输海量日志。该架构不仅能够简易、灵活地处理实时数据,而且还具有可靠性机制和故障转移、恢复机制。运行机制上,Flume 在处理数据后,会将数据写入到不同的接受方。

Kafka

Kafka 作为基于发布订阅的分布式消息系统,是由 Apache 软件基金会开发的开源流处理平台,能够出色地解决峰值流量压力、异步消息以及解耦等问题,在处理实时数据时,构建一体化、高吞吐、低延迟的分发平台。

Redis

作为业界流行的高性能数据库,Redis 是利用 ANSI C 编写的键值对存储数据库,保持开源的同时,该架构支持数据的持久化保存。实现持久化存储时,一种方式以快照的形式,实现半持久耐用模式;另一种方式,是使用 AOF 格式,提升安全性。

Echarts

作为一款可直观交互、实现个性化定制的数据可视化图表库,Echarts 架构如今被业界广泛应用,可兼容绝大多数浏览器类别,在 PC 和移动设备终端表现卓越、顺畅运行。

Storm

Storm 是实时处理数据开源分布式处理框架,也被称为“实时版 Hadoop”。其显著效能表现在,Storm 通过高效、易用的原语,构建抽象框架 Trident,相当于 Hadoop 的 Pig 框架,驱动开发效能、缩短开发周期。当下,Storm 已是流计算技术中的主流框架。

实时计算架构

亚马逊云科技实时计算的优势

亚马逊云科技实时计算的优势_实时处理

实时处理

Amazon Kinesis Data Streams 可让您更加便于实时处理数据。此外,您还可以在数据生成时持续收集数据,并迅速对关键的业务和运营信息作出反应。
亚马逊云科技实时计算的优势_简单易用

简单易用

只需数秒,您即可创建一个 Amazon Kinesis 流,并借助 Amazon Kinesis Producer Library (KPL) 和 Kinesis Client Library (KCL),轻松地向 Amazon Kinesis 流添加数据,生成用于处理数据的 Amazon Kinesis 应用程序。
亚马逊云科技实时计算的优势_并行处理

并行处理

通过使用 Amazon Kinesis Data Streams,可以让多个 Amazon Kinesis 应用程序同时处理同一个流。例如,您可以让一个应用程序运行实时分析,并让另一个应用程序从同一个 Amazon Kinesis 流向 Amazon S3 发送数据。
亚马逊云科技实时计算的优势_弹性动态

弹性动态

Amazon Kinesis Data Streams 可以将流的吞吐量从每小时数 MB 扩展为每小时数 TB,并将每秒支持的 PUT 记录数从数千个扩展为数百万个。您可以根据输入数据量随时动态调整流的吞吐量。

亚马逊云科技实时计算的优势

亚马逊云科技实时计算的优势_实时处理

实时处理

Amazon Kinesis Data Streams 可让您更加便于实时处理数据。此外,您还可以在数据生成时持续收集数据,并迅速对关键的业务和运营信息作出反应。
亚马逊云科技实时计算的优势_简单易用

简单易用

只需数秒,您即可创建一个 Amazon Kinesis 流,并借助 Amazon Kinesis Producer Library (KPL) 和 Kinesis Client Library (KCL),轻松地向 Amazon Kinesis 流添加数据,生成用于处理数据的 Amazon Kinesis 应用程序。
亚马逊云科技实时计算的优势_并行处理

并行处理

通过使用 Amazon Kinesis Data Streams,可以让多个 Amazon Kinesis 应用程序同时处理同一个流。例如,您可以让一个应用程序运行实时分析,并让另一个应用程序从同一个 Amazon Kinesis 流向 Amazon S3 发送数据。
亚马逊云科技实时计算的优势_弹性动态

弹性动态

Amazon Kinesis Data Streams 可以将流的吞吐量从每小时数 MB 扩展为每小时数 TB,并将每秒支持的 PUT 记录数从数千个扩展为数百万个。您可以根据输入数据量随时动态调整流的吞吐量。

亚马逊云科技实时数据相关产品

Amazon Kinesis

Amazon Kinesis

轻松地实时收集、处理和分析视频和数据流

了解 Amazon Kinesis 
Amazon KDF

Amazon KDF

准备并将实时数据流加载到数据存储和分析工具中
了解 Amazon KDF 
Amazon Glue

Amazon Glue

简单、可扩展且无服务器的数据集成
 
了解 Amazon Glue 
Amazon Lake Formation

Amazon Lake Formation

数天内构建安全的数据湖

了解 Amazon Lake Formation 

亚马逊云科技实时数据相关产品

Amazon Kinesis

Amazon Kinesis

轻松地实时收集、处理和分析视频和数据流
了解 Amazon Kinesis 
Amazon KDF

Amazon Kinesis Data Firehose

准备并将实时数据流加载到数据存储和分析工具中
了解 Amazon Kinesis Data Firehose 
Amazon Glue

Amazon Glue

简单、可扩展且无服务器的数据集成
了解 Amazon Glue 
Amazon Lake Formation

Amazon Lake Formation

数天内构建安全的数据湖
了解 Amazon Lake Formation 
准备好免费体验亚马逊云科技实时计算相关技术了吗?

新用户注册,可免费体验 12 个月

准备好免费体验亚马逊云科技实时计算相关技术了吗?

新用户注册,可免费体验 12 个月

欢迎加入亚马逊云科技培训中心

从 0 到 1 轻松上手云服务,获取更多官方开发资源及培训教程

欢迎加入亚马逊云科技培训中心

从 0 到 1 轻松上手云服务,获取更多
官方开发资源及培训教程