首页  云计算知识 
什么是流式计算

什么是流式计算

流式计算,作为一种高频、增量、实时的数据处理模式,主要对计算方法和数据流进行处理。其功能主要体现在——对占用内存小、单次处理快、系统延迟低等要求较高的场景,以及需要在任务中持续计算的场景。

新用户享受中国区域 12 个月免费套餐

什么是流式计算
首页  云计算知识 
什么是流式计算
什么是流式计算

什么是流式计算

流式计算,作为一种高频、增量、实时的数据处理模式,主要对计算方法和数据流进行处理。其功能主要体现在——对占用内存小、单次处理快、系统延迟低等要求较高的场景,以及需要在任务中持续计算的场景。

新用户享受中国区域 12 个月免费套餐

大数据流式计算

大数据流式计算,主要是为了满足场景下的实时应用需求,可广泛应用于互联网、物联网等多重领域。整个数据流的处理过程,往往在毫秒级的时间内完成。流式计算中,数据以组为单位,呈现连续数据流的形态,持续地集成至大数据流式计算平台。其计算功能的实现,是通过有向任务图的形式进行描述,在实时生成相应计算结果前,数据流会流经有向任务图,并且在流的数据在不同的时间点,以增量方式逐步获取相应数据。

大数据流式计算

大数据流式计算,主要是为了满足场景下的实时应用需求,可广泛应用于互联网、物联网等多重领域。整个数据流的处理过程,往往在毫秒级的时间内完成。流式计算中,数据以组为单位,呈现连续数据流的形态,持续地集成至大数据流式计算平台。其计算功能的实现,是通过有向任务图的形式进行描述,在实时生成相应计算结果前,数据流会流经有向任务图,并且在流的数据在不同的时间点,以增量方式逐步获取相应数据。

流式计算框架

Apache Spark

Apache Spark 是专门用于大规模数据处理的计算引擎,拥有 Hadoop MapReduce 所具有的同等优势;但 Apache Spark 不再需要读写 HDFS,因此它能更出色地适用于数据挖掘分析与 ML 等需要迭代的 MapReduce 算法。同时,Spark 启用了内存分布数据集,提供交互式查询外,还能优化迭代工作负载。

Apache Storm

Apache Storm 是一个开源、免费、实时的分布式计算系统。由于结构简单,它可用于任意编程语言。Apache Storm 应用场景包括实时数据分析、ETL、联机学习、持续计算等。同时,它的计算速度非常快,单节点上可实现每秒一百万的组处理量。

Apache Flink 程序由 Stream 和 Transformation 两个基本构建块组成,其中 Stream 是一个中间结果数据,Transformation 则是一个操作,它对一个或多个输入 Stream 进行计算处理,并输出相应结果。

流式计算框架

亚马逊云科技产品如何让客户获得更好的流式计算服务

亚马逊云科技产品如何让客户获得更好的流式计算服务_简单易用

简单易用

您只需创建一个 Amazon Kinesis Data Firehose 传输流并选择目标,就可以从几十万个数据源同时发送实时数据。 Amazon Kinesis Data Firehose 会为您处理所有的数据流管理工作,包括扩展、分区和监控,从而按照您指定的时间间隔将数据持续加载到目标。

服务和服务提供商集成

Amazon Kinesis Data Firehose 集成 Amazon S3, Amazon Redshift 和 Amazon OpenSearch Service。它可将数据传输到通用 HTTP 终端节点,并直接向 MongoDB 和 Splunk 等服务提供商传送数据。

亚马逊云科技产品如何让客户获得更好的流式计算服务_服务和服务提供商集成

服务和服务提供商集成

Amazon Kinesis Data Firehose 集成 Amazon S3, Amazon Redshift 和 Amazon OpenSearch Service。它可将数据传输到通用 HTTP 终端节点,并直接向 MongoDB 和 Splunk 等服务提供商传送数据。

亚马逊云科技产品如何让客户获得更好的流式计算服务_服务和服务提供商集成

服务和服务提供商集成

Amazon Kinesis Data Firehose 集成 Amazon S3, Amazon Redshift 和 Amazon OpenSearch Service。它可将数据传输到通用 HTTP 终端节点,并直接向 MongoDB 和 Splunk 等服务提供商传送数据。

亚马逊云科技产品如何让客户获得更好的流式计算服务_服务和服务提供商集成
亚马逊云科技产品如何让客户获得更好的流式计算服务_无服务器数据转换

无服务器数据转换

Amazon Kinesis Data Firehose 让您以充足时间准备流数据,然后将它加载到数据存储中。应用 Amazon Kinesis Data Firehose 时,您可将数据源中的原始流数据,轻松转换为目标数据存储需要的格式,无需构建数据处理管道。

捕获实时数据

Amazon Kinesis Data Firehose 可以通过近乎实时地方式来捕获和加载数据,在捕获到数据后 60 秒内将新数据加载到 Amazon S3、Amazon Redshift 和 Amazon OpenSearch Service 中。因此,您可以更快地访问新数据,在更短的时间内对业务和运营事件做出响应。

亚马逊云科技产品如何让客户获得更好的流式计算服务_捕获实时数据
亚马逊云科技产品如何让客户获得更好的流式计算服务_无需持续管理

无需持续管理

Amazon Kinesis Data Firehose 是一项完全托管式服务,它可以通过自动预置、管理和扩展加载流数据所需的计算、内存和网络资源。设置完成后,Amazon Kinesis Data Firehose 可随着数据的集成进程,持续自动加载数据。

亚马逊云科技产品如何让客户获得更好的流式计算服务

亚马逊云科技产品如何让客户获得更好的流式计算服务_简单易用

简单易用

您只需创建一个 Amazon Kinesis Data Firehose 传输流并选择目标,就可以从几十万个数据源同时发送实时数据。 Amazon Kinesis Data Firehose 会为您处理所有的数据流管理工作,包括扩展、分区和监控,从而按照您指定的时间间隔将数据持续加载到目标。

亚马逊云科技产品如何让客户获得更好的流式计算服务_服务和服务提供商集成

服务和服务提供商集成

Amazon Kinesis Data Firehose 集成 Amazon S3, Amazon Redshift 和 Amazon OpenSearch Service。它可将数据传输到通用 HTTP 终端节点,并直接向 MongoDB 和 Splunk 等服务提供商传送数据。

亚马逊云科技产品如何让客户获得更好的流式计算服务_无服务器数据转换

无服务器数据转换

Amazon Kinesis Data Firehose 让您以充足时间准备流数据,然后将它加载到数据存储中。应用 Amazon Kinesis Data Firehose 时,您可将数据源中的原始流数据,轻松转换为目标数据存储需要的格式,无需构建数据处理管道。

亚马逊云科技产品如何让客户获得更好的流式计算服务_捕获实时数据

捕获实时数据

Amazon Kinesis Data Firehose 可以通过近乎实时地方式来捕获和加载数据,在捕获到数据后 60 秒内将新数据加载到 Amazon S3、Amazon Redshift 和 Amazon OpenSearch Service 中。因此,您可以更快地访问新数据,在更短的时间内对业务和运营事件做出响应。

亚马逊云科技产品如何让客户获得更好的流式计算服务_无需持续管理

无需持续管理

Amazon Kinesis Data Firehose 是一项完全托管式服务,它可以通过自动预置、管理和扩展加载流数据所需的计算、内存和网络资源。设置完成后,Amazon Kinesis Data Firehose 可随着数据的集成进程,持续自动加载数据。

亚马逊云科技边缘计算相关产品

Amazon KDS

Amazon KDS

捕获、处理和存储数据流
 
了解 Amazon KDS 
Amazon Kinesis

Amazon Kinesis

轻松地实时收集、处理和分析视频和数据流
 
了解 Amazon Kinesis 
Amazon MSK

Amazon MSK

完全托管、可用性高且安全的 Apache Kafka 服务
了解 Amazon MSK 
Amazon Elastic MapReduce

Amazon Elastic MapReduce

托管的 Hadoop 框架
 
了解 Amazon EMR 

亚马逊云科技敏捷架构相关产品

Amazon KDS

Amazon KDS

捕获、处理和存储数据流
了解 Amazon KDS 
Amazon Kinesis

Amazon Kinesis

轻松地实时收集、处理和分析视频和数据流
 
了解 Amazon Kinesis 
Amazon MSK

Amazon MSK

完全托管、可用性高且安全的 Apache Kafka 服务
了解 Amazon MSK 
Amazon Elastic MapReduce

Amazon Elastic MapReduce

托管的 Hadoop 框架
 
了解 Amazon EMR 
准备好免费体验亚马逊云科技流式计算相关产品了吗?

新用户注册,可免费体验 12 个月

准备好免费体验亚马逊云科技流式计算相关产品了吗?

新用户注册,可免费体验 12 个月

欢迎加入亚马逊云科技培训中心

从 0 到 1 轻松上手云服务,获取更多官方开发资源及培训教程

欢迎加入亚马逊云科技入门资源中心

从 0 到 1 轻松上手云服务,获取更多
官方开发资源及培训教程