实时计算平台
实时计算平台是为构建一体化、实时处理大数据的处理平台。鉴于传统离线计算数据反馈不及时、多业务端工作存在一定的信息交互壁垒,实时计算平台功能为现代企业组织提供集成式、统一化的实时计算软件环境,由此在数字化转型进程中,助力企业降本提效、精益运营。
实时计算引擎
实时计算引擎是为满足即时性、低延迟计算业务场景的数据流处理框架。相伴实时计算引擎技术及生态日渐完善、持续迭代,历经 MapReduce, Tez 和 Oozie, Spark, Flink 四代引擎技术变革升级。当下,以 Apache 基金会 Spark 和 Flink 两款开源实时计算引擎,更受开发者欢迎。Spark 在微批处理、连续流处理上具有显著表现,但不能满足低延时需求;而 Flink 拥有卓越的图计算和机器学习功能,本质上是真正的实时计算引擎。
实时计算架构
Flume
- Flume 架构为分布式、高可靠、高容错的信息聚合技术框架,可用于集成、传输海量日志。该架构不仅能够简易、灵活地处理实时数据,而且还具有可靠性机制和故障转移、恢复机制。运行机制上,Flume 在处理数据后,会将数据写入到不同的接受方。
Kafka
- Kafka 作为基于发布订阅的分布式消息系统,是由 Apache 软件基金会开发的开源流处理平台,能够出色地解决峰值流量压力、异步消息以及解耦等问题,在处理实时数据时,构建一体化、高吞吐、低延迟的分发平台。
Redis
- 作为业界流行的高性能数据库,Redis 是利用 ANSI C 编写的键值对存储数据库,保持开源的同时,该架构支持数据的持久化保存。实现持久化存储时,一种方式以快照的形式,实现半持久耐用模式;另一种方式,是使用 AOF 格式,提升安全性。
Echarts
- 作为一款可直观交互、实现个性化定制的数据可视化图表库,Echarts 架构如今被业界广泛应用,可兼容绝大多数浏览器类别,在 PC 和移动设备终端表现卓越、顺畅运行。
Storm
- Storm 是实时处理数据开源分布式处理框架,也被称为“实时版 Hadoop”。其显著效能表现在,Storm 通过高效、易用的原语,构建抽象框架 Trident,相当于 Hadoop 的 Pig 框架,驱动开发效能、缩短开发周期。当下,Storm 已是流计算技术中的主流框架。
亚马逊云科技实时计算的优势
![亚马逊云科技实时计算的优势_实时处理 亚马逊云科技实时计算的优势_实时处理](https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/xuefezha-caiwei/ssjs-1.5c1d8763530d7e34f646d66aabf2bd3e4fa35b0c.069b1f1a4990b3f278a233539c1a3af9271c9b8f.png)
实时处理
Amazon Kinesis Data Streams 可让您更加便于实时处理数据。此外,您还可以在数据生成时持续收集数据,并迅速对关键的业务和运营信息作出反应。
![亚马逊云科技实时计算的优势_简单易用 亚马逊云科技实时计算的优势_简单易用](https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/xuefezha-caiwei/ssjs-2.846c938ad9207dbcbae9172c0771365f1dd6eb66.ae485299bcf285a44375030cc8bac8bb682a77cf.png)
简单易用
只需数秒,您即可创建一个 Amazon Kinesis 流,并借助 Amazon Kinesis Producer Library (KPL) 和 Kinesis Client Library (KCL),轻松地向 Amazon Kinesis 流添加数据,生成用于处理数据的 Amazon Kinesis 应用程序。
![亚马逊云科技实时计算的优势_并行处理 亚马逊云科技实时计算的优势_并行处理](https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/xuefezha-caiwei/ssjs-3.168b1ee7faa6df43e64329d52ac1522f91e52424.4f6efcc4394f4c0a5be376916db1349cc44f5b93.png)
并行处理
通过使用 Amazon Kinesis Data Streams,可以让多个 Amazon Kinesis 应用程序同时处理同一个流。例如,您可以让一个应用程序运行实时分析,并让另一个应用程序从同一个 Amazon Kinesis 流向 Amazon S3 发送数据。
![亚马逊云科技实时计算的优势_弹性动态 亚马逊云科技实时计算的优势_弹性动态](https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/xuefezha-caiwei/ssjs-4.34671c5a88260860d8cdf0ba93b17c288d6ea26f.05ed5a86d07a32090f3a6365cbf8bf71a0b354cd.png)
弹性动态
Amazon Kinesis Data Streams 可以将流的吞吐量从每小时数 MB 扩展为每小时数 TB,并将每秒支持的 PUT 记录数从数千个扩展为数百万个。您可以根据输入数据量随时动态调整流的吞吐量。
欢迎加入亚马逊云科技培训中心
欢迎加入亚马逊云科技培训中心
-
快速上手训练营
-
账单设置与查看
-
动手实操
-
快速上手训练营
-
第一课:亚马逊云科技简介
本课程帮助您初步了解云平台与本地环境的差异,以及亚马逊云科技平台的基础设施和部分核心服务,包括亚马逊云科技平台上的弹性高可用架构,架构设计准则和本地架构迁移上云的基本知识。
亚马逊云科技技术讲师:李锦鸿第二课:存储与数据库服务
您将在本课程中学习到亚马逊云科技上的三个存储服务分别是什么。我们也将在这个模块中为您介绍亚马逊云科技上的关系型数据库服务 Amazon Relational Database Service (RDS)。
亚马逊云科技资深技术讲师:周一川第三课:安全、身份和访问管理
在这个模块,您将学习到保护您在亚马逊云科技上构建的应用的安全相关知识,责任共担模型以及身份和访问管理服务, Identity and Access Management (IAM) 。同时,通过讲师演示,您将学会如何授权给 EC2 实例,允许其访问 S3 上的资源。
亚马逊云科技技术讲师:马仲凯 -
账单设置与查看
-
-
动手实操
-