大数据流式计算

大数据流式计算,主要是为了满足场景下的实时应用需求,可广泛应用于互联网、物联网等多重领域。整个数据流的处理过程,往往在毫秒级的时间内完成。流式计算中,数据以组为单位,呈现连续数据流的形态,持续地集成至大数据流式计算平台。其计算功能的实现,是通过有向任务图的形式进行描述,在实时生成相应计算结果前,数据流会流经有向任务图,并且在流的数据在不同的时间点,以增量方式逐步获取相应数据。

流式计算框架

  • Apache Spark:Apache Spark 是专门用于大规模数据处理的计算引擎,拥有 Hadoop MapReduce 所具有的同等优势;但 Apache Spark 不再需要读写 HDFS,因此它能更出色地适用于数据挖掘分析与 ML 等需要迭代的 MapReduce 算法。同时,Spark 启用了内存分布数据集,提供交互式查询外,还能优化迭代工作负载。
  • Apache Storm:Apache Storm 是一个开源、免费、实时的分布式计算系统。由于结构简单,它可用于任意编程语言。Apache Storm 应用场景包括实时数据分析、ETL、联机学习、持续计算等。同时,它的计算速度非常快,单节点上可实现每秒一百万的组处理量。
  • Apache Flink:Apache Flink 程序由 Stream 和 Transformation 两个基本构建块组成,其中 Stream 是一个中间结果数据,Transformation 则是一个操作,它对一个或多个输入 Stream 进行计算处理,并输出相应结果。

亚马逊云科技产品如何让客户获得更好的流式计算服务

流式计算服务_简单易用

简单易用

您只需创建一个 Amazon Kinesis Data Firehose 传输流并选择目标,就可以从几十万个数据源同时发送实时数据。 Amazon Kinesis Data Firehose 会为您处理所有的数据流管理工作,包括扩展、分区和监控,从而按照您指定的时间间隔将数据持续加载到目标。

流式计算服务_服务和服务提供商集成

服务和服务提供商集成

Amazon Kinesis Data Firehose 集成 Amazon S3, Amazon Redshift 和 Amazon OpenSearch Service。它可将数据传输到通用 HTTP 终端节点,并直接向 MongoDB 和 Splunk 等服务提供商传送数据。

流式计算服务_无服务器数据转换

无服务器数据转换

Amazon Kinesis Data Firehose 让您以充足时间准备流数据,然后将它加载到数据存储中。应用 Amazon Kinesis Data Firehose 时,您可将数据源中的原始流数据,轻松转换为目标数据存储需要的格式,无需构建数据处理管道。

流式计算服务_捕获实时数据

捕获实时数据

Amazon Kinesis Data Firehose 可以通过近乎实时地方式来捕获和加载数据,在捕获到数据后 60 秒内将新数据加载到 Amazon S3、Amazon Redshift 和 Amazon OpenSearch Service 中。因此,您可以更快地访问新数据,在更短的时间内对业务和运营事件做出响应。

流式计算服务_无需持续管理

无需持续管理

Amazon Kinesis Data Firehose 是一项完全托管式服务,它可以通过自动预置、管理和扩展加载流数据所需的计算、内存和网络资源。设置完成后,Amazon Kinesis Data Firehose 可随着数据的集成进程,持续自动加载数据。

欢迎加入亚马逊云科技培训中心

欢迎加入亚马逊云科技培训中心

从 0 到 1 轻松上手云服务,获取更多官方开发资源及培训教程
从 0 到 1 轻松上手云服务,获取更多官方开发资源及培训教程
  • 快速上手训练营
  • 第一课:亚马逊云科技简介

    本课程帮助您初步了解云平台与本地环境的差异,以及亚马逊云科技平台的基础设施和部分核心服务,包括亚马逊云科技平台上的弹性高可用架构,架构设计准则和本地架构迁移上云的基本知识。

    亚马逊云科技技术讲师:李锦鸿

    第二课:存储与数据库服务

    您将在本课程中学习到亚马逊云科技上的三个存储服务分别是什么。我们也将在这个模块中为您介绍亚马逊云科技上的关系型数据库服务 Amazon Relational Database Service (RDS)。

    亚马逊云科技资深技术讲师:周一川

    第三课:安全、身份和访问管理

    在这个模块,您将学习到保护您在亚马逊云科技上构建的应用的安全相关知识,责任共担模型以及身份和访问管理服务, Identity and Access Management (IAM) 。同时,通过讲师演示,您将学会如何授权给 EC2 实例,允许其访问 S3 上的资源。

    亚马逊云科技技术讲师:马仲凯
  • 账单设置与查看
  • 视频:快速完成税务设置

    部署时间:5 分钟

    视频:账户账单信息

    部署时间:3 分钟

    视频:如何支付账单

    部署时间:3 分钟

  • 动手实操
  • 快速上手云上无服务器化的 MySQL 数据库

    本教程将引导您创建一个Aurora Serverless 数据库并且连接上它。

    部署时间:10 分钟

    启动一台基于 Graviton2 的 EC2 实例


    本教程将为您讲解如何在云控制台上启动一台基于 Graviton2 的 EC2 实例。

    部署时间:5 分钟

    使用 Amazon Systems Manager 进行云资源统一跟踪和管理

    在这个快速上手教程中,您将学会如何使用 Amazon Systems Manager 在 Amazon EC2 实例上远程运行命令。

    部署时间:10 分钟

准备好体验亚马逊云科技提供的云服务了吗?

新用户享受中国区域 12 个月免费套餐

快速注册中国区账号

快速注册中国区账号

一站式企业账户注册,完成即可购买云产品  常见注册问题 »

一站式企业账户注册,完成即可购买云产品  常见注册问题 »

  • 1 进入注册页面
  • 1. 打开中国区

    输入邮箱 - 邮箱验证

    1. 打开中国区 账号注册页面

    输入邮箱 - 邮箱验证
    01
    填写您
    注册账号的邮箱
    点击“继续”
    01
    填写您
    注册账号的邮箱
    点击“继续”
    02
    查看您的
    注册账号邮箱
    02
    查看您的
    注册账号邮箱
    03
    输入
    邮箱中收到的验证码
    点击“继续”
    03
    输入
    邮箱中收到的验证码
    点击“继续”
    注:该链接中的内容显示语言 是与您的网页浏览器设置相一致的,您可以根据需要自行调整语言栏。 *图片点击可放大
  • 2 设置用户名及密码
  • 2. 填写用户名密码

    设置用户名 - 设置密码 - 确认密码

    2. 填写用户名密码

    设置用户名 - 设置密码 - 确认密码
    01
    请设置您的
    账号用户名
    *例如: webchina
    01
    请设置您的
    账号用户名
    *例如: webchina
    02
    为您的帐号
    设置密码
    02
    为您的帐号
    设置密码
    03
    重新
    输入密码
    03
    重新
    输入密码
    *图片可点击放大
  • 3 填写企业信息
  • 3. 填写账号联系人以及公司信息

    3. 填写账号联系人以及公司信息

    填写姓名 - 填写联系电话 - 填写公司名称 - 填写办公地址 - 选择是否需要发票 - 点击查看客户协议
    填写姓名 - 填写联系电话 - 填写公司名称 - 填写办公地址 - 选择是否需要发票 - 点击查看客户协议
    01
    填写公司联系人
    姓名全称
    01
    填写公司联系人
    姓名全称
    02
    填写公司联系人的
    联系电话
    02
    填写公司联系人的
    联系电话
    03
    填写
    公司名称
    *重要! ! !公司名称请务必与您所提供的营业执照公司名称保持一致
    03
    填写
    公司名称
    *重要! ! !公司名称请务必与您所提供的营业执照公司名称保持一致
    04
    填写
    公司办公地址
    省份/自治区/直辖市 - 城市 - 区 - 街道门牌号以及楼层信息 - 邮政编码
    04
    填写
    公司办公地址
    省份/自治区/直辖市 - 城市 - 区 - 街道门牌号以及楼层信息 - 邮政编码
    05
    请选择
    是否需要发票
    05
    请选择
    是否需要发票
    06
    您可以点击查看
    客户协议
    您可以点击查看客户协议勾选方框表示您已阅读,并同意客户协议的条款
    06
    您可以点击查看
    客户协议
    您可以点击查看客户协议勾选方框表示您已阅读,并同意客户协议的条款
    *图片可点击放大
  • 4 企业信息验证
  • 4. 企业信息验证

    上传企业执照 - 填写负责人姓名 - 填写联系方式 -上传身份证件

    4. 企业信息验证

    上传企业执照 - 填写负责人姓名 - 填写联系方式 -上传身份证件
    01
    在此上传
    企业注册执照
    01
    在此上传
    企业注册执照
    02
    请填写网络安全负责人的
    姓名

    请注意: 该字段务必与您下方提供的身份证号匹配或与证件上的姓名保持一致

    02
    请填写网络安全负责人的
    姓名

    请注意: 该字段务必与您下方提供的身份证号匹配或与证件上的姓名保持一致

    03
    请填写网络安全负责人的
    联系方式
    有效的电子邮件地址 - 有效的中国内地 手机号码 - 座机号码(如无座机,请填写正确有效的手机号码)
    03
    请填写网络安全负责人的
    联系方式
    有效的电子邮件地址 - 有效的中国内地 手机号码 - 座机号码(如无座机,请填写正确有效的手机号码)
    04
    在此上传网络安全负责人的
    身份证件

    请注意:当您选择证件类型为“身份证”时,您需要填写正确的身份证号码,选择其他证件类型时,您需要上传证件扫描稿

    04
    在此上传网络安全负责人的
    身份证件

    请注意:当您选择证件类型为“身份证”时,您需要填写正确的身份证号码,选择其他证件类型时,您需要上传证件扫描稿

    *图片可点击放大
  • 5 完成手机验证
  • 5. 完成手机验证

    输入手机号 - 输入验证码

    5. 完成手机验证

    输入手机号 - 输入验证码
    01
    在此填写
    手机号
    01
    在此填写
    手机号
    02
    请输入您收到的
    4 位
    验证码
    02
    请输入您收到的 4 位
    验证码
    03
    请点击
    继续
    03
    请点击
    继续
    *图片可点击放大
  • 6 选择支持计划
  • 6. 选择支持计划

    选择一个亚马逊云科技支持计划

    6. 选择支持计划

    选择一个亚马逊云科技支持计划
    请根据需求
    选择一个支持计划
    请根据需求
    选择一个支持计划
    *图片点击可放大
关闭
1010 0766
由光环新网运营的
北京区域
1010 0966
由西云数据运营的
宁夏区域
关闭
由光环新网运营的
北京区域
由西云数据运营的
宁夏区域