数据流的定义
最初数据流用于描述通信传输中所使用信息的数字编码信号序列,今日的数据流使用范围更加广泛,通过互联网传输的任何内容都可以转化为数据流的形式。想要更加形象地理解什么是数据流,我们可以将其视作一条河流。一条河流必备的要素有:河流的发源地、河流的流向以及最终的目的地。数据流就是这样一条从某一(或多个)来源出发并最终到达客户端的数据序列。数据流可用于传递图像、视频、文本等多种类型的动态数据。
数据流的特点
![数据流的特点_时效性 数据流的特点_时效性](https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/xubxu/knowledge/what-is-data-stream/1.29162213f847476027cca89f7c92ca4f8a80a799.png)
时效性
数据流中的每一个元素上都带有时间戳,超过一定时间后这些数据就将失去意义,比如当我们处理以日或者更短时间为单位的信息时,数据流的时效性就显得尤为重要;
![数据流的特点_连续性 数据流的特点_连续性](https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/xubxu/knowledge/what-is-data-stream/2.ba50594a14cd50aeeb6cea7d159e8323e3667944.png)
连续性
数据流没有开始与结束的时间,它是源源不断到达的,并且随着底层数据的更新,他会不断向申请者返回最新的结果;
![数据流的特点_多元化 数据流的特点_多元化](https://s3.cn-north-1.amazonaws.com.cn/aws-dam-prod/xubxu/knowledge/what-is-data-stream/3.ad555a37f2d8ccb8ba5d1f01ee1b352653fea9ae.png)
多元化
流数据通常来自数千个不同的来源,这些来源可能在地理上相距甚远。由于来源的差异,数据流可能是不同格式数据的混合体。
数据流与批量数据的区别
根据时效性可将大数据划分为批数据和流数据两大类,其中流数据以数据流为载体。批数据又称为历史数据,它是一种有界、持续且大量的数据集。在处理批数据之前,我们会将所有数据集中到一个存储系统中,然后对其进行读取、排序等一系列操作,最终输出处理结果。
而数据流中的流数据又被称为实时数据,它是无界、实时的。当系统捕捉到信息通道内的数据集后即立刻执行分析工作。因此,流数据的处理通常会按照一个特定的顺序(如事件发生的顺序)执行,以便用户能够获取准确的事件结果。
数据流有哪些常见用例?
数据流因为其即时性在企业运营、物联网数据传输、应用程序日志收集等诸多方面都有应用。一些常见的用例包括:
- 通过传感器将数据发送至流处理应用程序,实现物联网设备的实时监控
- 收集 APP 用户与程序之间的互动数据流,并将这些数据提供给后台进行实时分析,以获取更精确的客户洞察
- 金融机构可实时跟踪股市数据流,计算价值风险,从而调整投资计划
- 支持基于敏捷开发的微服务应用程序构建
欢迎加入亚马逊云科技培训中心
欢迎加入亚马逊云科技培训中心
-
快速上手训练营
-
账单设置与查看
-
动手实操
-
快速上手训练营
-
第一课:亚马逊云科技简介
本课程帮助您初步了解云平台与本地环境的差异,以及亚马逊云科技平台的基础设施和部分核心服务,包括亚马逊云科技平台上的弹性高可用架构,架构设计准则和本地架构迁移上云的基本知识。
亚马逊云科技技术讲师:李锦鸿第二课:存储与数据库服务
您将在本课程中学习到亚马逊云科技上的三个存储服务分别是什么。我们也将在这个模块中为您介绍亚马逊云科技上的关系型数据库服务 Amazon Relational Database Service (RDS)。
亚马逊云科技资深技术讲师:周一川第三课:安全、身份和访问管理
在这个模块,您将学习到保护您在亚马逊云科技上构建的应用的安全相关知识,责任共担模型以及身份和访问管理服务, Identity and Access Management (IAM) 。同时,通过讲师演示,您将学会如何授权给 EC2 实例,允许其访问 S3 上的资源。
亚马逊云科技技术讲师:马仲凯 -
账单设置与查看
-
-
动手实操
-