数据流的定义
数据流的定义
最初数据流用于描述通信传输中所使用信息的数字编码信号序列,今日的数据流使用范围更加广泛,通过互联网传输的任何内容都可以转化为数据流的形式。想要更加形象地理解什么是数据流,我们可以将其视作一条河流。一条河流必备的要素有:河流的发源地、河流的流向以及最终的目的地。数据流就是这样一条从某一(或多个)来源出发并最终到达客户端的数据序列。数据流可用于传递图像、视频、文本等多种类型的动态数据。
数据流的特点
数据流的特点
时效性
数据流中的每一个元素上都带有时间戳,超过一定时间后这些数据就将失去意义,比如当我们处理以日或者更短时间为单位的信息时,数据流的时效性就显得尤为重要;
连续性
数据流没有开始与结束的时间,它是源源不断到达的,并且随着底层数据的更新,他会不断向申请者返回最新的结果;
多元化
流数据通常来自数千个不同的来源,这些来源可能在地理上相距甚远。由于来源的差异,数据流可能是不同格式数据的混合体。
时效性
数据流中的每一个元素上都带有时间戳,超过一定时间后这些数据就将失去意义,比如当我们处理以日或者更短时间为单位的信息时,数据流的时效性就显得尤为重要;
连续性
数据流没有开始与结束的时间,它是源源不断到达的,并且随着底层数据的更新,他会不断向申请者返回最新的结果;
多元化
流数据通常来自数千个不同的来源,这些来源可能在地理上相距甚远。由于来源的差异,数据流可能是不同格式数据的混合体。
数据流与批量数据的区别
数据流与批量数据的区别
根据时效性可将大数据划分为批数据和流数据两大类,其中流数据以数据流为载体。批数据又称为历史数据,它是一种有界、持续且大量的数据集。在处理批数据之前,我们会将所有数据集中到一个存储系统中,然后对其进行读取、排序等一系列操作,最终输出处理结果。
而数据流中的流数据又被称为实时数据,它是无界、实时的。当系统捕捉到信息通道内的数据集后即立刻执行分析工作。因此,流数据的处理通常会按照一个特定的顺序(如事件发生的顺序)执行,以便用户能够获取准确的事件结果。
数据流有哪些常见用例?
数据流有哪些常见用例?
数据流因为其即时性在企业运营、物联网数据传输、应用程序日志收集等诸多方面都有应用。一些常见的用例包括:
- 通过传感器将数据发送至流处理应用程序,实现物联网设备的实时监控
- 收集 APP 用户与程序之间的互动数据流,并将这些数据提供给后台进行实时分析,以获取更精确的客户洞察
- 金融机构可实时跟踪股市数据流,计算价值风险,从而调整投资计划
- 支持基于敏捷开发的微服务应用程序构建