首页  云计算知识 
热数据

热数据

热数据是那些根据用户需求变化的、几乎每天都在被项目使用的在线类数据。它在某一时间段内被较为频繁地访问,在之后的一段时间内被访问的概率也会非常高。比如,存储在云上的半年内的数据,用户查询它们的频率会比较高,这样的数据比较适合存储在数据库中。

新用户享受中国区域12个月免费套餐

什么是热数据
首页  云计算知识 
热数据
什么是金融云计算

热数据

热数据是那些根据用户需求变化的、几乎每天都在被项目使用的在线类数据。它在某一时间段内被较为频繁地访问,在之后的一段时间内被访问的概率也会非常高。比如,存储在云上的半年内的数据,用户查询它们的频率会比较高,这样的数据比较适合存储在数据库中。

新用户享受中国区域12个月免费套餐

什么是热数据

什么是热数据

热数据一般是指在半年时间以内能被频繁访问的热门数据。热数据可以根据热度是否符合预期,分为有预期的热数据和无预期的热数据两种。因为被访问频次比较高,用户更追求访问它的速度、效率,因此热数据对服务器等硬件存储设备的要求非常高,往往会保存在存储性能较强的热存储环境中,或将其部署在 CPU 驱动器附近,以便可以进行就近计算。同时,它还需要一定程度的存储能力和带宽支持,才能保证在用户访问时,画面显示清晰、不卡顿。

热数据探测

热数据探测

我们一般会采用将数据提前缓存到本地的方式,缓解读取热数据时对服务器的压力。在此之前,我们需要用热数据检测的方式将热数据找出来。首先,我们要给热数据的“热”度,设定一个标准或区间。然后就可以针对单机应用和分布式应用采用不同的方法进行热度探测了。单机应用可以为每一个数据设定一个滑动窗口计数器,用来统计单位时间内数据被访问的次数,再将检测到的热数据集中存储;分布式应用需要设立独立运行的热度计算单元,并将分布在不同服务器的热数据集合起来。另外,热数据探测可能会面对多变复杂的场景,可能要考虑其他的问题。

冷热数据分离

冷热数据分离

冷热数据分离的根本目的,在于控制成本。如果统一存储在高效的服务器中,要保证热数据的正常运行,花费非常大;而如果将数据存储在配置较低的服务器中,虽然成本相对降低,但无法保证用户对热数据的正常访问。所以我们一般会将冷数据与热数据分离开,并存储在不同的环境、配备不同的设施。对于热数据,由于需要保证高效的读写性能问题,会优先选择 MySQL、Elasticsearch 等数据库;而对于冷数据,因为不需要高频访问,所以可以采用成本较低的存储方式。

判断冷热数据的算法

判断冷热数据的算法

一般情况,我们判断数据属于冷数据还是热数据的标准是访问的频次和访问的时效性,因此我们依据这两种标准,设计出基于特定数据结构、统计学、机器学习三类算法来进行精准预测。
判断冷热数据的算法_数据结构特点的判断算法

数据结构特点的判断算法

我们还会依据能否满足数据结构的双重特点来区分冷、热数据,这样的判断算法有传统版和改良版两种。传统版的算法因为只能满足结构特点其中一个的需求,所以很少应用,而经过改良的算法等已经可以兼顾两种结构特点。
判断冷热数据的算法_统计学的判断算法

统计学的判断算法

基于统计学的判断算法是利用统计模型来进行冷热数据的判断的。 它根据数据的访问特征提出一个算法模型,然后利用这个模型来进行冷热数据判别。例如,可以将温度的冷热与数据的冷热相结合,根据牛顿定律构建一个温度判断算法模型,再利用它预测热度。
判断冷热数据的算法_机器学习的判断算法

机器学习的判断算法

基于机器学习的判断算法,就是利用机器学习的能力,预测数据是否会转变成热数据。 比如,首先获取核心数据,然后运用模型对核心数据进行抽取并预测其热点程度,最后利用机器学习算法对上述过程进行学习,再应用到其他数据的热度预测中。
判断冷热数据的算法_数据结构特点的判断算法

数据结构特点的判断算法

我们还会依据能否满足数据结构的双重特点来区分冷、热数据,这样的判断算法有传统版和改良版两种。传统版的算法因为只能满足结构特点其中一个的需求,所以很少应用,而经过改良的算法等已经可以兼顾两种结构特点。
判断冷热数据的算法_统计学的判断算法

统计学的判断算法

基于统计学的判断算法是利用统计模型来进行冷热数据的判断的。 它根据数据的访问特征提出一个算法模型,然后利用这个模型来进行冷热数据判别。例如,可以将温度的冷热与数据的冷热相结合,根据牛顿定律构建一个温度判断算法模型,再利用它预测热度。
判断冷热数据的算法_机器学习的判断算法

机器学习的判断算法

基于机器学习的判断算法,就是利用机器学习的能力,预测数据是否会转变成热数据。 比如,首先获取核心数据,然后运用模型对核心数据进行抽取并预测其热点程度,最后利用机器学习算法对上述过程进行学习,再应用到其他数据的热度预测中。

亚马逊云科技热数据相关产品

亚马逊云科技热数据相关产品

Amazon EC2
Amazon 
EC2
无需预先承诺,就可以安全并且可以灵活调整大小的云服务器/云主机容量

Amazon OpenSearch Service
Amazon 
OpenSearch Service
搜索、可视化和分析高达 PB 字节的文本和非结构化数据

Amazon S3
Amazon 
S3
专为可从任何位置检索任意数量的数据而构建的对象存储

Amazon IoT SiteWise
Amazon 
SiteWise
轻松地从工业设备中大规模收集、组织和分析数据

准备好免费体验亚马逊云科技热数据相关产品了吗?

新用户注册,可免费体验 12 个月

准备好免费体验亚马逊云科技热数据相关产品了吗?

新用户注册,可免费体验 12 个月

欢迎加入亚马逊云科技培训中心

从 0 到 1 轻松上手云服务,获取更多官方开发资源及培训教程

欢迎加入亚马逊云科技培训中心

从 0 到 1 轻松上手云服务,获取更多
官方开发资源及培训教程