热数据

热数据一般是指在半年时间以内能被频繁访问的热门数据。热数据可以根据热度是否符合预期，分为有预期的热数据和无预期的热数据两种。因为被访问频次比较高，用户更追求访问它的速度、效率，因此热数据对服务器等硬件存储设备的要求非常高，往往会保存在存储性能较强的热存储环境中，或将其部署在 CPU 驱动器附近，以便可以进行就近计算。同时，它还需要一定程度的存储能力和带宽支持，才能保证在用户访问时，画面显示清晰、不卡顿。

我们一般会采用将数据提前缓存到本地的方式，缓解读取热数据时对服务器的压力。在此之前，我们需要用热数据检测的方式将热数据找出来。首先，我们要给热数据的“热”度，设定一个标准或区间。然后就可以针对单机应用和分布式应用采用不同的方法进行热度探测了。单机应用可以为每一个数据设定一个滑动窗口计数器，用来统计单位时间内数据被访问的次数，再将检测到的热数据集中存储；分布式应用需要设立独立运行的热度计算单元，并将分布在不同服务器的热数据集合起来。另外，热数据探测可能会面对多变复杂的场景，可能要考虑其他的问题。

冷热数据分离的根本目的，在于控制成本。如果统一存储在高效的服务器中，要保证热数据的正常运行，花费非常大；而如果将数据存储在配置较低的服务器中，虽然成本相对降低，但无法保证用户对热数据的正常访问。所以我们一般会将冷数据与热数据分离开，并存储在不同的环境、配备不同的设施。对于热数据，由于需要保证高效的读写性能问题，会优先选择 MySQL、Elasticsearch 等数据库；而对于冷数据，因为不需要高频访问，所以可以采用成本较低的存储方式。

一般情况，我们判断数据属于冷数据还是热数据的标准是访问的频次和访问的时效性，因此我们依据这两种标准，设计出基于特定数据结构、统计学、机器学习三类算法来进行精准预测。