大数据时代背景
大数据时代背景
哈佛大学社会学教授加里·金也认为“大数据时代”是一场革命,海量的数据资源将促使各领域进入量化发展,无论学术界、商界还是政府,都不可避免。
大数据时代的特征
大数据时代的特征
数据体量大
大数据时代的数据体量巨大,起始计量单位是 P(1000个T)、E(100万个T)或Z(10亿个T),很多企业的数据总量已经达到百 PB 以上。如此大规模的数据亟需更智能的算法、更强大的数据处理平台和更新的数据处理技术。
处理速度快
大数据时代的数据挖掘区别于传统数据挖掘的显著特征在于,其处理速度快且时效性高。大数据时代提高了人们对数据的驾驭能力,它能够高效地处理海量的数据,并给予用户及时甚至实时的反馈信息。
种类多样
大数据的时代数据类型繁多,广泛的数据来源奠定了数据类型多样性的基础,其中,数据有网络日志、音频、视频、图片、地理位置信息等多种类型。多样化的数据信息对数据的处理能力要求也更高。
价值密度低
大数据时代的数据价值密度普遍较低,在现实世界,有价值的数据所占比例很小。大数据时代的优势在于,它能够通过从大量不相关的多种类数据中“提纯”的方式,挖掘出未来趋势和对模式预测分析有价值的数据。
数据体量大
大数据时代的数据体量巨大,起始计量单位是 P(1000个T)、E(100万个T)或Z(10亿个T),很多企业的数据总量已经达到百 PB 以上。如此大规模的数据亟需更智能的算法、更强大的数据处理平台和更新的数据处理技术。
处理速度快
大数据时代的数据挖掘区别于传统数据挖掘的显著特征在于,其处理速度快且时效性高。大数据时代提高了人们对数据的驾驭能力,它能够高效地处理海量的数据,并给予用户及时甚至实时的反馈信息。
种类多样
大数据的时代数据类型繁多,广泛的数据来源奠定了数据类型多样性的基础,其中,数据有网络日志、音频、视频、图片、地理位置信息等多种类型。多样化的数据信息对数据的处理能力要求也更高。
价值密度低
大数据时代的数据价值密度普遍较低,在现实世界,有价值的数据所占比例很小。大数据时代的优势在于,它能够通过从大量不相关的多种类数据中“提纯”的方式,挖掘出未来趋势和对模式预测分析有价值的数据。
大数据时代的思维变革
大数据时代的思维变革
大数据时代的思维变革有三个方面:
- 更关注全体数据而非随意样本。过去的时代,选用随机采样的方式能够以较少的数据获得更多的信息,而大数据时代更注重总体性、全面性和及时性,这种数据不是绝对意义的“大”,而是全数据。
- 更聚焦数据的混杂性而非精确性。大数据时代能够接受数据的不精准,并且它能以数量优势力压纷杂的错误,让我们接受数据的的复杂性并从中受益,而非以高昂的代价消除不确定性。
- 更注重相关性而非因果联系。用户只需要知道大数据想要表达的是什么,不需要关注为什么得出这个结论。相关关系只有可能性,无绝对性,但是强关联性意味着分析和预测未来的成功概率很高。