大数据时代背景
最初提出“大数据时代”概念的是全球知名咨询公司麦肯锡,麦肯锡认为数据遍及各类领域,是重要的生产因素,也必将引起新一波生产率增长的浪潮。直到2012年,“大数据”一词变得广为人知,被用来定义爆炸性增长的海量数据,并逐渐受到国内外的重视,荣登各大专栏(如《纽约时报》《华尔街日报》)、互联网讲座和投资报告,人们也逐步意识到大数据对企业发展的巨大价值。
哈佛大学社会学教授加里·金也认为“大数据时代”是一场革命,海量的数据资源将促使各领域进入量化发展,无论学术界、商界还是政府,都不可避免。
大数据时代的特征
现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。大数据时代具有数据体量大、处理速度快、种类多样、价值密度低等特征。

数据体量大
大数据时代的数据体量巨大,起始计量单位是 P(1000个T)、E(100万个T)或Z(10亿个T),很多企业的数据总量已经达到百 PB 以上。如此大规模的数据亟需更智能的算法、更强大的数据处理平台和更新的数据处理技术。

处理速度快
大数据时代的数据挖掘区别于传统数据挖掘的显著特征在于,其处理速度快且时效性高。大数据时代提高了人们对数据的驾驭能力,它能够高效地处理海量的数据,并给予用户及时甚至实时的反馈信息。

种类多样
大数据的时代数据类型繁多,广泛的数据来源奠定了数据类型多样性的基础,其中,数据有网络日志、音频、视频、图片、地理位置信息等多种类型。多样化的数据信息对数据的处理能力要求也更高。

价值密度低
大数据时代的数据价值密度普遍较低,在现实世界,有价值的数据所占比例很小。大数据时代的优势在于,它能够通过从大量不相关的多种类数据中“提纯”的方式,挖掘出未来趋势和对模式预测分析有价值的数据。
大数据时代的思维变革
大数据时代的思维变革有三个方面:
- 更关注全体数据而非随意样本。过去的时代,选用随机采样的方式能够以较少的数据获得更多的信息,而大数据时代更注重总体性、全面性和及时性,这种数据不是绝对意义的“大”,而是全数据。
- 更聚焦数据的混杂性而非精确性。大数据时代能够接受数据的不精准,并且它能以数量优势力压纷杂的错误,让我们接受数据的的复杂性并从中受益,而非以高昂的代价消除不确定性。
- 更注重相关性而非因果联系。用户只需要知道大数据想要表达的是什么,不需要关注为什么得出这个结论。相关关系只有可能性,无绝对性,但是强关联性意味着分析和预测未来的成功概率很高。
大数据时代的机遇与挑战
在大数据时代,数据分析和挖掘是重中之重。但是,数据分析和挖掘其价值是需要海量的数据支持的,可以理解为,数据存储是数据分析和挖掘的基础,也是大数据时代的基础。传统的数据存储方式受限于空间太小,而无法满足大数据时代的需求,因此,如何存储海量的数据是大数据时代面临的挑战之一。除此之外,企业在追求存储空间的同时,还聚焦于计算的速度和效率。传统数据计算能力较弱,效率也比较低下,因此,更高效、便捷的计算能力也是大数据时代面临的一个挑战。
欢迎加入亚马逊云科技培训中心
欢迎加入亚马逊云科技培训中心
-
快速上手训练营
-
账单设置与查看
-
动手实操
-
快速上手训练营
-
第一课:亚马逊云科技简介
本课程帮助您初步了解云平台与本地环境的差异,以及亚马逊云科技平台的基础设施和部分核心服务,包括亚马逊云科技平台上的弹性高可用架构,架构设计准则和本地架构迁移上云的基本知识。
亚马逊云科技技术讲师:李锦鸿第二课:存储与数据库服务
您将在本课程中学习到亚马逊云科技上的三个存储服务分别是什么。我们也将在这个模块中为您介绍亚马逊云科技上的关系型数据库服务 Amazon Relational Database Service (RDS)。
亚马逊云科技资深技术讲师:周一川第三课:安全、身份和访问管理
在这个模块,您将学习到保护您在亚马逊云科技上构建的应用的安全相关知识,责任共担模型以及身份和访问管理服务, Identity and Access Management (IAM) 。同时,通过讲师演示,您将学会如何授权给 EC2 实例,允许其访问 S3 上的资源。
亚马逊云科技技术讲师:马仲凯 -
账单设置与查看
-
-
动手实操
-
联系我们
联系我们
.4ab599395215697c34eea7e92d1bb891e55e4cfb.png)