首页  云计算知识 
智能湖仓

智能湖仓是什么?

智能湖仓是在已集成数据湖与数据仓库的基础上,将这两者与其余全部专用服务统一链接,并形成连续数据流的现代化数据管理解决方案。该套架构由亚马逊云科技提出并实现,能够帮助企业从大规模数据中,获得更多的洞见与收益。

新用户享受中国区域 12个月免费套餐

智能湖仓是什么?
首页  云计算知识 
智能湖仓
智能湖仓是什么?

智能湖仓是什么?

智能湖仓是在已集成数据湖与数据仓库的基础上,将这两者与其余全部专用服务统一链接,并形成连续数据流的现代化数据管理解决方案。该套架构由亚马逊云科技提出并实现,能够帮助企业从大规模数据中,获得更多的洞见与收益。

新用户享受中国区域 12个月免费套餐

智能湖仓与数据库的区别

智能湖仓与数据库的区别

数据库属于智能湖仓架构的局部组成模块,在智能湖仓技术架构上,会将数据库构建于数据湖之上。聚焦数据库的本质,它是为了将大体量、长期性应用的数据进行持久、有序存储的数据管理服务,主要应用在事务处理场景。不同于数据库单一的存储功能,智能湖仓服务功能更全面,集成有多元数据的摄取分析、数据存储/处理一体化的数据湖、无缝的数据移动、一体化的数据治理机制等功能。凭借智能湖仓所构建的全方位数据服务架构,可为企业数据管理提供更高的效率与更低的成本。

智能湖仓平台

智能湖仓平台

智能湖仓平台,指的是为了满足企业现代化数据要求的智能化数据集成管理平台。亚马逊云科技构建该平台化服务,是因为在当下及未来的大数据趋势下,数据体量已上涨至 PB, EB 级,并散布于不同区域、系统。为突破数据过于碎片化、难以集成治理等挑战,亚马逊云科技起步于湖仓一体,进阶打造了以数据湖为中心、聚合数据库、机器学习、数据仓库、大数据处理模块的智能湖仓平台,来满足海量数据的统一治理与价值发掘,以更敏捷的架构方式,赋能企业快速提取数据价值,助益业务增长。

智能湖仓架构

智能湖仓架构

智能湖仓架构是围绕现代化数据管理需求而设计的技术体系,体现为一整套组件集成式的分层架构形式,可依照技术逻辑划分为数据源、数据摄取层、数据存储层、数据处理层、数据消费层5层逻辑堆栈。凭借不同层级模块化架构提供的特定服务,智能湖仓架构拥有更高的灵活度与敏捷性,可帮助企业使用相应的工具执行数据分析等任务。譬如,在更新数据源、设计崭新范式的数据分析模型等场景时,企业客户都能够自如地调整智能湖仓中的不同组件,满足业务所需。

智能湖仓架构

智能湖仓架构

智能湖仓架构_数据源

数据源

作为智能湖仓架构的数据入口端,数据源层可支持企业从 CRM 和 ERP 应用以及业务应用等不同来源,快捷且全面地摄取、分析数据。集成内部数据源之外,数据来源还可能是移动端、传感器、Web 应用程序、社交媒体等渠道。

智能湖仓架构_数据摄取层

数据摄取层

数据摄取层介于数据源与数据存储层之间,主要负责将多源数据摄取至存储层之中。面对结构化数据、非结构化数据以及半结构化数据,数据摄取层将通过多种协议实现数据互联,并将实时、批量集成的数据,传输至数据仓库或是数据湖组件中。

智能湖仓架构_数据存储层

数据存储层

智能湖仓架构中的数据存储层,分为存储和目录两部分。这一层级主要是为了高效、有序地数据存储和管理,可提供多重高性价比、强扩展、耐久应用的技术组件。为实现多样化数据的精细化管理,数据被划分为原始数据、可信数据、丰富数据与建模数据。

智能湖仓架构_数据处理层

数据处理层

数据处理层,位于存储层与消费层之间。该层组件主要是为了将待处理的数据数据转换为可消费状态,处理方式表现为验证、清洗、转换、规范化等,如数据仓库 SQL, ETL 等。处理数据之外,处理层也可以通过目录与存储接口,访问全部数据和元数据。

智能湖仓架构_数据消费层

数据消费层

数据消费层,作为 5 层架构的顶层,主要是满足更强扩展性的业务需求。当处理层与消费层发生数据交互时,数据消费层将利用专用分析组件来洞察数据价值。企业组织内不同部门全员,皆可通过 BI 仪表板、ML、交互式 SQL 查询等方式,获取实时见解。

智能湖仓架构_数据源

数据源

作为智能湖仓架构的数据入口端,数据源层可支持企业从 CRM 和 ERP 应用以及业务应用等不同来源,快捷且全面地摄取、分析数据。集成内部数据源之外,数据来源还可能是移动端、传感器、Web 应用程序、社交媒体等渠道。

智能湖仓架构_数据摄取层

数据摄取层

数据摄取层介于数据源与数据存储层之间,主要负责将多源数据摄取至存储层之中。面对结构化数据、非结构化数据以及半结构化数据,数据摄取层将通过多种协议实现数据互联,并将实时、批量集成的数据,传输至数据仓库或是数据湖组件中。

智能湖仓架构_数据存储层

数据存储层

智能湖仓架构中的数据存储层,分为存储和目录两部分。这一层级主要是为了高效、有序地数据存储和管理,可提供多重高性价比、强扩展、耐久应用的技术组件。为实现多样化数据的精细化管理,数据被划分为原始数据、可信数据、丰富数据与建模数据。

智能湖仓架构_数据处理层

数据处理层

数据处理层,位于存储层与消费层之间。该层组件主要是为了将待处理的数据数据转换为可消费状态,处理方式表现为验证、清洗、转换、规范化等,如数据仓库 SQL, ETL 等。处理数据之外,处理层也可以通过目录与存储接口,访问全部数据和元数据。

智能湖仓架构_数据消费层

数据消费层

数据消费层,作为 5 层架构的顶层,主要是满足更强扩展性的业务需求。当处理层与消费层发生数据交互时,数据消费层将利用专用分析组件来洞察数据价值。企业组织内不同部门全员,皆可通过 BI 仪表板、ML、交互式 SQL 查询等方式,获取实时见解。

亚马逊云科技智能湖仓相关产品

亚马逊云科技智能湖仓相关产品

Amazon S3

提供业界卓越可扩展性、数据可用性、安全性和性能的对象存储服务

Amazon Aurora

与 MySQL 和 PostgreSQL 兼容的关系数据库

Amazon Elastic MapReduce

轻松快速、经济高效地处理大量数据

Amazon Redshift

使用全托管、低成本、PB 级云数据仓库分析所有数据

准备好免费体验亚马逊云科技智能湖仓相关产品了吗?
准备好免费体验亚马逊云科技智能湖仓相关产品了吗?

新用户注册,可免费体验 12 个月

欢迎加入亚马逊云科技培训中心

从 0 到 1 轻松上手云服务,获取更多官方开发资源及培训教程

欢迎加入亚马逊云科技培训中心

从 0 到 1 轻松上手云服务,获取更多
官方开发资源及培训教程