此亚马逊云科技解决方案有何用途?

很多 Amazon Web Services (亚马逊云科技) 客户需要能够提供比传统数据管理系统更高的敏捷性和灵活性的数据存储和分析解决方案。数据湖是存储和分析数据的一种新方法,越来越受欢迎,因为它可使公司管理来自各种不同来源的多种数据类型,并将结构化和非结构化的此数据存储在集中存储库中。

亚马逊云科技云提供帮助客户实施安全、灵活且经济高效的数据湖所需的许多构建块。这其中包括帮助摄取、存储、查找、处理和分析结构化和非结构化数据的 Amazon managed Services。为支持我们的客户构建自己的数据湖,亚马逊云科技提供了数据湖解决方案,它是一种自动化参考实施方法,可在亚马逊云科技云上部署高度可用且经济高效的数据湖架构,同时提供了一个用于数据集搜索和请求的用户友好型控制台。

亚马逊云科技解决方案概述

亚马逊云科技提供了一个数据湖解决方案,该解决方案可以自动配置所需的核心亚马逊云科技服务,以便轻松标记、搜索、共享、转换、分析和管理公司内部或其他外部用户的特定数据子集。该解决方案自带一个控制台界面,用户可以通过访问该控制台搜索和浏览满足其业务需求的可用数据集。

下图是解决方案架构,您可以用解决方案中随附的 Amazon CloudFormation 模板和部署指南在亚马逊云科技控制台快速完成部署并使用。

Amazon CloudFormation 模板可配置解决方案的核心亚马逊云科技服务,其中包括一系列 Amazon Lambda 微服务(函数)、用于可靠的搜索功能的 Amazon Elasticsearch、用于数据转型的 Amazon Glue 和用于分析的 Amazon Athena

中国区由于Cognito User Pools暂未发布,所以该解决方案需要依赖客户使用开源的Keycloak来提供用户认证的服务。客户可以使用Keycloak认证域或者使用 Keycloak on Amazon Web Services 的解决方案自己搭建Keycloak的认证服务。

该解决方案利用 Amazon S3 的安全性、持久性和可扩展性来管理组织数据集的持久性目录,并利用 Amazon DynamoDB 来管理相应的元数据。编制好数据集的目录后,其属性和描述性标签将可供搜索。用户可以搜索并浏览解决方案控制台中的可用数据集,并且可以创建他们需要访问的数据列表。
该解决方案将跟踪用户选择的数据集,并在用户签出时生成一个其中包含至所需内容的安全访问链接的清单文件。

数据湖解决方案

版本 2.3
上次更新日期:2020 年 10月
作者:亚马逊云科技

预计部署时间:30 分钟

源代码 

功能特性

数据湖参考实施

直接利用此数据湖解决方案,或将其用作参考实施,以便可以对其进行自定义以满足独特的数据管理、搜索和处理需求。

托管存储层

在托通过使用指定的Keycloak的认证登录来进行用户的验证。管的 Amazon S3 存储桶中保护并管理数据的存储和检索,并使用特定于解决方案的 Amazon Key Management Service (KMS) 密钥对静态数据进行加密。

数据访问灵活性

利用预先签名的 Amazon S3 URL 或使用相应的 Amazon Identity and Access Management (IAM) 角色,以便在 Amazon S3 中以受控方式直接访问数据集。

用户界面

该解决方案会自动创建基于 Web 的控制台 UI,它托管在 Amazon S3 上并由 Amazon CloudFront 提供。访问控制台以轻松管理数据湖策略,添加或删除数据包,搜索数据包,并创建数据集清单以进行额外分析。

联合登录

通过使用指定的Keycloak的认证登录来进行用户的验证。
探索所有亚马逊云科技解决方案

浏览我们针对常见架构问题使用亚马逊云科技构建的解决方案组合。

了解更多 
查找合作伙伴

查找亚马逊云科技认证的咨询和技术合作伙伴,以帮助您入门。

了解更多 
开始在控制台中构建

注册并开始探索我们的服务。

开始使用 

开始使用亚马逊云科技免费构建

开始使用亚马逊云科技免费构建

关闭
热线

热线

1010 0766
由光环新网运营的
北京区域
1010 0966
由西云数据运营的
宁夏区域