什么是元数据治理
元数据治理的工作原理是什么
元数据治理是一个端到端的过程和治理框架,用于创建、控制、增强、标注、定义和管理元数据模式、模型或其他结构化聚合系统,无论是独立的还是在存储库内部。以下是元数据治理的一些关键工作原理:

元数据管理范围界定
元数据治理需要管理特定知识领域的元数据边界,因为通用本体对于某个特定领域的专家来说可能并不实用,他们使用的是领域特定的语言。为了保持对元数据标准的遵从性,通常会任命专门的元数据管理员来策划元数据模式的业务和技术层面,并参与整体战略和实施。

元数据标准和策略制定
除了保留和处置之外,元数据治理还需要考虑隐私、访问控制和合规性等问题,尤其是在电子发现和信息治理的背景下。正确管理与电子存储信息相关的元数据可以为企业带来巨大价值。因此,需要制定统一的元数据标准和策略,以指导各个数据产品所有者定义和衡量数据质量。

元数据模式管理
元数据治理涉及创建、控制、增强、标注、定义和管理元数据模式或其他结构化聚合系统。这可能包括管理对象、属性和值的三元组表,以引用URL、图像和视频等内容。元数据管理员需要策划和维护元数据模式,确保其符合业务需求和技术标准。
元数据治理有哪些优势
元数据治理为组织带来了多方面的优势。以下是一些主要优点:

集中管理元数据
通过将元数据集中存储在中央位置(如数据库),元数据治理可以避免元数据与所描述的数据分散存储时产生的冗余。集中存储还有利于元数据的规范化和组织,从而提高一致性。

保持元数据与数据的关联
元数据治理有助于在数据传输(如流媒体传输)时将元数据与内容相关联,有助于保持元数据与所描述数据的一致性。

丰富数据血缘
元数据治理使得可以将业务相关信息(如数据质量、参考数据和数据管理)与数据血缘相关联,从而丰富数据血缘。

提高数据质量
元数据治理要求员工在引入新数据时填写重要的元数据字段,提高了对数据来源、转换和编辑历史的信心,增强了数据质量。

促进一致性
元数据治理有助于在整个组织内部实现命名、定义和指标的一致性,提高了数据的一致性并减少了冗余。
元数据治理的组成部分有哪些
元数据治理是一个全面的框架,旨在确保元数据的一致性、准确性和可用性。它包括以下几个关键组成部分:

元数据模式和模型管理
涉及创建、控制、增强、标注、定义和管理元数据模式、模型或其他结构化聚合系统的端到端流程和治理框架。确保元数据模式和模型符合组织的标准和最佳实践至关重要。

元数据标准和最佳实践
通常会指定专门的元数据管理员维护元数据标准的遵从性,确保元数据符合数据所有者定义的标准以及一般的最佳实践,有助于确保元数据在整个组织内的一致性。

元数据范围和边界
每个特定知识领域的元数据边界必须得到管理,因为通用本体对于专家而言并不实用,他们使用的语言是特定于知识领域。明确定义元数据的范围和边界有助于确保其相关性和有效性。

丰富元数据
元数据管理可能涉及捕获有关数据转换的技术元数据,以及通过业务上下文(如数据质量、参考数据、数据模型和数据管理员)丰富元数据。这有助于提高元数据的价值和可用性。

元数据规范化和标准化
为了将不同系统表示为一个通用视图,可能需要进行"元数据规范化"或标准化。这确保了元数据在整个组织内的一致性和互操作性。
如何实施元数据治理
元数据治理是一个建立框架和流程的过程,用于创建、控制、增强、归属、定义和管理元数据模式或模型。这包括任命专门的元数据管理员维护数据所有者和最佳实践所定义的元数据标准。

分析现有数据并建立元数据目录
实施元数据治理的第一步是分析现有数据,对其进行编目并识别相关的业务领域。这涉及定义字段类型格式、元数据字段和数据产品地址约定的全局标准。通过分析现有数据,可以为元数据模式奠定基础。

通过中央IT团队实施全局数据治理政策
中央IT团队负责制定和实施全局数据治理政策,包括识别数据网格的报告、身份验证和合规性标准,以及为数据产品所有者定义细粒度的访问控制。虽然数据生产者定义和衡量数据质量,但中央治理政策可以指导他们的决策。

构建自助式数据平台
构建一个通用的自助式数据平台,允许任何人在其上构建新的领域数据产品。该平台应隐藏底层的技术复杂性,并提供数据加密、模式管理、访问控制、发现、日志记录和缓存等功能。还可以构建自动化缩短创建新数据产品的前置时间。

选择合适的技术支持元数据治理实施
选择合适的技术来支持元数据治理的实施非常重要,例如Amazon Glue、Amazon Athena、Amazon EMR和Amazon Redshift Spectrum等亚马逊云科技产品。这些产品可以帮助数据发现、准备、集成和访问控制。
元数据治理的最佳实践是什么
元数据治理是确保元数据质量和一致性的关键实践。以下是元数据治理的一些最佳实践:

建立元数据标准
企业应该分析现有数据,识别相关的业务领域,并为字段类型、元数据字段和数据产品地址约定建立全局标准。这有助于确保元数据在整个组织中保持一致性和可理解性。

中央治理与分散所有权
中央IT团队应该为数据网格定义报告、身份验证和合规性标准,以及数据产品所有者可以应用的细粒度访问控制。同时,数据生产者负责定义和衡量数据质量,而中央治理政策则指导他们的决策。

元数据管理员
建议任命专门的元数据管理员维护数据所有者定义的元数据标准以及一般最佳实践的遵从性。该人员负责管理元数据模式的业务和技术层面,通常还参与策略和实施。

持续监控和维护
定期监控元数据以确保模式保持相关性非常必要。元数据管理还涉及管理特定知识领域的元数据边界,因为通用本体对于语言特定于知识领域的专家可能没有用处。

元数据存储和管理
元数据通常伴随着电子存储的数据,如果存储和管理正确,对企业来说是非常有价值。因此,有效的元数据存储和管理对于元数据治理至关重要。
元数据治理有哪些应用场景
元数据治理在多个关键应用场景中发挥着重要作用。

数字媒体和内容管理
元数据治理被广泛应用于管理数字媒体和其他形式的内容元数据,如目录、词典和分类法等。它涉及创建、控制、增强、标注、定义和管理元数据模式或结构化聚合系统的端到端流程和治理框架。这通常用于实现内容管理,其中URL、图像、视频等可能会从对象、属性和值的三元组表中引用。

专门知识领域
在特定的知识领域,元数据治理尤为重要,因为需要仔细管理元数据的边界,一般本体可能无法满足特定领域专家的需求。在开发知识管理解决方案的过程中,通常会指定专门的元数据管理员维护元数据标准和最佳实践。

信息治理
元数据治理在信息治理中也扮演着关键角色,有助于数据质量管理、主数据管理,并通过业务价值丰富数据血统。元数据对于电子发现和合规性也很重要,因为它可以提供有关电子存储数据的宝贵信息。
元数据治理的挑战有哪些
元数据治理面临着诸多挑战,需要通过人员、流程和技术来应对。

异构环境的复杂性
现代数据环境的分布式和异构性给元数据治理带来了巨大的复杂性。服务导向架构(SOA)环境可能会产生数百万条消息,来自不同组织或竞争对手的多个服务协同工作时,就会产生重大的信任问题,需要有效的治理来解决。此外,缺乏统一的SOA服务测试框架,也给元数据管理带来了挑战。

元数据模式的定义和管理
元数据治理需要定义和管理元数据模式、模型或其他结构化聚合系统,这在特定知识领域内(其中元数据语言和边界不同)尤其具有挑战性。指定专门的元数据管理员来维护元数据标准的遵从性并确保开发相关模式,可以帮助解决这些挑战,但这一角色需要对整个元数据管理过程有广泛的理解。

与业务目标的有效对接
元数据治理计划应与支持业务计划保持一致,而不是直接提出元数据治理的价值。每个主要业务计划都需要数据,元数据治理可确保数据处于支持这些计划的正确状态。另一个挑战是避免将元数据治理应用得过于狭隘,例如将其与单个业务领域或用例相关联,而没有从整个组织的角度来看待。数据治理计划应在集中和分散之间保持平衡,赋予领域团队权力,同时在整个组织内保持连贯性。
元数据治理与数据治理有何不同
元数据治理与数据治理的核心区别在于,元数据治理专注于管理关于数据的元数据,而数据治理则关注管理数据本身。

元数据治理的重点
元数据治理涉及创建、控制、增强、归属、定义和管理元数据模式、模型或其他结构化聚合系统的端到端流程和治理框架。数据治理是一个更广泛的概念,涵盖了组织在整个业务企业中创建一致和适当处理数据所需的人员、流程和信息技术。数据治理旨在确保整个数据生命周期中数据的高质量、可用性、可用性、一致性、完整性、安全性和标准合规性。它还建立了问责制和有效数据管理的流程。

元数据治理与数据治理的关系
虽然元数据治理专注于管理元数据,但数据治理是一种更全面的方法,将数据作为组织的战略资产进行管理。元数据治理是数据治理的重要组成部分,但数据治理涵盖了比仅仅管理元数据更广泛的数据管理实践。
欢迎加入亚马逊云科技培训中心
欢迎加入亚马逊云科技培训中心
-
快速上手训练营
-
账单设置与查看
-
动手实操
-
快速上手训练营
-
第一课:亚马逊云科技简介
本课程帮助您初步了解云平台与本地环境的差异,以及亚马逊云科技平台的基础设施和部分核心服务,包括亚马逊云科技平台上的弹性高可用架构,架构设计准则和本地架构迁移上云的基本知识。
亚马逊云科技技术讲师:李锦鸿第二课:存储与数据库服务
您将在本课程中学习到亚马逊云科技上的三个存储服务分别是什么。我们也将在这个模块中为您介绍亚马逊云科技上的关系型数据库服务 Amazon Relational Database Service (RDS)。
亚马逊云科技资深技术讲师:周一川第三课:安全、身份和访问管理
在这个模块,您将学习到保护您在亚马逊云科技上构建的应用的安全相关知识,责任共担模型以及身份和访问管理服务, Identity and Access Management (IAM) 。同时,通过讲师演示,您将学会如何授权给 EC2 实例,允许其访问 S3 上的资源。
亚马逊云科技技术讲师:马仲凯 -
账单设置与查看
-
-
动手实操
-