为 OSDU 数据平台上的数据管理提供支持

概述

数据是能源公司必不可少的资产。全面了解遵循一致业务规则的可信数据，可以帮助企业做出明智、准确、及时的决策，并简化数据管理实践。从根本上讲，将数据置于开源驱动的OSDU数据平台的中心可以使其为能源行业的数字化转型做好准备，并旨在创建一个全面的、与技术无关的数据平台，以刺激创新并缩短新解决方案的上市时间。OSDU Data Platform 的核心服务为帮助能源行业数据管理者奠定了基础，但它仍然需要全面的工具来确保数据的整体可信度和一致性。QuestLabs Alloy 是基于亚马逊网络服务 (亚马逊云科技) 构建的数据质量即服务 (DQaS) 解决方案，可与 OSDU 数据平台协同工作，使数据经理和运营人员能够查看和管理 OSDU 数据平台数据，并通过直观的基于 Web 的用户界面促进其遵守组织业务规则。该解决方案可帮助公司依靠开源 API 在其 OSDU 数据平台实施中高效地构建和管理可信数据。这种方法展示了将数据管理工具与OSDU集成在一起的灵活性，并证明了基于标准的数据平台在根据公司的需求、扩展以及能够为新能源流整合新领域来定制数据基础方面的总体价值。

OSDU 数据平台和数据管理

OSDU 数据平台正在为能源行业提供开源、基于标准、与技术无关的数据平台。目标是将数据从应用程序中解放出来，专注于业务价值和创新，而不是关注常见的数据互操作性和基本数据管理挑战。在 亚马逊云科技 上实施 OSDU 数据平台的总体概念架构如图 1 所示。

图 1。在 亚马逊云科技 上实施 OSDU 数据平台的概念架构

可以使用核心服务 API 将数据采集到 OSDU，并将其编目并提供给各种应用程序和人工智能 (AI) 或机器学习 (ML) 解决方案使用。这极大地简化了在组织中查找和使用数据的能力，但是如何才能确定数据已根据组织的业务规则进行了验证呢？需要用于 OSDU 数据的数据管理和数据质量解决方案。

QuestLabs 合金数据质量即服务解决方案

基于 亚马逊云科技 云的 QuestLabs Alloy DQaS 解决方案允许公司根据组织的业务规则轻松配置和验证 OSDU 数据，以确保可信度和一致性。该解决方案可以通过基于 Web 的用户界面进行安装和管理，并配置为通过常用 OSDU API 连接到 OSDU 数据平台。将 QuestLabs Alloy 应用程序与 亚马逊云科技 上的 OSDU 数据平台集成的架构如图 2 所示。

图 2。QuestLabs Alloy 与 亚马逊云科技 上的 OSDU 数据平台集成

Alloy 部署在安全可靠的 亚马逊云科技 基础设施上。它使用 亚马逊弹性 Kubernetes 服务 （亚马逊 EKS）（一种托管的 Kubernetes 服务）在 亚马逊云科技 云中运行 Kubernetes。Amazon EKS 根据用户或数据需求自动管理应用程序的可用性和可扩展性。认证是通过客户身份和访问管理 解决方案 Amazon Cognito 完成的。OSDU 数据平台也部署在 亚马逊云科技 上，但位于单独的 亚马逊云科技 账户中，它充分利用了多个 亚马逊云科技 服务，因此可以扩展和容纳几乎任何类型和数量的数据。 Amazon Simple St orage Service (Amazon S3) 是一项对象存储服务，负责存储地震、井和其他地下数据类型。 Amazon DynamoDB 是一个完全托管的无服务器键值 NoSQL 数据库，用于存储架构定义和元数据。根据 OSDU 数据平台的使用情况，整体解决方案可以按需扩展。

在 OSDU 数据平台中构建可信数据

Alloy 依靠 OSDU 核心服务 API（例如搜索、授权、架构、法律和数据服务）来扫描 OSDU 数据并根据数据质量规则对其进行评估。可以在将数据采集到OSDU数据平台之前或之后进行检查。该应用程序带有内置规则，这些规则源自专业石油数据管理协会（PPDM），但适用于OSDU。使用Alloy的OSDU数据浏览器（如图3所示），企业可以查看OSDU数据的完整性、完整性、有效性和准确性。它还允许检查数据质量是否随着时间的推移而改善。

图 3。QuestLabs Alloy OSDU 数据浏览器显示 OSDU 数据扫描

为了在 OSDU 数据平台中构建和维护可信数据，Alloy 拥有丰富的 API 集和直观的用户界面，可在采集前和采集后阶段对数据进行质量检查。在预采集阶段，在向OSDU数据平台摄取任何数据之前，可以将Alloy API用作集成的一部分，以避免或减少错误数据。Alloy API 有多个适用于 OSDU 的数据发布器，例如域和数据科学应用程序；开发者门户；命令行界面 (CLI) 工具；提取、转换、加载 (ETL) 管道；以及其他机制，因此，Alloy API 可以帮助评估数据质量，并最终将适合用途的数据导入 OSDU。此外，preingest 检查进一步减少了各种丰富步骤，以便在摄取完成后进行清理、更正和准备消耗数据。

图 4。QuestLabs Alloy 使用 OSDU 数据平台预提取数据工作流程

在采集后阶段，Alloy 能够对已经填充到 OSDU 数据平台的数据进行质量扫描。这有助于数据治理团队检查 OSDU 数据的运行状况。作为本次评估的后续行动，可以规划策略，根据组织的业务需求修复和丰富数据。数据管理员可以扫描由 OSDU 种类定义或由 Alloy 用户界面启动的选定记录定义的完整数据集。

作为数据可观测性功能的一部分，Alloy 还能够利用来自 OSDU 数据平台的数据变化事件。在这种情况下，如果添加了新记录或更新了现有记录，质量扫描将自动启动。可以监控组织的 OSDU 数据运行状况，治理团队可以采取相关措施来构建和维护符合用途的数据。通过这种方式，可以看到确切的问题，如图 5 所示；另请参阅有关如何修复和丰富数据的建议。

图 5。QuestLabs 合金质量扫描结果

结论

OSDU 数据平台提供了一种存储、管理和消费能源行业数据的新方法。但是，即使能源行业已经采用了OSDU，了解数据的可信度和一致性仍然是一项挑战。基于 亚马逊云科技 构建的 QuestLabs Alloy 有助于缓解其中的许多挑战，并充分利用现代 OSDU 参考架构。与 OSDU 一起部署，整体解决方案具有以下优点：

• 监控组织间的数据并在需要时进行干预
• 根据开箱即用或公司特定的常规和新能源流规则验证数据
• 部署工作流程以满足企业特定的复杂数据质量和丰富要求
• 大大缩短了新数据实体或新域（例如太阳能或风能）的实施时间
• 使用完整的数据生命周期 API 和内置的数据和业务规则，在稳定的数据基础上构建强大的应用程序
• 花更少的时间和资源来部署适合用途的数据