与亚马逊云科技数据服务和 Dataddo 的下一代数据集成

现在，收集、准备、存储和使用来自越来越多的不同系统的数据已成为各行各业组织面临的根本挑战。云服务的应用程序编程接口 (API) 和用户界面 (UI) 不断变化，需要工程师不断调整数据管道，他们可能无法快速做出反应，也可能不能。

依赖工程师来管理这些变更可能会导致仪表板损坏、数据集缺口以及基于过时信息的决策。随着数据和人工智能在业务运营中变得越来越重要，各组织正在寻找新的方法来在数据收集期间在数据生命周期的最早阶段解决安全性和合规性问题。

这篇文章展示了组织如何使用 Dataddo 高效、安全地将数据从其数据基础设施的一端移动到另一端。从亚马逊云科技中的云存储服务，如 Amazon S3 到 Amazon Redshift、Amazon Aurora 或 Amazon RDS。

解决方案概述

Dataddo 提供数百个数据连接器，支持强大的提取、转换、加载 (ETL)、反向 ETL 和数据库复制功能，直接解决集成来自不同系统的数据的问题。无代码用户界面在设计时考虑了业务用户，但该平台使开发人员能够通过代码配置更复杂的工作负载。Dataddo 为 Amazon Redshift、Amazon S3、Amazon Aurora 和 Amazon RDS 优化了连接器。它可以将数据从任何服务或数据库同步到这些存储，也可以将这些存储中的数据同步到任何服务或数据库。该平台消除了亚马逊云科技客户维护管道的需要，因为 Dataddo 的工程师会主动监控和维护所有管道，并管理 API 和接口变更。

Dataddo 还具有一套内置功能，可有效解决管道层面的数据质量、合规性和隐私挑战，从而降低在亚马逊云科技存储服务和其他下游系统中处理数据的复杂性和成本。这些功能包括各种转换技术、基于规则的数据质量防火墙、自动检测个人身份信息 (PII)，以及哈希和详细监控与记录选项。

除了 ETL、反向 ETL 和数据库复制外，Dataddo 还支持应用程序与商业智能 (BI) 工具的直接集成，使业务用户无需工程师干预即可可视化重要数据。完全托管的 Dataddo 平台可供业务用户访问，它绕过了工程障碍，加快了数据产品的交付。

Dataddo + 亚马逊云科技：架构

对于使用亚马逊云科技存储服务的任何组织而言，Dataddo 是有效端到端数据集成的关键推动力。在本节中，我们将介绍 Dataddo 如何执行 ETL、反向 ETL 和数据库复制工作负载。

提取、转换、加载 (ETL) / 提取、加载、转换 (ELT)

Dataddo 可以将来自数百个来源的数据同步到亚马逊云科技存储服务，包括使用其通用 JSON 连接器的自定义来源。它支持 API、文件、数据库和事件连接。它还可以同步批处理、事件和数据库日志文件，如图 1 所示。

图 1：Dataddo ETL/ELT

Dataddo 提供强大的预处理功能，包括敏感数据检测和哈希、扁平化、类型协调、合并和连接。它还确保提取的数据立即可用，同时数据质量防火墙（按列配置）阻止异常数据流向亚马逊云科技。为了进一步保障一致性，Dataddo 支持自动架构创建以及多种写入模式（插入、UPSERT、删除、替换）。

反向 ETL

图 2 显示了 Dataddo 如何使用户能够通过反向 ETL 将数据从亚马逊云科技存储服务同步到运营应用程序。这使业务团队可以直接在他们最常使用的系统中获得复杂的、自定义计算的见解。

图 2：Dataddo 反向 ETL

通过 Dataddo 的无代码界面，可以轻松地将源中的数据字段映射到目标等效字段，而内置的 SQL 控制台允许更多技术型亚马逊云科技用户使用 SQL 查询直接与其数据进行交互。Dataddo 通过自动数据类型协调和可配置的数据质量防火墙确保目标应用程序中的数据一致性。Dataddo 支持多种写入模式，例如 INSERT 和 UPSERT，可将数据灵活同步到 20 多个目标应用程序，包括客户关系管理 (CRM)、企业资源规划 (ERP) 系统和营销自动化工具。

注意：反向 ETL 的一个有趣用途是将来自亚马逊云科技存储服务的第一方数据同步到在线广告平台，以实现超精确的定位；这已成为使用第三方数据进行在线广告的越来越重要的补充，因为它为平台提供了有关实际转化的信息。

数据库复制

Dataddo 可以通过批量复制和各种变更数据捕获 (CDC) 方法在亚马逊云科技存储服务和任何其他数据库之间同步数据，无论其底层技术如何，如图 3 所示。

图 3：使用 CDC 进行数据复制

支持所有主要的本地数据库和数据库即服务作为源和目标，包括 Amazon Redshift、Amazon S3、Amazon Aurora 和 Amazon RDS。连接器可以提取批处理、事件和数据库日志文件。Dataddo 在提取期间自动转换数据类型，并在写入期间自动创建架构。支持多种写入模式，例如 INSERT、UPSERT、DELETE 和 REPLACE。

亚马逊云科技客户案例

Dataddo 已成功地将各种第三方应用程序与面向多个客户的亚马逊云科技服务集成在一起，通过三个具体案例研究展示了宝贵的成果。

Boldr

Boldr 是一家全球外包和离岸咨询公司，需要自动化数据集成解决方案来推动内部报告流程。他们每周花费将近 14 个小时监视 177 个内部数据管道并解决错误。其中大部分是从客户的 CRM 工具到谷歌表格的管道，以及谷歌表格与其数据库——适用于 PostgreSQL 的 Amazon RDS 之间的管道。他们之所以选择 Dataddo，是因为其直观、友好的界面和配置良好的连接器（例如用于同步自定义数据集的通用 JSON 连接器）。其他考虑因素包括其详细通知、主动管道监控和维护。

Boldr 能够快速部署 Dataddo，取得了以下关键成果：

• 几乎消除了管道维护的需要
• 由于错误率低，每月可节省 5 个以上的工日
• 将所有公司数据整合到一个中央中心：Amazon RDS (PostgreSQL)
• 提高了数据准确性，实现了可靠的报告

"现在，我们每周只花几个小时维护 177 条管道，而过去我们花费了将近 14 个小时。" — Boldr 技术解决方案经理 Natheer Maloon

ID&T

ID&T 集团是一家电子音乐娱乐公司，以组织大型电子音乐节而闻名，例如 Defqon.1 和 Mysteryland。以前，该集团的所有品牌和代理机构管理数据的方法略有不同，并手动向 ID&T 报告。为了解决这个问题并准确、统一地概览所有数据，他们决定在亚马逊云科技上构建一个基于 SaaS 的数据基础架构。作为新数据基础设施的一部分，他们需要一种工具来从 ID&T 集团及其所有合作伙伴的社交媒体和广告平台提取数据，并将其发送给 Amazon Redshift、Amazon RDS 和 Snowflake。他们之所以选择 Dataddo，是因为其连接器的可靠性、免维护的管道以及协调来自不同来源的数据的能力。通过实施 Dataddo，ID&T 取得了以下成果：

• 消除与手动数据收集相关的错误
• 每周节省 2-3 个工日
• 提高了对关键绩效指标的可见性，例如广告支出回报率 (ROAS)、每次点击费用 (CPC) 和点击率 (CTR)
• 加深对在线受众的了解并增加收入

"Dataddo 打开了大门，消除了处理数据的障碍。" — ID&T 集团首席技术官 Michael Guntenaar

WWL

WWL 是一家全球电子商务公司，专门提供照明解决方案。他们拥有 24 家电子商店和 4 家子公司，为欧洲和亚洲市场提供服务。他们正在对数据基础设施进行现代化改造，需要一种工具来从各种商店、应用程序和专有软件中提取数据，并将其传输到 Amazon Redshift。他们之所以选择 Dataddo，是因为它有各种各样的现成连接器，并且愿意为 WWL 的专有软件构建新的连接器。通过实施 Dataddo，WWL 能够快速将来自孤立来源的所有数据集中到 Amazon Redshift 中，实现了以下成果：

• 全面的业务视图
• 由于连接器托管和主动监控，停机时间显著减少
• 为 50 多名决策者提供可靠的见解

"每当我们看到我们想进一步了解的东西时，所有用户都可以轻松地深入研究数据，更深入地了解数据发生的原因。" — Jimmy van den Eerenbeemt，WWL 洞察经理

结论

Dataddo 为亚马逊云科技提供简化的数据集成解决方案，具有预建的连接器和托管管道。其友好的用户界面可容纳技术和非技术用户，而内置的质量和合规性功能可减少工程开销。这使团队能够专注于从数据中提取价值，而不是管理复杂的集成。

访问 Dataddo 的 Amazon Marketplace 页面并注册免费试用，立即开始将数据迁入和迁出亚马逊云科技。
。

Dataddo — 亚马逊云科技合作伙伴聚光灯

Dataddo 是亚马逊云科技差异化技术合作伙伴和亚马逊云科技能力合作伙伴，可将来自各种业务应用程序（Salesforce、SAP、Netsuite、广告平台）、数据库（云端和本地）、文件和自定义 API 的数据无缝集成到亚马逊云科技（Amazon Redshift、Amazon S3、Amazon Aurora、Amazon RDS）中。除了 ETL/ELT 之外，我们还提供数据库跨技术复制、反向 ETL 和主动数据管道监控，从而增强您在亚马逊云科技生态系统中的数据策略。

联系 Dataddo | 合作伙伴概览 | Amazon Marketplace