使用亚马逊云科技和 Fivetran 加快 SAP 数据复制

随着人们越来越关注物联网、人工智能/机器学习和生成式人工智能推动业务转型，SAP 数据通过简化运营、改善决策和推动创新，为关键业务信息提供统一视图。企业面临的关键挑战是确定管理和利用这些数据的有效策略，以释放其潜在的竞争优势。组织可以专注于从数据中发现见解，从而推动业务向前发展并更快地实现战略目标，而不是花费宝贵的资源来构建和维护数据管道。

Fivetran 是一个完全托管的数据平台，拥有 700 多个预建数据源，包括 SAP。全自动、可扩展的平台可帮助客户安全、可靠、高效地将数据复制到任何云端目的地，无论是部署在本地、云端还是混合环境中。

Fivetran 是亚马逊云科技数据和分析能力合作伙伴和 Amazon Marketplace 卖家，其服务专业领域包括 Amazon Redshift、Amazon 关系数据库服务（Amazon RDS）和 Amazon PrivateLink。

在本博客中，我们将探讨如何利用亚马逊云科技上的现代数据架构来优化数据管理，并讨论 Fivetran 自动 SAP 数据复制如何加速企业流程和解锁见解。

适用于 SAP 的 Fivetran 数据移动

Fivetran 正在投资亚马逊云科技的零 ETL 未来并与之保持一致，以简化数据架构并减少数据工程工作。Fivetran 完全托管的 SAP ERP on HANA 连接器使用低影响变更数据捕获 (CDC) 安全、可靠、高效地将 SAP ECC 和 S/4 HANA 数据从 HANA 平台复制到亚马逊云科技。这为分析、AI/ML 和报告提供了实时数据访问权限。Fivetran 通过提供以下服务，帮助您的组织简化 SAP 数据移动：

支持运行时和企业许可证 — Fivetran 可以连接到甲骨文和 HANA 上的 SAP 应用层，而不是直接访问数据库。
直接和原生集成 — 从 SAP ERP 直接原生集成到您的目的地，无论是数据仓库、数据湖还是其他目的地。
SAP ERP 管理云资源 — 快速实施，易于访问数据，支持 SAP Rise 和 SAP HEC。
支持特殊的 SAP 数据类型和表 — 处理群集/池表、支持长文本、转换 SAP 日期、加载 CDS 视图、SAP 存档支持。
源自核心数据服务 (CDS) 视图。

各组织正在将其数据（包括 SAP）转移到亚马逊云科技的数据湖中，在那里他们可以拥有应用机器学习和分析的单一事实来源。他们通过 Amazon Simple Storage Service (Amazon S3) 在亚马逊云科技中构建数据湖。同时，各组织正在利用针对特定用例进行优化的专用数据库和服务。将工作负载迁移到亚马逊云科技上的现代数据架构使组织能够在数据湖和专门构建的数据库和服务之间安全地移动数据。这使他们能够更快地获得业务见解。

Fivetran 在行动

下图 1 显示了利用 Fivetran 进行 SAP 数据移动的参考架构，该架构遵循亚马逊云科技上的现代数据架构。设计的核心是 Amazon Lake Formation，它可以加速数据湖的设置。Amazon S3 既是数据湖所有数据的起点又是着陆区。SAP 数据的数据基础可以存在于数据湖中，并利用亚马逊云科技专门构建的数据库和服务，例如：

Amazon Aurora：Amazon Aurora 是一项现代关系数据库服务，可大规模提供性能和高可用性，完全开源的 MySQL 和 PostgreSQL 兼容版本，以及一系列用于构建无服务器和机器学习 (ML) 驱动应用程序的开发者工具。

Amazon EMR：Amazon EMR 是业界领先的云大数据平台，使用 Apache Spark、Apache Hive 和 Presto 等开源框架进行数据处理、交互式分析和机器学习。借助 EMR，您可以运行 PB 级分析，成本不到传统本地解决方案的一半，比标准 Apache Spark 快 1.7 倍以上。

Amazon Redshift：每天都有成千上万的客户使用 Amazon Redshift 在云端运行 SQL 分析，处理数艾字节的数据以获得业务见解。无论数据存储在运营数据存储、数据湖、流数据服务还是第三方数据集中，Amazon Redshift 都能帮助安全地访问、合并和共享数据，只需最少的移动或复制。Amazon Redshift 与亚马逊云科技数据库、分析和机器学习服务深度集成，可采用零 ETL 方法或帮助您访问现有数据进行近乎实时的分析，使用 SQL 构建机器学习模型，并使用 Amazon Redshift 中的数据启用 Apache Spark 分析。

Amazon SageMaker：Amazon SageMaker 是一项完全托管的服务，使用完全托管的基础架构、工具和工作流程，为任何用例准备数据并构建、训练和部署机器学习 (ML) 模型。

这允许对运营、数据仓库和数据湖环境进行统一分析，从而简化数据访问和分析。该架构使所有级别的用户都能利用最适合的分析服务来满足他们的需求。

Fivetran SAP 架构

图 1 — 适用于 SAP 工作负载架构的 Fivetran 数据移动

以下数据流描述了如何移动和处理数据：

Fivetran 支持跨多种部署拓扑（本地、云、SaaS）和许可证类型（运行时、企业）连接众多 SAP 产品。
Fivetran 的数据移动平台以批处理、微批处理或连续实时模式（由您确定间隔）将数据传输到亚马逊云科技云中。该平台提供数据集优化和数据准备，包括表创建、表格更新、架构偏移管理、压缩以提高性能、重复数据删除以提高数据质量、对可理解和有组织的数据进行标准化、匿名化（在数据进入数据管道之前对数据进行哈希或区块数据并从头到尾完全加密数据）以及自动检测个人身份信息（PII）。将数据简化、高效地复制到 Amazon Redshift 中。将 Amazon S3 转换为 Parquet 文件格式并持久化为 Iceberg 表格式。
Fivetran 的标准化数据集（受控、私有、安全和受管制）以标准表格格式交付到 Amazon Redshift 和 Amazon S3 以及 Amazon RDS、Snowflake、Databricks、Apache Kafka 等亚马逊云科技托管服务中，提供数据的正确性和一致性、SQL 查询和分析优化。然后可以立即查询、聚合或转换所有数据集。
使用 Amazon S3 时，元数据填充到 Amazon Glue 中，用于表定义、全面精细的访问控制和 GDPR/CCPA 合规性。
受管表中的数据允许各种亚马逊云科技分析和见解服务本地使用，并且可以立即查询、聚合或转换。
通过半结构化文件支持、优化和管理存储以及自动数据准备的现代方法，快速提供广泛的行业特定用例。

从传统到领先优势：Pitney Bowes 的 SAP 集成成功案例

Pitney Bowes 是一家全球运输和邮寄公司，为 90% 以上的财富 500 强企业提供技术、物流和金融服务。他们正在为传统的 ELT 效率低下而苦苦挣扎，同时整合用于财务和销售分析的 SAP 数据的需求不断增长。

Fivetran 取代了 Pitney Bowes 的自定义批处理脚本以及提取、转换、加载 (ETL) 流程。企业信息管理团队使用 Fivetran 的开箱即用连接器为 SAP、Salesforce、Facebook、Apache Kafka 和 Amazon Kinesis 等多个关键业务应用程序快速设置管道。

利用 Fivetran 的高性能集中数据，将批处理加载时间从 31 小时减少到不到 2 小时，减少了 94%。这种增强的数据基础设施为 16 个全球配送中心和每天 8 亿多个包裹提供了近乎实时的可见性和分析。数据驱动的方法帮助该公司将其交付估算准确性提高到 93%，有效地解决了先前因未达交付服务级别协议 (SLA) 而面临的挑战，并创建了新的创收保证交付计划。

传统的 ERP 数据管理一直是业务创新的瓶颈，消耗了宝贵的资源，而提供的见解有限。Fivetran 专门构建的 SAP 连接器通过自动化、低影响的数据复制消除了这种摩擦，在确保企业级安全性和可靠性的同时，可将数据移动时间缩短多达 94%。当与亚马逊云科技基础设施相结合时，组织可以将原始 SAP 数据转化为切实可行的见解，为实时决策、预测分析和 AI/ML 计划提供支持。

在此处了解有关 Pitney Bowes 案例研究的更多信息。

结论

利用亚马逊云科技基础设施和 Fivetran 在 HANA 连接器上完全托管的 SAP ERP 连接器，企业能够自动将 SAP 数据复制到亚马逊云科技上的现代数据架构中。这有助于加快从 SAP 数据中获得切实可行的见解，从而推动业务增长。有关如何在 HANA 连接器上使用 Fivetran 的 SAP ERP 的更多详细信息，请参见本文档。

注册免费试用 Fivetran 14 天，在 Amazon Marketplace 中了解有关 Fivetran 的更多信息，并尝试使用 Fivetran SAP 数据模型将 SAP 数据加载并转换为 Amazon Redshift。

与 Fivetran 建立联系