亚马逊 EMR 推出对亚马逊 EC2 M6A、R6A 实例的支持，将 Spark 工作负载的成本性能提高 15-50%

亚马逊 EMR 提供一项托管服务，可使用 Apache Spark、Hive、Presto、Trino、HBase 和 Flink 等开源框架轻松运行分析应用程序。 Spark 和 Presto 的亚马逊 EMR 运行时 包括优化， 与开源 Apache Spark 和 Presto 相比，性能提高了 2 倍以上。

在亚马逊 EMR 版本 6.8 中，您现在可以使用使用第三代 AMD EPYC 处理器的 亚马逊弹性计算云 （亚马逊 EC2）实例，例如 M6A 和 C6A。与上一代实例相比，这些实例将在 Amazon EMR 上运行 Spark 工作负载的价格性能提高了 15-50%。在这篇博客文章中，我们描述了我们如何估算这种性价比优势。

使用 EC2 M6A 实例时的亚马逊 EMR 运行时性能

我们在亚马逊 EMR 6.8 上使用亚马逊 EMR 运行时运行了 Apache Spark（兼容 Apache Spark 3.3）和 m6a 实例的 TPC-DS 3 TB 基准测试。数据存储在 Amazon Simple Storage Servic e (Amazon S3) 中，并将结果与使用 M5a（前一代实例系列）的等效集群进行了比较。我们使用总查询运行时间和 TPC-DS 3 TB 基准测试查询中查询运行时间的几何平均值来衡量性能改进。

我们的结果显示，与使用 M5a 实例的等效 EMR 集群相比，使用 m6a 的 EMR 集群的总查询运行时性能提高了 23.6% 到 50.3%，几何平均值提高了 22.8-52.4%。在比较成本时，我们发现使用m6a的EMR集群的成本比使用m5a的等效集群降低了23.2％至41.4％。M6A 48 XL 和 32 XL 实例未经过基准测试，因为 M5A 一代没有提供同等大小。

下表显示了使用亚马逊 EMR 6.8 在等效的 m6a 和 m5a 实例 EMR 集群上运行 TPC-DS 3 TB 基准测试查询的结果。

下图显示了在 M6a 2XL 实例上观察到的每次查询与同等 M5a 版本相比的改进。我们观察到，与 M5a 实例集群相比，在 m6a 实例集群上执行两个查询所需的时间更长。在 4 个 XL 实例集群上，第 91 季度的回归率高达 6.64%，第 55 季度的倒退幅度高达 1.86%。

使用 EC2 R6A 实例时的亚马逊 EMR 运行时性能

与同等的 R5A 实例相比，R6A 实例在运行 Apache Spark 工作负载时表现出类似的性能改进。由于 R5A 实例没有 32XL 和 48XL 大小可用，因此未对 R6A 32XL 和 48XL 实例进行基准测试。我们的结果显示，实例系列中七种不同实例大小的总查询运行时间提高了16—58.22％，几何平均值提高了20.04—59.59％。在比较成本时，我们观察到，与 R5A EMR 实例集群相比，R6A 实例 EMR 集群的成本降低了 15.85—-50.07%。

下表显示了使用亚马逊 EMR 6.8 在同等的 R6A 和 R5A 实例 EMR 集群上运行 TPC-DS 3 TB 基准测试查询的结果。

基准测试方法

本文中使用的基准测试源自行业标准 TPC-DS 基准测试，使用来自 Spark SQL 性能测试 GitHub 存储库的查询，并应用了以下修复 。

我们通过将每小时成本乘以集群中的实例数量和在集群上运行查询所花费的时间来计算 TCO。我们对所有实例都使用了美国东部（弗吉尼亚北部）地区的按需定价。

结论

在这篇文章中，我们描述了如何估算将 Amazon EMR 与 M6A 和 R6A 实例相比使用同等的上一代实例所带来的性价比优势。将这些新实例与 Amazon EMR 配合使用可将性价比提高 15-50%。

作者简介

Al MS 是亚马逊网络服务亚马逊 EMR 的产品经理。

Kyeonghyun Ryoo 是亚马逊网络服务公司的 EMR 软件开发工程师。他主要为内部团队和客户设计和构建自动化工具，以最大限度地提高他们的生产力。工作之余，他是一位退休的职业游戏世界冠军，他仍然喜欢玩电子游戏。