发布于: Oct 15, 2023

Amazon Step Functions 宣布推出针对 Amazon EMR Serverless 的优化集成,增加了对运行作业(.sync)集成模式的支持,包括 6 个 EMR Serverless API 操作(CreateApplication、StartApplication、StopApplication、DeleteApplication、StartJobRun 和 CancelJobRun)。

EMR Serverless 是 Amazon EMR 中的无服务器选项,数据分析师和工程师可借助其轻松运行 Apache Spark 和 Apache Hive 等开源大数据分析框架,而无需配置、管理和扩展集群或服务器。Step Functions 是一项可视化工作流程服务,可以轻松将服务组合成可扩展、可靠且具有弹性的应用程序组件。客户使用 Step Functions 的可视化创作和操作员体验来创建具有弹性且可管理的多步 EMR 数据处理管道。借助这项新的优化集成,客户可以通过删除用于监控异步作业完成情况的步骤,替换为单个 Step Functions 状态,来简化这些管道。

这些增强功能现已在由光环新网运营的亚马逊云科技中国(北京)区域和由西云数据运营的亚马逊云科技中国(宁夏)区域正式推出。要开始使用,您可以在管理控制台中使用用于 Step Functions 的新“运行 EMR Serverless Spark 作业”示例项目,也可以使用 Step Functions Workflow Studio 构建工作流程。要了解更多信息,请参阅 Step Functions 开发人员指南