跳至主要内容

Amazon Elastic MapReduce

Amazon EMR Serverless

使用开源框架运行大数据应用程序,而无需管理集群和服务器

概述

Amazon EMR Serverless 是 Amazon EMR 中的无服务器选项,数据分析师和工程师可借助其轻松运行开源大数据分析框架,而无需配置、管理和扩展集群或服务器。您可获得 Amazon EMR 的所有功能和优势,而无需通过专家来规划和管理集群。

优势

更轻松地运行框架

选择要为应用程序运行的开源框架,例如 Apache Spark 和 Apache Hive,并且 EMR Serverless 会自动预置和管理底层计算与内存资源。

按需扩展

通过自动按需扩展,在几秒钟内调整资源大小以满足不断变化的数据卷和处理要求,从而运行任意规模的分析工作负载。

优化成本

EMR Serverless 可自动扩展和缩减资源,为您的应用程序提供适当的容量。您只需按实际用量付费,并且可以最大限度地减少对过度预置或预置不足的担忧。

工作原理

工作原理

1

步骤 1:创建您的应用程序

选择要使用的开源框架和版本。

2

步骤 2:提交作业

通过 API 或 EMR Studio 向您的应用程序提交作业。您也可以使用工作流程编排服务提交作业,例如 Apache Airflow 或适用于 Apache Airflow 的 Amazon 托管工作流程。

3

步骤 3:调试作业

使用熟悉的开源工具(如 Spark UI 和 Tez UI)监控和调试作业。

使用案例

可变工作负载

随着工作负载需求的变化,无缝扩展应用程序资源,而无需预先配置所需的计算能力和内存。

SLA 敏感数据管道

选择预初始化应用程序资源的选项,同时支持面向 SLA 敏感数据管道的响应时间(以秒为单位)。

开发和测试环境

快速轻松地启动开发和测试环境,自动扩展以应对不可预测的使用量,同时更快地将产品推向市场。