Amazon MWAA

安全且高度可用的适用于 Apache Airflow 的托管工作流编排

  • 大规模部署 Apache Airflow，无需承担管理底层基础架构的运营负担。
  • 在自己独立且安全的云环境中运行 Apache Airflow 工作负载。
  • 通过 Amazon CloudWatch 集成监控环境，降低运营成本和工程开销。
  • 通过 Apache Airflow 提供商或自定义插件连接到云端或本地资源。

工作原理

Amazon Managed Workflows for Apache Airflow (MWAA) 使用以 Python 编写的有向无环图 (DAG) 来编排您的工作流。您向 MWAA 提供一个 Amazon Simple Storage Service (S3) 存储桶，您的 DAG、插件和 Python 要求都存放在该存储桶中。然后从管理控制台、命令行界面 (CLI)、软件开发工具包 (SDK) 或 Apache Airflow 用户界面 (UI) 运行和监控您的 DAG。

使用案例

支持复杂的工作流

创建计划或按需工作流，准备和处理来自大数据提供商的复杂数据。

协调提取、转换、加载 (ETL) 作业

在复杂的 ETL 工作流中协调使用不同技术的多个 ETL 流程。

准备 ML 数据

实现管道自动化，帮助机器学习 (ML) 建模系统摄取数据，然后根据数据进行训练。

预期用途和限制

使用本服务需遵守 亚马逊云科技 客户协议。