跳至主要内容

Amazon Managed Workflows for Apache Airflow

Amazon MWAA

安全且高度可用的适用于 Apache Airflow 的托管工作流编排

功能

  • 大规模部署 Apache Airflow,无需承担管理底层基础架构的运营负担。
  • 在自己独立且安全的云环境中运行 Apache Airflow 工作负载。
  • 通过 Amazon CloudWatch 集成监控环境,降低运营成本和工程开销。
  • 通过 Apache Airflow 提供商或自定义插件连接到云端或本地资源。

工作原理

Amazon Managed Workflows for Apache Airflow (MWAA) 使用以 Python 编写的有向无环图 (DAG) 来编排您的工作流。您向 MWAA 提供一个 Amazon Simple Storage Service (S3) 存储桶,您的 DAG、插件和 Python 要求都存放在该存储桶中。然后从管理控制台、命令行界面 (CLI)、软件开发工具包 (SDK) 或 Apache Airflow 用户界面 (UI) 运行和监控您的 DAG。

Missing alt text value

使用场景

创建计划或按需工作流,准备和处理来自大数据提供商的复杂数据。

在复杂的 ETL 工作流中协调使用不同技术的多个 ETL 流程。

实现管道自动化,帮助机器学习 (ML) 建模系统摄取数据,然后根据数据进行训练。