Amazon Batch 文档

使用 Amazon Batch，您可以打包批处理作业的代码，指定其依赖关系，然后使用亚马逊云科技管理控制台、CLI 或软件开发工具包提交批处理作业。Amazon Batch 允许您指定执行参数和作业依赖关系，并便于与各类批处理计算工作流引擎及语言（如 Pegasus WMS、Luigi、Nextflow、Metaflow、Apache Airflow 和 Amazon Step Functions）集成。Amazon Batch 会根据作业需求预置和扩展 Amazon EC2 实例、竞价型实例，或者利用 Fargate 与 Fargate Spot。此外，Amazon Batch 还提供默认作业队列和计算环境定义，以帮助您开始使用。

将 Fargate 或 Fargate Spot 与 Batch 结合使用时，您只需在 Batch 中配置少量核心组件（CE、作业队列和作业定义），即可获得完整的队列、调度程度和计算架构，无需管理底层计算基础设施。

如果您需要使用 EC2 实例，Amazon Batch 提供托管计算环境，可根据所提交作业的数量和资源需求，自动预置并扩展计算资源。您可以为托管计算环境配置各类需求，例如 EC2 实例类型、VPC 子网配置、所有实例的最小/最大/期望虚拟 CPU（vCPU）数量，以及您愿意为竞价型实例支付的费用（按按需型实例价格的百分比计算）。

此外，如果您需要为 EC2 实例配置托管计算环境未提供的特殊参数（如更大的 EBS 卷或其他操作系统），也可以选择在 Amazon Batch 非托管计算环境中自行预置和管理计算资源。您可以预置包含 Amazon ECS 代理且运行受支持的 Linux 版本和 Docker 的 EC2 实例。然后，Amazon Batch 会在您预置的 EC2 实例上运行批处理作业。

包含 Fargate 资源的 Amazon Batch 可让您为批处理作业提供无服务器的架构。在 Fargate 中，每个作业都会收到其请求的确切 CPU 和内存量（在允许的 Fargate SKU 范围内），因此不会浪费资源时间，也无需等待 EC2 实例启动。

如果您目前在使用 Batch，Fargate 允许从 EC2 分离出一个额外的层。Fargate 旨在将与 Fargate 兼容的作业提交到 Batch 中时，对于在 EC2 和 Fargate 上运行的工作负载，则无需维护两种不同的服务。

亚马逊云科技提供配有托管队列的原生云计划程序，并且可以指定优先级、重试、依赖项、超时等。Batch 可帮助您管理提交至 Fargate 的文件以及作业的生命周期。

Fargate 还帮助提供了安全优势（例如，SOX、PCI 合规性），以及每个作业的计算资源之间的隔离。

Amazon Batch 支持多节点并行作业，这可以帮助您跨 EC2 实例运行单个作业。此功能允许您使用 Amazon Batch 运行工作负载，例如，大规模紧密耦合的高性能计算 (HPC) 应用程序或分布式 GPU 模型训练。Amazon Batch 还支持 Elastic Fabric Adapter，这是一种网络接口，专为在亚马逊云科技上运行需要大规模节点间高速通信的应用程序而设计。 

Amazon Batch 允许您通过指定资源需求（如 vCPU、内存）、Amazon Identity and Access Management（IAM）角色、卷挂载点、容器属性和环境变量来定义作业的运行方式。Amazon Batch 将您的作业作为在 Amazon ECS 上运行的容器化应用程序来执行。此外，Batch 还能帮助您定义不同作业之间的依赖关系。例如，您的批处理作业可能包含多个处理阶段，且各阶段的资源需求不同。通过依赖关系，您可以创建具有不同资源需求的作业，使后续作业依赖于前序作业的完成。

Amazon Batch 旨在可以设置多个具有不同优先级的队列。批处理任务会一直存储在队列中，直到计算资源可用于执行任务。Amazon Batch 计划程序会根据每个任务的资源要求评估已提交给队列的任务的执行时间、执行位置及执行方式。该计划程序会评估每个队列的优先级并按最优计算资源（如内存与优化型 CPU）的优先级执行作业，只要这些作业依赖关系确定即可。

通过 GPU 安排，您可以指定作业所需的加速器的数量和类型，作为 Amazon Batch 中的作业定义输入变量。Amazon Batch 将根据所需的 GPU 数量扩展适合您的作业实例，并根据每个作业的需要隔离加速器，因此只有合适的容器才能访问它们。