发布于: Nov 15, 2021

今天,Amazon Batch 在由光环新网运营的亚马逊云科技中国(北京)区域和由西云数据运营的亚马逊云科技中国(宁夏)区域中为 Amazon Batch 任务队列推出公平份额调度,这使得在单个队列中运行不同工作负载变得更加容易。现在,客户可以决定是以先进先出 (FIFO) 的方式还是按“公平份额”策略运行任务,后者可以均等或者根据管理员定义的权重和优先级分配资源。通过公平份额任务调度,Amazon Batch 将会根据多项因素(而不只是先出现的工作负载)处理计算分配,从而在提高处理效率的同时更好地尊重用户或工作负载优先级。

Amazon Batch 是一款原生云批处理调度程序,支持从企业到科学家和开发人员在内的任何人在亚马逊云科技云上高效地运行批处理任务。无论是几个任务还是数十万个任务,Amazon Batch 均可根据您提交工作的数量和特定资源要求预置最优计算资源数量和类型。借助 Amazon Batch,您无需安装和管理用于运行作业的批量计算软件或服务器集群,从而可以专注于分析结果和解决问题。

在今天之前,Amazon Batch 为队列使用的是 FIFO 调度机制。在 FIFO 中,当任务到达队列最前面并且存在足够的可用计算资源时,就会安排任务。尽管这对于许多客户来说也适用,但 FIFO 可能会导致一个用户的工作负载卡滞在另一个用户的工作负载之后之类的“不公平”情况,例如一些短时间的任务前面安排了非常大量的长时间运行任务。在这些情况下,客户希望为拥有短时间任务的用户提供计算分配公平性。尤其是对于拥有许多不同工作负载的大型组织而言,在用户提交工作时,计算公平性对于赋予用户自信非常重要,因为它既可以及时地处理工作,同时也尊重优先级。

现在,除了 FIFO 调度方式之外,Amazon Batch 还支持公平共享调度,这允许用户在单个队列中安排许多不同用户和工作负载,并且 Amazon Batch 会根据管理员定义的公平份额策略分配计算资源。默认情况下,这在每个用户/工作负载之间大致相等。Amazon Batch 为用户或工作负载分配“份额”,这就定义了用户或工作负载接收的计算资源量。客户可以视需要赋予具有更高优先级的用户或工作负载特殊权重。客户只需将任务提交给 Amazon Batch,系统就会根据指定的份额自动分派任务,从而使客户只需在单个组合队列中即可运行工作负载。

要了解更多信息,请访问我们的文档