Amazon Batch

以完全托管的方式进行任何规模的批处理

Amazon Batch 使开发人员、科学家和工程师能够轻松高效地在 亚马逊云科技 上运行数十万个批量计算作业。Amazon Batch 根据提交的批处理作业的数量和特定资源要求，动态预置计算资源的最佳数量和类型（例如，CPU 或内存优化型实例）。借助 Amazon Batch，您无需安装和管理用于运行作业的批量计算软件或服务器集群，从而可以专注于分析结果和解决问题。Amazon Batch 能够运用各种 亚马逊云科技计算服务和功能（如 Amazon EC2 和 Spot 实例）来规划、安排和执行批量计算工作负载。

使用 Amazon Batch 无需支付额外费用。您只需为您创建的用于存储和运行批处理作业的 亚马逊云科技资源（例如 EC2 实例）付费。

Amazon Batch 功能

使用 Amazon Batch，您只需打包批处理作业的代码，指定其依赖关系并使用 亚马逊云科技管理控制台、CLI 或软件开发工具包提交批处理作业。Amazon Batch 不仅允许指定执行参数和作业依赖关系，还可以促进与一系列常用批量计算工作流程引擎及语言（如 Pegasus WMS、Luigi 和 Amazon Step Functions）的集成。Amazon Batch 会根据您的作业要求以动态方式高效地预置和扩展 Amazon EC2 实例和 Spot 实例。Amazon Batch 提供默认作业队列和计算环境定义，以便您快速开始使用。

支持紧密耦合的 HPC 工作负载

Amazon Batch 支持多节点并行作业，这使您能够跨多个 EC2 实例运行单个作业。此功能允许您使用 Amazon Batch 轻松高效地运行工作负载，例如，大规模紧密耦合的高性能计算 (HPC) 应用程序或分布式 GPU 模型训练。Amazon Batch 还支持 Elastic Fabric Adapter，这是一种网络接口，可让您在 亚马逊云科技上运行需要大规模、高级别节点间通信的应用程序。

精细的作业定义

借助 Amazon Batch，您可以指定资源要求，如 vCPU 和内存、Amazon  Identity and Access Management (IAM) 角色、卷挂载点、容器属性及环境变量，以定义如何执行作业。Amazon Batch 将您的作业作为在 Amazon ECS 上运行的容器化应用程序来执行。

简单的作业依赖关系建模

Amazon Batch 使您可以定义不同作业之间的依赖关系。例如，您的批处理作业可能分为三个不同的处理阶段，且各个阶段所需要的资源不同。有了依赖关系，您可以创建资源要求不同的三个作业，其中下一个作业均依赖于上一个作业。

支持常用的工作流程引擎

Amazon Batch 可与商用和开源工作流程引擎和语言（如 Pegasus WMS 和 Luigi）集成，让您能够使用熟悉的工作流程语言为批量计算管道建模。

动态计算资源配置和扩展

Amazon Batch 提供托管计算环境，此类环境可根据所提交作业的数量和资源要求以动态方式预置和扩展计算资源。您可以结合如下要求配置 Amazon Batch 托管计算环境：EC2 实例类型、VPC 子网配置、跨所有实例的最少/最多/所需 vCPU 数量及您愿意为 Spot 实例作为按需实例价格百分比支付的金额。
此外，如果您需要针对 EC2 实例使用不同的配置（如更大的 EBS 卷或另一种操作系统）而不是 Amazon Batch 托管计算资源所提供的配置，您还可以在 Amazon Batch 非托管计算资源中预置和管理自己的计算资源。您只需预置含有 Amazon ECS 代理的 EC2 实例并运行支持的 Linux 和 Docker 版本。然后，Amazon Batch 会在您预置的 EC2 实例上运行批处理作业。

基于优先级的作业安排

借助 Amazon Batch，您可以设置多个具有不同优先级的队列。批处理作业会一直存储在队列中，直到计算资源可用于执行作业。Amazon Batch 计划程序会根据每个作业的资源要求评估已提交给队列的作业的运行时间、运行位置及运行方式。该计划程序会评估每个队列的优先级，并按优先级顺序在最佳计算资源（例如，内存与 CPU 优化型资源）上运行作业，只要这些作业依赖关系确定即可。

集成的监控和日志记录

Amazon Batch 在 亚马逊云科技管理控制台中显示批处理作业的主要操作指标。您可以查看与计算容量相关的指标，以及正在运行、待处理和已完成的作业。您可以在 亚马逊云科技管理控制台中查看您的作业日志（如 STDERR 和 STDOUT），也可以将其写入 Amazon CloudWatch Logs。

对访问权限的精细控制

Amazon Batch 使用 IAM 来控制和监控作业可以访问的 亚马逊云科技资源，例如 Amazon DynamoDB 表。此外，您还可以通过 IAM 为组织中的不同用户定义策略。例如，管理员可以拥有对所有 Amazon Batch API 操作的完全访问权限，开发人员可以拥有与配置计算环境及注册作业相关的有限权限，而最终用户只能拥有提交和删除作业所需的权限。

优势

完全托管式

借助 Amazon Batch，您无需运行第三方商用或开源批处理解决方案，也无需安装或管理批处理软件或服务器。Amazon Batch 可为您管理所有基础设施，从而避免了预置、管理、监控和扩展您的批量计算作业所带来的复杂性。

与 亚马逊云科技集成

Amazon Batch 已与 亚马逊云科技平台原生集成，让您能够利用 亚马逊云科技的扩展、联网和访问管理功能。这便于您轻松运行能够安全地从 亚马逊云科技数据存储（如 Amazon S3 和 Amazon DynamoDB）中检索数据并向其中写入数据的作业。

成本优化的资源预置

Amazon Batch 可根据所提交的批处理作业的数量和资源要求预置计算资源并优化作业分配。Amazon Batch 能够将计算资源动态扩展至运行您的批处理作业所需的任何数量，从而使您不必受固定容量集群的限制。Amazon Batch 还可代表您利用 Spot 实例，从而进一步降低运行您的批处理作业产生的费用。

使用案例

金融服务：交易后分析

自动分析每天的交易费用、执行报告和市场绩效。

生命科学：生物制药的药物筛选

快速地在小分子库中搜索以发现新药。

数字媒体：视觉效果渲染

自动处理内容渲染工作负载，并通过执行依赖关系或资源安排降低人为干预的必要性。