一文详解如何统筹管理Azure HPC资源

NO.5

云筹决算专刊?Azure计算系列

CPU、GPU、RAM……

高性能计算（HPC）涉及的基础设施纷繁多样

应该如何统筹管理

本文详解Azure Batch

与Azure HPC Cache

拉满计算性能

01

Azure Batch

通过Azure Batch在Azure中高效运行大规模并行和高性能计算（HPC）批处理作业。Azure Batch创建和管理计算节点（虚拟机）池，安装要运行的应用程序，并安排作业在节点上运行。无需安装、管理或扩展集群或作业调度程序软件。相反，用户可以使用Batch API和工具、命令行脚本或Azure门户来配置、管理和监视用户的作业。Azure Batch不会将用户数据移出或存储到其部署的区域之外。

开发人员可以使用Batch作为平台服务来构建需要大规模执行的SaaS应用程序或用户端应用程序。例如，用户可以使用Batch构建一个服务来为金融服务公司运行蒙特卡罗风险模拟，或者构建一个服务来处理许多图像。使用Batch不收取额外费用。用户只需为消耗的底层资源付费，及计算单元虚拟机、存储和网络。

通过使用渲染工具（包括Autodesk Maya、3ds Max、Arnold和V-Ray），Batch支持大规模渲染工作负载。用户还可以将Batch作业作为更大的Azure工作流的一部分来运行，以转换由其他工具管理的数据，如Azure数据工厂等。

Batch可以很好地处理本质上并行（也称为“令人尴尬的并行”）工作负载。这些工作负载具有可以独立运行的应用程序，每个部分完成总工作流的部分工作。当应用程序正在执行时，程序可能会需要访问一些公共数据，但这些正在运行的程序不会与应用程序的其他实例进行通信。因此，本质上并行的工作负载可以大规模运行就取决于是否可以同时运行应用程序的计算资源量。

用户通过使用Batch来运行的一些本质上并行的工作负载的示例：

·使用蒙特卡罗模拟的金融风险建模

·VFX和3D图像渲染

·图像分析与处理

·媒体转码

·基因序列分析

·光学字符识别（OCR）

·数据摄取、处理和ETL操作

·软件测试执行

Batch的一个常见使用场景涉及在计算节点池上扩展本质上并行的工作，例如3D场景的图像渲染。这个池可以是用户的“渲染农场”，为用户的渲染工作提供数十、数百甚至数千个内核。下图显示了常见Batch工作流中的步骤，其中用户端应用程序或托管服务使用Batch运行并行工作负载。

使用Batch的一种通用流程：

1.将输入文件和处理这些文件的应用程序上传到用户的Azure存储帐户。

2.在用户的Batch帐户中创建一个Batch计算节点池，一个在池上运行工作负载的作业，以及作业中的任务。

3.将输入文件和应用程序下载到Batch

4.监控任务执行及进度

5.上传任务输出

6.下载输出文件

更多Azure Batch详细信息请参考：

https://learn.microsoft.com/en-us/azure/batch/

02

Azure HPC Cache（缓存）

Azure HPC缓存可加快对高性能计算（HPC）任务数据的访问速度。通过在Azure中缓存文件，Azure HPC缓存将云计算的可扩展性带入用户现有的工作流程。该服务甚至可以用于通过WAN链接存储的数据的工作流，如在用户的本地数据中心网络附加存储（NAS）环境中。

Azure HPC缓存能很容易得从Azure门户启动和监控。现有的NFS存储或新的Blob容器均可以成为其聚合命名空间的一部分，这使得用户端访问变得简单，即使用户更改了后端存储目标。

Azure HPC缓存最适合以下类型的工作流，以提高工作效率：

·读取密集型文件访问工作流

·存储在NFS可访问存储、Azure Blob或两者中均有的数据

·多达75,000个CPU内核的计算场

Azure HPC缓存可以添加到许多行业的各种工作流中。任何需要大量机器以低延迟大规模访问一组文件的系统都将从该服务中受益。以下给出了具体示例：在媒体和娱乐领域，Azure HPC缓存可以加快时间关键渲染项目的数据访问。VFX渲染工作流程通常需要大量通过计算节点进行的“最后时刻“运算。这些工作流的数据通常位于本NAS环境中。Azure HPC缓存可以在云中缓存该文件数据，以减少延迟并增强按需渲染的灵活性。其他具有具体案例的细分领域包括生命科学、半导体设计检验、金融服务分析等。

Azure HPC Cache驻留在单个区域中。如果用户将它连接到位于其他区域的Blob容器，HPC Cafche可以访问存储在其他区域中的数据。Cache不会永久存储用户数据。

更多Azure HPC Cache详细信息请参考：

https://learn.microsoft.com/en-us/azure/hpc-cache/

「云」筹决算

计算资源上云融合，性能不断攀高。微软Azure特推出「云」筹决算专刊，详解Azure HPC高性能云计算产品服务矩阵，如何集成计算、网络和存储资源，为应用程序和并行工作负载释放超强算力。

相关推荐: 设计中国北京 | Caccaro首次惊艳亮相

9月12日至9月16日，第二届“设计中国北京”在全国农业展览馆11号馆开展。 “意大利生活”Living Italy再度携手意大利维罗纳会展Veronafiere打造200平方米的大型项目，由建筑师Giovanni Siard领衔设计，联合14个顶尖设计品牌，…