一种基于虚拟化平台的混合计算资源调度系统技术方案

本发明专利技术提供一种基于虚拟化平台的混合计算资源调度系统，包括1个管理节点、1个用户登录节点、1个存储节点、3个CPU计算节点及4个GPU计算节点，且该资源调度系统采用高速网络互联，整套集群采用Slurm集群软件统一进行调度与管理，该调度系统包括并实现了资源分配、作业管理、作业调度、CPU多卡计算和GPU多卡计算功能，本发明专利技术在沿用传统计算集群整体框架的基础上，利用虚拟化技术，用虚拟机代替了物理节点，将计算资源合理地颗粒化，再按照计算需求量分配。很大程度减少了建设费用，实现了计算资源高利用率、按需分配的特点，同时降低了使用成本，适用于公司业务规模不大，计算频次需求多的企业。

【技术实现步骤摘要】

本专利技术涉及高性能计算领域，具体为一种基于虚拟化平台的混合计算资源调度系统。

技术介绍

1、卫星遥感影像数据处理需要对大量数据进行分析和处理，这些数据通常是高分辨率的影像数据，需要进行图像处理、分类、分割、图像重建等计算密集型的操作。由于数据量大、计算复杂度高，传统的cpu计算往往难以满足需要，使用gpu计算可以更有效地加速数据处理和分析。

2、而在现有技术中的gpu计算节点或者集群搭建需要专用设备，计算资源的最小单位是单张gpu卡，至少需要一个管理节点、一个控制节点、若干计算节点、高速网络等，建设成本较高。对于计算需求量和计算节点资源的分配很难平衡，经常会出现计算需求大于节点个数需要排队，或小计算量占用整张gpu卡的情况，进而导致计算资源利用率较低的问题。

技术实现思路

1、针对现有技术存在的不足，本专利技术目的是提供一种基于虚拟化平台的混合计算资源调度系统，以解决上述
技术介绍
中提出的问题，本专利技术减少了建设费用，同时也保障了计算资源的高利用率，实现了计算资源高利用率、按需分配的特点，同时降本文档来自技高网...

【技术保护点】

1.一种基于虚拟化平台的混合计算资源调度系统，其特征在于：包括1个管理节点、1个用户登录节点、1个存储节点、3个CPU计算节点及4个GPU计算节点，且该资源调度系统采用高速网络互联，整套集群采用Slurm集群软件统一进行调度与管理，该调度系统包括并实现了资源分配、作业管理、作业调度、CPU多卡计算和GPU多卡计算功能。

2.根据权利要求1所述的一种基于虚拟化平台的混合计算资源调度系统，其特征在于：资源分配功能能够根据用户需求和集群资源情况，动态分配计算节点CPU、GPU、内存和其他资源，确保资源的高效利用，调度器根据当前的资源可用情况和作业队列中的优先级，分配资源给新提交的作...

【技术特征摘要】

1.一种基于虚拟化平台的混合计算资源调度系统，其特征在于：包括1个管理节点、1个用户登录节点、1个存储节点、3个cpu计算节点及4个gpu计算节点，且该资源调度系统采用高速网络互联，整套集群采用slurm集群软件统一进行调度与管理，该调度系统包括并实现了资源分配、作业管理、作业调度、cpu多卡计算和gpu多卡计算功能。

2.根据权利要求1所述的一种基于虚拟化平台的混合计算资源调度系统，其特征在于：资源分配功能能够根据用户需求和集群资源情况，动态分配计算节点cpu、gpu、内存和其他资源，确保资源的高效利用，调度器根据当前的资源可用情况和作业队列中的优先级，分配资源给新提交的作业。

3.根据权利要求2所述的一种基于虚拟化平台的混合计算资源调度系统，其特征在于：通过bash脚本结合，实现并行计算和资源管理，具体实现过程如下：

4.根据权利要求3所述的一种基于虚拟化平台的混合计算资源调度系统，其特征在于，将任务分配和绑定到节点内的cpu/gpu(可选)：在可选的步骤中，slurm将每个任务分发并绑定到任务分发到的具体cpu/gpu上。

5.根据权利要求1所述的一种基于虚拟化平台的混合计算资源调度系统，其特征在于：作业管理功能负责用户提交作业的全生命周期管理，同时提供安全机制，保护作业数据和计算资源不被未授权访问，且作业管理功能的实现流程包括：作业提交、作业排队、作业调度、作业分配、作业启动、作业执行、作业完成、作业取消、作业依赖、作业重启、作业挂起和恢复、作业会计和日志。

6.根据权利要求1所述的一种基于虚拟化平台的混合计算资源调度系统，其特征在于，作业调度的主调度调度流程包括：使用sched/backfill流程，用于回填调度模块，以扩充默认的主调度，回填调度将启动低优先级作业，如果这样做不延迟任何高优先级作业的预期启动时间，回填调度的有效性取决于用户设定作业时限，否则所有作业的时限相同，无法回填。

7.根据权利要...

【专利技术属性】
技术研发人员：陈卓，谢浪，周锋，张博康，史礼婷，程科文，李杭，
申请(专利权)人：航天行云科技有限公司，
类型：发明
国别省市：