一种基于MPI的集群资源调度方法、装置及系统制造方法及图纸

本发明专利技术公开了一种基于MPI的集群资源调度方法、装置及系统，所述方法包括：获取集群内各计算机的资源剩余信息；获取当前MPI任务所需资源；根据当前任务所需资源和集群内各计算机的资源剩余信息生成基于MPI的可用资源列表；基于MPI标准，并根据所述可用资源列表执行当前任务的资源调度。本发明专利技术根据当前任务所需资源和集群内各计算机的资源剩余信息生成可用资源列表；根据所述可用资源列表执行当前任务的资源调度，实现了MPI框架上的资源调度能力，将客户端基于mpich之上进行了封装，对本就高效的MPI框架集成上了资源调度的能力，可以自动化的调度集群内的资源使用，能有效避免集群资源的浪费、倾斜以及冲突。

【技术实现步骤摘要】
一种基于MPI的集群资源调度方法、装置及系统
本专利技术涉及计算机
，具体而言，涉及一种基于MPI的集群资源调度方法、装置、电子设备、系统及计算机可读介质。
技术介绍
MPI（MessagePassingInterface，消息传递接口）是一个基于消息传递的并行计算框架，其能够完成并行机的进程间通讯。MPI在今天仍为高性能计算的主要模型。目前MPI广泛用于互联网企业的广告算法和迭代算法，大型互联网公司通常有成百上千的MPI计算集群。但是MPI框架本身不含有资源调配的相关功能，如果程序员不手动进行资源调度，会导致在使用集群资源时产生浪费、倾斜以及冲突的可能。
技术实现思路
本专利技术旨在解决MPI集群本身无法进行资源调度，在使用集群资源时会产生浪费、倾斜以及冲突的技术问题。为了解决上述技术问题，本专利技术第一方面提出一种基于MPI的集群资源调度方法，所述方法包括：获取集群内各计算机的资源剩余信息；获取当前MPI任务所需资源；根据当前任务所需资源和集群内各计算机的资源剩余信息生成基于MPI的可用资源列表；基于MPI标准，并根据所述可用资源列表执行当前任务的资源调度。根据本专利技术一种优选的实施方式，通过时序数据库InfluxDB获取集群内各计算机的资源剩余信息。根据本专利技术一种优选的实施方式，所述通过时序数据库InfluxDB获取集群内各计算机的资源剩余信息之前，所述方法还包括：通过守护进程实时收集集群内各个计算机的资源指标，并将所述资源指标同步到InfluxDB中；InfluxDB接收并存储所述资源指标。根据本专利技术一种优选的实施方式，当接收到当前任务时，获取集群内各计算机的资源剩余信息；或者，实时获取集群内各计算机的资源剩余信息。根据本专利技术一种优选的实施方式，所述可用资源列表包括：集群内可调度的计算机地址，所述根据所述可用资源列表执行当前任务的资源调度包括：调用mpich并将可用资源列表中可调度的计算机地址作为参数传入mpich；mpich在所述可调度的计算机中并行执行当前任务。根据本专利技术一种优选的实施方式，mpich在所述可调度的计算机中选择执行当前任务的计算机及执行当前任务对每台计算机的资源需求；执行当前任务的计算机根据所述资源需求隔离出执行当前任务的资源，并在此资源下执行当前任务。为了解决上述技术问题，本专利技术第二方面提供一种基于MPI的集群资源调度装置，所述装置包括：第一获取模块，用于获取集群内各计算机的资源剩余信息；第二获取模块，用于获取当前MPI任务所需资源；生成模块，用于根据当前任务所需资源和集群内各计算机的资源剩余信息生成基于MPI的可用资源列表；执行模块，用于基于MPI标准，并根据所述可用资源列表执行当前任务的资源调度。根据本专利技术一种优选的实施方式，所述装置通过时序数据库InfluxDB获取集群内各计算机的资源剩余信息。根据本专利技术一种优选的实施方式，所述装置接收到当前任务时，获取集群内各计算机的资源剩余信息；或者，所述装置实时获取集群内各计算机的资源剩余信息。根据本专利技术一种优选的实施方式，所述可用资源列表包括：集群内可调度的计算机地址，所述执行模块具体用于：调用mpich并将可用资源列表中可调度的计算机地址作为参数传入mpich，以便mpich在所述可调度的计算机中并行执行当前任务。为解决上述技术问题，本专利技术第三方面提供一种电子设备，包括：处理器；以及存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器执行上述的方法。为解决上述技术问题，本专利技术第四方面提供一种基于MPI的集群资源调度系统，包括：基于MPI集群中的多个计算机，各个计算机内可以启动守护进程、时序数据库InfluxDB、以及上述的基于MPI的集群资源调度装置。为了解决上述技术问题，本专利技术第五方面提出一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，当所述一个或多个程序被处理器执行时，实现上述方法。本专利技术通过获取集群内各计算机的资源剩余信息；根据当前任务所需资源和集群内各计算机的资源剩余信息生成可用资源列表；最后根据所述可用资源列表执行当前任务的资源调度，实现了MPI框架上的资源调度能力，将客户端基于mpich之上进行了封装，对本就高效的MPI框架集成上了资源调度的能力，可以自动化的调度集群内的资源使用，能有效避免集群资源的浪费、倾斜以及冲突。附图说明为了使本专利技术所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本专利技术的具体实施例。但需声明的是，下面描述的附图仅仅是本专利技术的示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。图1是本专利技术一种基于MPI的集群资源调度方法的流程示意图；图2是本专利技术基于MPI的集群资源调度方法的示意图；图3是本专利技术一种基于MPI的集群资源调度装置的结构框架示意图；图4是根据本专利技术的一种电子设备的示例性实施例的结构框图；图5是本专利技术一种基于MPI的集群资源调度系统的结构框架示意图；图6是本专利技术一个计算机可读介质实施例的示意图。具体实施方式现在将参考附图来更加全面地描述本专利技术的示例性实施例，虽然各示例性实施例能够以多种具体的方式实施，但不应理解为本专利技术仅限于在此阐述的实施例。相反，提供这些示例性实施例是为了使本专利技术的内容更加完整，更加便于将专利技术构思全面地传达给本领域的技术人员。在符合本专利技术的技术构思的前提下，在某个特定的实施例中描述的结构、性能、效果或者其他特征可以以任何合适的方式结合到一个或更多其他的实施例中。在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本专利技术。附图中的流程图仅是一种示例性的流程演示，不代表本专利技术的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本专利技术的专利技术主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描本文档来自技高网...

【技术保护点】
1.一种基于MPI的集群资源调度方法，其特征在于，执行该方法的客户端基于MPI的实现之上进行了封装，所述方法包括：/n获取集群内各计算机的资源剩余信息；/n获取当前MPI任务所需资源；其中，以任务队列的方式存放提交的MPI任务，按照先进先出或者MPI任务的优先级设置任务队列；/n根据当前任务所需资源和集群内各计算机的资源剩余信息生成基于MPI的可用资源列表；/n基于MPI标准，并根据所述可用资源列表执行当前任务的资源调度。/n

【技术特征摘要】
1.一种基于MPI的集群资源调度方法，其特征在于，执行该方法的客户端基于MPI的实现之上进行了封装，所述方法包括：
获取集群内各计算机的资源剩余信息；
获取当前MPI任务所需资源；其中，以任务队列的方式存放提交的MPI任务，按照先进先出或者MPI任务的优先级设置任务队列；
根据当前任务所需资源和集群内各计算机的资源剩余信息生成基于MPI的可用资源列表；
基于MPI标准，并根据所述可用资源列表执行当前任务的资源调度。


2.根据权利要求1所述的方法，其特征在于，通过时序数据库InfluxDB获取集群内各计算机的资源剩余信息。


3.根据权利要求2所述的方法，其特征在于，所述通过时序数据库InfluxDB获取集群内各计算机的资源剩余信息之前，所述方法还包括：
通过守护进程实时收集集群内各个计算机的资源指标，并将所述资源指标同步到InfluxDB中；
InfluxDB接收并存储所述资源指标。


4.根据权利要求1所述的方法，其特征在于，当接收到当前任务时，获取集群内各计算机的资源剩余信息；
或者，实时获取集群内各计算机的资源剩余信息。


5.根据权利要求1所述的方法，其特征在于，所述可用资源列表包括：集群内可调度的计算机地址，所述根据所述可用资源列表执行当前任务的资源调度包括：
调用mpich并将可用资源列表中可调度的计算机地址作为参数传入mpich；
mpich在所述可调度的计算机中并行执行当前任务。

【专利技术属性】
技术研发人员：范来琦，曾勇平，王安滨，
申请(专利权)人：北京淇瑀信息科技有限公司，
类型：发明
国别省市：北京;11