一种分布式资源调度方法及装置制造方法及图纸

本发明专利技术涉及一种分布式资源调度方法及装置。所述方法包括步骤：将分布式计算系统待完成的总任务划分为多个可并行处理的子任务；估算完成各所述子任务所需要的第一硬件资源；获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源；更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。本发明专利技术能够有效地根据任务将分布式系统的资源进行分配，避免大规模资源浪费，提高任务执行效率，缩短任务完成时间。

A Distributed Resource Scheduling Method and Device

【技术实现步骤摘要】
一种分布式资源调度方法及装置
本专利技术涉及分布式计算
，尤其是涉及一种分布式资源调度方法及装置。
技术介绍
作为信息领域研究热点的分布式计算，主要是通过计算机网络或互联网连接大量的资源，为不同的用户提供存储和计算等各种服务。分布式计算面对的计算任务庞大，任务调度和资源分配问题成为分布式计算效率的关键，针对用户对分布式计算平台的不同的任务需求，要求分布式计算服务提供商能够制定合适的服务策略。专利技术人在研究中发现，传统技术中的分布式系统中集群节点数量庞大，资源利用率低，定制的任务对资源的需求不同，任务之间往往也出现抢资源的问题，不适当的资源分配会造成任务完成时间过长，也会造成大规模的资源浪费。
技术实现思路
有鉴于此，有必要针对上述的问题，提供一种分布式资源调度方法及装置，能够有效地根据任务将分布式系统的资源进行分配，避免大规模资源浪费，提高任务执行效率，缩短任务完成时间。一种分布式资源调度方法，包括：将分布式计算系统待完成的总任务划分为多个可并行处理的子任务；估算完成各所述子任务所需要的第一硬件资源；获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源；更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。所述将分布式计算系统待完成的总任务划分为多个可并行处理的子任务的步骤，包括：将分布式计算系统待完成的总任务划分为多个可并行处理的子任务，并确定各所述子任务的优先级。所述将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源的步骤，包括：根据各所述子任务的优先级的先后顺序，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源。所述第一硬件资源和所述第二硬件资源至少包括CPU资源、内存资源和GPU资源。所述方法包括：将所述第一硬件资源与所述第二硬件资源进行比较时，为所述CPU资源、所述内存资源和所述GPU资源设置不同的比较权重。一种分布式资源调度装置，包括：任务划分模块，用以将分布式计算系统待完成的总任务划分为多个可并行处理的子任务；硬件资源估算模块，用以估算完成各所述子任务所需要的第一硬件资源；硬件资源比较模块，用以获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源；硬件资源列表更新模块，用以更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。所述任务划分模块用以将分布式计算系统待完成的总任务划分为多个可并行处理的子任务，并确定各所述子任务的优先级。所述硬件资源比较模块，用以根据各所述子任务的优先级的先后顺序，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源。所述第一硬件资源和所述第二硬件资源至少包括CPU资源、内存资源和GPU资源。所述硬件资源比较模块将所述第一硬件资源与所述第二硬件资源进行比较时，为所述CPU资源、所述内存资源和所述GPU资源设置不同的比较权重。本专利技术的分布式资源调度方法和装置，将待完成的总任务划分为多个并行处理的子任务，估算各个子任务完成所需要的硬件资源，获取节点列表，并未各个子任务分配最适合的节点及硬件资源，相比于传统技术，能够有效地根据任务将分布式系统的资源进行分配，避免大规模资源浪费，提高任务执行效率，缩短任务完成时间。附图说明图1是本专利技术的一种分布式资源调度方法的流程示意图；图2是本专利技术的一种分布式资源调度方法的应用场景示意图；图3是本专利技术的一种分布式资源调度装置的结构示意图。具体实施方式参见图1，在本专利技术的一个实施例中提供了一种分布式资源调度方法，包括：步骤101，将分布式计算系统待完成的总任务划分为多个可并行处理的子任务。具体的，本步骤中，将分布式计算系统待完成的总任务划分为多个可并行处理的子任务，并确定各所述子任务的优先级。步骤102，估算完成各子任务所需要的第一硬件资源。具体的，第一硬件资源可以包括CPU资源、内存资源和GPU资源等。例如CPU资源包括线程数目、主频等。步骤103，获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将第一硬件资源与第二硬件资源进行比较，为各子任务分配最适合处理的节点及硬件资源。具体的，本步骤根据各子任务的优先级的先后顺序，将第一硬件资源与第二硬件资源进行比较，为各子任务分配最适合处理的节点及硬件资源。本步骤中，将所述第一硬件资源与所述第二硬件资源进行比较时，为所述CPU资源、所述内存资源和所述GPU资源设置不同的比较权重，例如可以但不限于将内存资源的参数设置最大的比较权重，即分配节点时优先选取可用内存最大的节点来处理子任务。步骤104，更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。参见图2，在一个应用场景中具体说明本专利技术的分布式资源调度方法。如图2所示，包括一个主节点Master和四个子节点Slave。主节点与子节点的硬件配置如下：Master：16核32线程，主频4.0，64G内存，P5000显卡，512GSSD；Slave1：8核16线程，主频4.0，32G内存，P6000显卡，512GSSD；Slave2：8核16线程，主频4.0，32G内存，P6000显卡，512GSSD；Slave3：8核16线程，主频4.0，32G内存，P6000显卡，512GSSD；Slave4：8核16线程，主频4.0，32G内存，P6000显卡，512GSSD；本实施例中，主节点Master把总任务T划分为5个可并行处理的子任务t1、t2、t3、t4、t5，5个子任务皆为同一个优先级。Master估算5个子任务所需要的硬件资源：假设5个子任务所需要的第一硬件资源为：t1:14线程，10G内存，50％GPU使用率；t2:3线程，3G内存，10％GPU使用率；t3:1线程，500M内存，0GPU使用率；t4:5线程，5G内存，20％GPU使用率；t5:2线程，2G内存，15％GPU使用率；Master获取分布式系统中的所有子节点，组成节点列表node＝[Slave1,Slave2,Slave3,Slave4]。Master获取node中剩余可使用的硬件资源，假设4个Slave剩余硬件资源为：Slave1：16线程，25G内存，GPU使用率80％；Slave2：13线程，25G内存，GPU使用率80％；Slave3：8线程，20G内存，GPU使用率60％；Slave4：8线程，16G内存，GPU使用率40％；则第二硬件资源列表src＝{Slave1：[16,25,80％],Slave2：[13,25,80％],Slave3：[8,20,60％],Slave4：[8,16,40％]}由于5个子任务优先级相同，则从t1开始，从src中获取资源。由于t1所需要的硬件资源为[14,10,50]，因此，Slave1的剩余可使用资源可执行任务t1；t2所需要的硬件资源为[3,3,10％]，由于Slave1资源不够，因此t2在Slave2上执本文档来自技高网...

【技术保护点】
1.一种分布式资源调度方法，其特征在于，所述方法包括步骤：将分布式计算系统待完成的总任务划分为多个可并行处理的子任务；估算完成各所述子任务所需要的第一硬件资源；获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源；更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。

【技术特征摘要】
1.一种分布式资源调度方法，其特征在于，所述方法包括步骤：将分布式计算系统待完成的总任务划分为多个可并行处理的子任务；估算完成各所述子任务所需要的第一硬件资源；获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源；更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。2.根据权利要求1所述的分布式资源调度方法，其特征在于，所述将分布式计算系统待完成的总任务划分为多个可并行处理的子任务的步骤，包括：将分布式计算系统待完成的总任务划分为多个可并行处理的子任务，并确定各所述子任务的优先级。3.根据权利要求2所述的分布式资源调度方法，其特征在于，所述将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源的步骤，包括：根据各所述子任务的优先级的先后顺序，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源。4.根据权利要求1至3任一项所述的分布式资源调度方法，其特征在于，所述第一硬件资源和所述第二硬件资源至少包括CPU资源、内存资源和GPU资源。5.根据权利要求4所述的分布式资源调度方法，其特征在于，所述方法包括：将所述第一硬件资源与所述第二硬件资源进行比较时，为所述CPU资源、所述内存资源和所述GPU...

【专利技术属性】
技术研发人员：魏千洲，张东波，秦昊，杨瑞，凌翔，刘智，林利彬，张昱，王晓旭，郭旭，
申请(专利权)人：广东省智能制造研究所，
类型：发明
国别省市：广东,44