任务调度方法、装置及计算机程序产品制造方法及图纸

一种任务调度方案，基于逻辑时钟和分布式系统的负载指数生成后台任务的配额，将配额分配给多个业务节点进行处理，从而实现基于分布式系统负载在逻辑时钟周期后台任务的灵活调度，提高了后台任务调度的灵活性和实时性，保障了后台任务调度的准确性。

【技术实现步骤摘要】
任务调度方法、装置及计算机程序产品
本专利技术涉及信息
，更具体地，涉及一种任务调度方法、装置及计算机程序产品。
技术介绍
在公有云中，与用户操作时延息息相关的前台业务只需要完成流程较简单的标记操作即可以将操作结果返回给客户，然后再由后台任务定时处理所有的数据。比如用户删除某一个有着1百万文件的文件夹，客户端选择这个文件夹点击删除后，公有云的服务端在收到这个批量删除的请求后，前台业务只需要在缓存或者数据库里将这个文件夹打上一个删除的标签，就可以向用户返回删除操作已经成功的响应消息。此次业务处理只涉及一次缓存或数据库的读写操作，时延在毫秒数据级，下一次在查询用户的数据资源时会剔除有删除标记的记录，客户端所见删除操作马上生效，几乎是实时的反馈。而接下来真正的清理这批被打上“删除”标签的文件夹中的文件全部属于后台任务。在公有云的服务当中，尽管需要数量巨大的后台任务，然而，为了满足前台业务的可接入性、接入质量与性能，后台任务的优先级要低于前台业务。现有技术中，公有云中基于时间配置来调度后台任务，比如一般认为凌晨0-6点用户使用公有云业务比较少，设置公有云在这个时间段大量执行后台任务。然而现有操作对经验要求太高，灵活性和易用性不足，后台任务调度缺乏准确性。
技术实现思路
本专利技术实施例第一方面，提供了一种分布式系统中任务调度方法，所述分布式系统中包含多个业务节点，所述多个业务节点中的一个为主业务节点；所述主业务节点获取所述分布式系统在前一个逻辑时钟周期的负载指数，根据所述负载指数生成当前逻辑时钟周期后台任务的配额，将所述配额分配给所述多个业务节点。从而实现基于分布式系统负载在逻辑时钟周期对后台任务的灵活调度，提高了后台任务调度的灵活性和实时性，保障了后台任务调度的准确性。进一步的，由于主业务节点根据前一个逻辑时钟周期内负载指数生成后台任务，可以根据分布式系统中的负载调整后台任务的配额，实现分布式系统中后台任务的统一规划，避免无效的后台任务和分布式系统中资源的浪费。结合本专利技术实施例第一方面，在第一种可能的实现方式中，所述前一个逻辑时钟周期的负载指数是基于所述分布式系统的业务失败率、时延、令牌消耗量、每一个业务节点的中央处理单元和内存使用率中的至少一个参数确定的。结合本专利技术实施例第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述主业务节点根据所述负载指数生成当前逻辑时钟周期内后台任务的配额，具体包括：所述主业务节点根据所述负载指数以及所述分布式系统的后台任务总量生成所述当前逻辑时钟周期内后台任务的配额。分布式系统在基于逻辑时钟进行后台任务调度时，同时考虑分布式系统的负载指数，在对后台任务进行调度时，不影响前台业务，从而保证分布式系统的前台业务性能。由于主业务节点根据前一个逻辑时钟周期内负载指数生成后台任务，可以根据分布式系统中的负载调整后台任务的配额，实现分布式系统中后台任务的统一规划，避免无效的后台任务和分布式系统中资源的浪费。结合本专利技术实施例第一方面或第一方面的第一或第二种可能的实现方式，在第三种可能的实现方式中，分布式系统还包括服务节点，服务节点用于生成逻辑时钟，向主业务节点发送逻辑时钟。分布式系统使用服务节点生成的逻辑时钟，从而保证分布式系统中节点进展之间的相对一致性。结合本专利技术实施例第一方面或第一方面的第一至第三种任一可能的实现方式，在第四种可能的实现方式中，分布式系统还包括管理节点，管理节点用于收集分布式系统中的负载信息，生成负载指数。其中，负载指数用于指示分布式系统当前的负载状态。进一步的，管理节点还用于向主业务节点发送负载指数。具体的，管理节点用于生成前一个逻辑时钟周期内分布式系统的负载指数。进一步的，管理节点还用于生成当前逻辑时钟周期内分布式系统的负载指数。本专利技术实施例第一方面及第一方面的各种实现方式中，所述分布式系统为分布式对象存储系统、分布式文件系统和分布式块存储系统中的一种。本专利技术实施例第二方面，提供了一种分布式系统中的任务调度装置，其中，分布式系统中包含多个业务节点，所述任务调度装置包括各种单元，用于实现本专利技术实施例第一方面及本专利技术实施例第一方面的各种实现方式中的方案。本专利技术实施例第三方面提供了一种分布式系统中的任务调度装置，包括接口和处理器，接口和处理器通信，处理器用于执行用于实现本专利技术实施例第一方面及本专利技术实施例第一方面的各种实现方式中的方案。相应地，本专利技术实施例第五方面还提供了计算机可读存储介质和计算机程序产品，计算机可读存储介质和计算机程序产品中包含计算机指令用于实现本专利技术实施例第一方面各方案。附图说明图1是分布式块存储系统示意图。图2是分布式块存储系统的服务器的示意性结构框图。图3是本专利技术实施例任务调度的示意性流程图。图4是本专利技术实施例任务调度装置示意图。具体实施方式下面将结合附图，对本专利技术实施例中的技术方案进行描述。本专利技术实施例以逻辑时钟为单位，根据分布式系统在前一个逻辑时钟周期内的负载情况，生成当前逻辑时钟周期的后台任务数量，以逻辑时钟为周期，基于分布式系统负载进行后台任务调度。本专利技术实施例的分布式系统可以为分布式文件存储系统或分布式对象存储系统(如的9000系列)，还可以是分布式块存储系统(如的系列)等，也可以是公有云中的分布式系统，或者其他分布式计算系统。以的系列。示例性的如图1所示，分布式块存储系统包括多台服务器，如服务器1、服务器2、服务器3，……，服务器6，服务器间通过InfiniBand或以太网络等互相通信。在实际应用当中，分布式块存储系统中服务器的数量可以根据实际需求增加或减少，本专利技术实施例对此不作限定。分布式块存储系统的服务器中包含如图2所示的结构。如图2所示，分布式块存储系统中的每台服务器包含中央处理单元(CentralProcessingUnit,CPU)201、内存202、接口203、硬盘1、硬盘2和硬盘3，内存202中存储计算机指令，CPU201执行内存202中的程序指令执行相应的操作。接口203可以为硬件接口，如网络接口卡(NetworkInterfaceCard,NIC)或主机总线适配器(HostBusAdaptor,HBA)等，也可以为程序接口模块等。硬盘包含固态硬盘(SolidStateDisk,SSD)、机械硬盘或者混合硬盘。机械硬盘如HDD(HardDiskDrive)。另外，为节省CPU201的计算资源，现场可编程门阵列(FieldProgrammableGateArray,FPGA)或其他拥有计算功能的硬件也可以代替CPU201执行上述相应的操作，或者，FPGA或其他硬件与CPU201共同执行上述相应的操作。为方便描述，本专利技术实施例将CPU201或者CPU201与内存202的组合称为处理器，处理器也可以是FPGA及其他替代CPU201的硬件，或者处理器也可以是FPGA及其他替代CPU201的硬件与CPU201的组合。接口203可以为网络接口卡(NetworkingInterfaceCard,NIC)、主机总线适配器(HostBusAdaptor,HBA)等。如图1和图2所描述的分布式块存储系统，服务器1、服务器2、服务器3，……，服务器6作为业务节点，调度和执行后台任务，使用本专利技术实施例提供的业务调度方法本文档来自技高网...

【技术保护点】
1.一种分布式系统中任务调度方法，其特征在于，所述分布式系统中包含多个业务节点，所述多个业务节点中的一个为主业务节点；所述方法包括：所述主业务节点获取所述分布式系统在前一个逻辑时钟周期的负载指数；所述主业务节点根据所述负载指数生成当前逻辑时钟周期后台任务的配额；所述主业务节点将所述配额分配给所述多个业务节点。

【技术特征摘要】
1.一种分布式系统中任务调度方法，其特征在于，所述分布式系统中包含多个业务节点，所述多个业务节点中的一个为主业务节点；所述方法包括：所述主业务节点获取所述分布式系统在前一个逻辑时钟周期的负载指数；所述主业务节点根据所述负载指数生成当前逻辑时钟周期后台任务的配额；所述主业务节点将所述配额分配给所述多个业务节点。2.根据权利要求1所述的方法，其特征在于，所述前一个逻辑时钟周期的负载指数是基于所述分布式系统的业务失败率、时延、令牌消耗量、每一个业务节点的中央处理单元和内存使用率中的至少一个参数确定的。3.根据权利要求1或2所述的方法，其特征在于，所述主业务节点根据所述负载指数生成当前逻辑时钟周期后台任务的配额，具体包括：所述主业务节点根据所述负载指数以及所述分布式系统的后台任务总量生成所述当前逻辑时钟周期后台任务的配额。4.根据权利要求1至3任一所述的方法，其特征在于，所述分布式系统为分布式对象存储系统、分布式文件系统和分布式块存储系统中的一种。5.一种分布式系统中的任务调度装置，其特征在于，所述分布式系统中包含多个业务节点，所述任务调度装置包括：获取单元，用于获取所述分布式系统在前一个逻辑时钟周期的负载指数；生成单元，用于根据所述负载指数生成当前逻辑时钟周期后台任务的配额；分配单元，用于将所述配额分配给所述多个业务节点。6.根据权利要求5所述的...

【专利技术属性】
技术研发人员：高杨东，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44