一种资源池的调度方法及装置制造方法及图纸

本发明专利技术提供了一种资源池的调度方法及装置，该方法包括：接收所述资源池待执行任务；获取所述待执行任务的历史执行时间以及客户对所述待执行任务的期望执行时间；根据所述历史执行时间以及所述期望执行时间计算所述资源池对应的最优脚本分组以及并发方式。本发明专利技术可使得批量作业不受限于预先定义的流程与执行资源的性能，从而提升批量执行效率，达到批量执行时间可控制的预期效果。

【技术实现步骤摘要】
一种资源池的调度方法及装置
本专利技术涉及通信
，特别是涉及一种资源池的调度方法及装置。
技术介绍
在大型应用的企业架构中，除了大量的联机事务处理外还存在海量的批量任务处理。批量任务涉及的数据量十分巨大，为满足海量数据处理的性能需求，常采用并发或者并行技术来提高效率。但常见的批量处理框架中，并发的粒度通常为人工事先定义的任务或步骤，模式相对固定，同时最高并发数受限于批量执行资源的容量与性能，批量处理时间不可控制。
技术实现思路
针对现有技术中的问题，本专利技术提供的资源池的调度方法及装置，可使得批量作业不受限于预先定义的流程与执行资源的性能，从而提升批量执行效率，达到批量执行时间可控制的预期效果。为解决上述技术问题，本专利技术提供以下技术方案：第一方面，本专利技术提供一种资源池的调度方法，包括：接收所述资源池待执行任务；获取所述待执行任务的历史执行时间以及客户对所述待执行任务的期望执行时间；根据所述历史执行时间以及所述期望执行时间计算所述资源池对应的最优脚本分组以及并发方式。一实施例中，资源池的调度方法还包括：将所述待执行任务划分为多个子任务；根据所述多个子任务之间的并发执行关系将所述多个子任务进行分组。一实施例中，所述根据所述历史执行时间以及所述期望执行时间计算所述资源池对应的最优脚本分组以及并发方式，包括：利用FFD算法，根据所述历史执行时间以及所述期望执行时间计算所述资源池对应的最优脚本分组以及并发方式。<br>一实施例中，资源池的调度方法还包括：当所述待执行任务执行完毕之后，更新所述历史执行时间。第二方面，本专利技术提供一种资源池的调度装置，包括：任务接收单元，用于接收所述资源池待执行任务；执行时间获取单元，用于获取所述待执行任务的历史执行时间以及客户对所述待执行任务的期望执行时间；最优方案计算单元，用于根据所述历史执行时间以及所述期望执行时间计算所述资源池对应的最优脚本分组以及并发方式。一实施例中，资源池的调度装置还包括：任务划分单元，用于将所述待执行任务划分为多个子任务；任务分组单元，用于根据所述多个子任务之间的并发执行关系将所述多个子任务进行分组。一实施例中，所述最优方案计算单元具体用于利用FFD算法，根据所述历史执行时间以及所述期望执行时间计算所述资源池对应的最优脚本分组以及并发方式。一实施例中，资源池的调度装置还包括：执行时间更新单元，用于当所述待执行任务执行完毕之后，更新所述历史执行时间。第三方面，本专利技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现资源池的调度方法的步骤。第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现资源池的调度方法的步骤。从上述描述可知，本专利技术实施例提供的资源池的调度方法及装置，根据批量期望执行时间与历史执行时间，自动拆分作业数据，按数据组并发执行，使并发不受限于事先定义的任务或步骤，并利用云平台及docker构建批量执行资源池，可动态伸缩、弹性扩展，使批量不受限于执行资源的性能，无最大并发数的限制，从而提高批量执行效率，实现批量任务执行时间可控制的效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的实施例中资源池的调度方法流程示意图一；图2为本专利技术的实施例中资源池的调度方法流程示意图二；图3为本专利技术的实施例中步骤300的流程示意图；图4为本专利技术的实施例中资源池的调度方法流程示意图三；图5为本专利技术的具体应用实例中资源池的调度方法的流程示意图；图6为本专利技术的具体应用实例中资源池的调度方法的思维导图；图7为本专利技术的实施例中资源池的调度装置的结构框图一；图8为本专利技术的实施例中资源池的调度装置的结构框图二；图9为本专利技术的实施例中资源池的调度装置的结构框图三；图10为本专利技术的实施例中的电子设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的实施例提供一种资源池的调度方法的具体实施方式，参见图1，该方法具体包括如下内容：步骤100：接收所述资源池待执行任务。可以理解的是，步骤100还包括配置批量任务的具体步骤、步骤间的依赖关系与处理顺序、步骤执行所依赖的环境等。步骤200：获取所述待执行任务的历史执行时间以及客户对所述待执行任务的期望执行时间。可以理解的是，大部分的待执行任务均为重复性执行任务，均可获得该待执行任务的历史执行时间，对于新加入执行没有历史执行时间时，则取其它类似步骤的平均耗时替代。步骤300：根据所述历史执行时间以及所述期望执行时间计算所述资源池对应的最优脚本分组以及并发方式。可以理解的是，步骤300可以实现的技术效果包括：可动态伸缩、弹性扩展，使批量不受限于执行资源的性能，无最大并发数的限制，从而提高批量执行效率，实现批量任务执行时间可控制的效果。从上述描述可知，本专利技术实施例提供的资源池的调度方法，根据批量期望执行时间与历史执行时间，自动拆分作业数据，按数据组并发执行，使并发不受限于事先定义的任务或步骤，并利用云平台及docker构建批量执行资源池，可动态伸缩、弹性扩展，使批量不受限于执行资源的性能，无最大并发数的限制，从而提高批量执行效率，实现批量任务执行时间可控制的效果。一实施例中，参见图2，资源池的调度方法还包括：步骤400：将所述待执行任务划分为多个子任务。步骤500：根据所述多个子任务之间的并发执行关系将所述多个子任务进行分组。具体地，根据资源池执行子任务时的前驱、并发执行关系以及后继等关系，将多个子任务进行分组。一实施例中，参见图3，步骤300进一步包括：步骤301：利用FFD算法，根据所述历史执行时间以及所述期望执行时间计算所述资源池对应的最优脚本分组以及并发方式。可以理解的是，FFD(FirstFitDecreasing)近似算法是装箱问题中典型的启发式贪心算法，基本思路是将物品从大到小排序，然后依次将物品从前往后装入最先能容纳该物品的箱子，对应到本步骤是采用FFD(FirstFitDecreasing)近似算法以求找到脚本分组的最优化方本文档来自技高网...

【技术保护点】
1.一种资源池的调度方法，其特征在于，包括：/n接收所述资源池待执行任务；/n获取所述待执行任务的历史执行时间以及客户对所述待执行任务的期望执行时间；/n根据所述历史执行时间以及所述期望执行时间计算所述资源池对应的最优脚本分组以及并发方式。/n

【技术特征摘要】
1.一种资源池的调度方法，其特征在于，包括：
接收所述资源池待执行任务；
获取所述待执行任务的历史执行时间以及客户对所述待执行任务的期望执行时间；
根据所述历史执行时间以及所述期望执行时间计算所述资源池对应的最优脚本分组以及并发方式。


2.根据权利要求1所述的资源池的调度方法，其特征在于，还包括：
将所述待执行任务划分为多个子任务；
根据所述多个子任务之间的并发执行关系将所述多个子任务进行分组。


3.根据权利要求1所述的资源池的调度方法，其特征在于，所述根据所述历史执行时间以及所述期望执行时间计算所述资源池对应的最优脚本分组以及并发方式，包括：
利用FFD算法，根据所述历史执行时间以及所述期望执行时间计算所述资源池对应的最优脚本分组以及并发方式。


4.根据权利要求1所述的资源池的调度方法，其特征在于，还包括：
当所述待执行任务执行完毕之后，更新所述历史执行时间。


5.一种资源池的调度装置，其特征在于，包括：
任务接收单元，用于接收所述资源池待执行任务；
执行时间获取单元，用于获取所述待执行任务的历史执行时间以及客户对所述待执行任务的期望执行...

【专利技术属性】
技术研发人员：熊小庆，黄震人，王睿，徐俊超，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11