【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种用于自适应调度的任务处理方法及系统。
技术介绍
1、随着云计算和大数据的发展，任务调度系统需要具备自我调整的能力，以适应不断变化的运行环境和任务特性。然而现有的任务调度技术，无法根据实时的设备状况和任务需求动态调整任务执行计划。可见，现有技术存在缺陷，亟需解决。
技术实现思路
1、本专利技术所要解决的技术问题在于，提供一种用于自适应调度的任务处理方法及系统，能够有效提高任务执行的效率和合理性。
2、为了解决上述技术问题，本专利技术第一方面公开了一种用于自适应调度的任务处理方法，所述方法包括：
3、获取目标执行设备欲执行的多个任务；
4、根据所述任务的任务参数和所述目标执行设备的设备参数，对所述多个任务进行分组，得到多个任务池；
5、根据每一所述任务的所述任务参数，确定每一所述任务池中的所述任务的执行优先级；
6、响应于执行启动指令，并行启动执行每一所述任务池中的任务；所述任务池的执行过程中根据所述执行任务优先级执行所述任务。
7、作为一种可选的实施方式，在本专利技术第一方面中，所述任务参数包括任务数据切分节点、任务执行数据量、任务执行时间点、任务资源需求和任务依赖关系；所述任务数据切分节点为数据库切分键、数据表切分键或数据字段切分键。
8、作为一种可选的实施方式，在本专利技术第一方面中，所述设备参数包括磁盘io参数、内存参数、cpu参数和网络带宽参数中的至少一种。
9、作为一种可选的实施方式，在本专利技术第一方面中，所述根据所述任务的任务参数和所述目标执行设备的设备参数，对所述多个任务进行分组，得到多个任务池，包括：
10、将所述目标执行设备的设备参数输入至训练好的任务并发执行量预测神经网络模型，以得到所述目标执行设备的任务并发执行量；所述任务并发执行量预测神经网络模型通过包括有多个训练设备参数和对应的最大任务并发执行量标注的训练数据集训练得到；
11、根据所述任务的任务参数和所述任务并发执行量，基于动态规划算法，对所述多个任务进行分组，得到多个任务池。
12、作为一种可选的实施方式，在本专利技术第一方面中，所述根据所述任务的任务参数和所述任务并发执行量，基于动态规划算法，对所述多个任务进行分组，得到多个任务池，包括：
13、设定第一目标函数为每一任务池中的任务数量达到最大以及所有任务池的数量达到最小；
14、设定第一限制条件包括每一任务池中的任意两个任务之间的所述任务参数之间不存在矛盾情况以及每一任务池中的所有任务对应的任务数据量之和小于所述任务并发执行量；所述矛盾情况通过预设的任务参数矛盾规则来判断；
15、基于动态规划算法，根据所述第一目标函数和所述第一限制条件，对所有所述任务进行重复分组演算，直至得到最优的多个任务池。
16、作为一种可选的实施方式，在本专利技术第一方面中，所述根据每一所述任务的所述任务参数，确定每一所述任务池中的所述任务的执行优先级，包括：
17、对于每一所述任务，将该任务的所述任务参数输入至训练好的任务难度预测神经网络，以得到该任务的难度参数；所述任务难度预测神经网络通过包括有多个训练任务参数和对应的难度标注的训练数据集训练得到；
18、对于每一所述任务池，根据该任务池中的所有任务对应的所述难度参数和所述任务参数，确定该任务池中每一任务对应的执行优先级。
19、作为一种可选的实施方式，在本专利技术第一方面中，所述任务依赖关系包括时间依赖关系、数据依赖关系和条件依赖关系；所述根据该任务池中的所有任务对应的所述难度参数和所述任务参数，确定该任务池中每一任务对应的执行优先级，包括：
20、设定第二目标函数为该任务池对应的任务排序中所有所述任务对应的序列位置优先程度与所述难度参数之间的差值达到最小；
21、设定第二限制条件包括该任务池对应的任务排序中任意两个相邻的任务之间满足所述时间依赖关系、所述数据依赖关系和所述条件依赖关系；
22、基于动态规划算法，根据所述第二目标函数和所述第二限制条件，对该任务池中所有任务进行优先级排序演算，直至得到最优的任务排序；
23、根据每一任务在所述任务排序中的序列位置，确定每一任务对应的执行优先级。
24、本专利技术第二方面公开了一种用于自适应调度的任务处理系统，所述系统包括：
25、获取模块，用于获取目标执行设备欲执行的多个任务；
26、分组模块，用于根据所述任务的任务参数和所述目标执行设备的设备参数，对所述多个任务进行分组，得到多个任务池；
27、确定模块，用于根据每一所述任务的所述任务参数，确定每一所述任务池中的所述任务的执行优先级；
28、执行模块，用于响应于执行启动指令，并行启动执行每一所述任务池中的任务；所述任务池的执行过程中根据所述执行任务优先级执行所述任务。
29、作为一种可选的实施方式，在本专利技术第二方面中，所述任务参数包括任务数据切分节点、任务执行数据量、任务执行时间点、任务资源需求和任务依赖关系；所述任务数据切分节点为数据库切分键、数据表切分键或数据字段切分键。
30、作为一种可选的实施方式，在本专利技术第二方面中，所述设备参数包括磁盘io参数、内存参数、cpu参数和网络带宽参数中的至少一种。
31、作为一种可选的实施方式，在本专利技术第二方面中，所述分组模块根据所述任务的任务参数和所述目标执行设备的设备参数，对所述多个任务进行分组，得到多个任务池的具体方式，包括：
32、将所述目标执行设备的设备参数输入至训练好的任务并发执行量预测神经网络模型，以得到所述目标执行设备的任务并发执行量；所述任务并发执行量预测神经网络模型通过包括有多个训练设备参数和对应的最大任务并发执行量标注的训练数据集训练得到；
33、根据所述任务的任务参数和所述任务并发执行量，基于动态规划算法，对所述多个任务进行分组，得到多个任务池。
34、作为一种可选的实施方式，在本专利技术第二方面中，所述分组模块根据所述任务的任务参数和所述任务并发执行量，基于动态规划算法，对所述多个任务进行分组，得到多个任务池的具体方式，包括：
35、设定第一目标函数为每一任务池中的任务数量达到最大以及所有任务池的数量达到最小；
36、设定第一限制条件包括每一任务池中的任意两个任务之间的所述任务参数之间不存在矛盾情况以及每一任务池中的所有任务对应的任务数据量之和小于所述任务并发执行量；所述矛盾情况通过预设的任务参数矛盾规则来判断；
37、基于动态规划算法，根据所述第一目标函数和所述第一限制条件，对所有所述任务进行重复分组演算，直至得到最优的多个任务池。
38、作为一种可选的实施方式，在本专利技术第二方面中，所述确定模块根据每一所述任务的所述任务参数，确定每一所述任务池中的所述任务本文档来自技高网...
【技术保护点】
1.一种用于自适应调度的任务处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的用于自适应调度的任务处理方法，其特征在于，所述任务参数包括任务数据切分节点、任务执行数据量、任务执行时间点、任务资源需求和任务依赖关系；所述任务数据切分节点为数据库切分键、数据表切分键或数据字段切分键。
3.根据权利要求1所述的用于自适应调度的任务处理方法，其特征在于，所述设备参数包括磁盘IO参数、内存参数、CPU参数和网络带宽参数中的至少一种。
4.根据权利要求1所述的用于自适应调度的任务处理方法，其特征在于，所述根据所述任务的任务参数和所述目标执行设备的设备参数，对所述多个任务进行分组，得到多个任务池，包括：
5.根据权利要求4所述的用于自适应调度的任务处理方法，其特征在于，所述根据所述任务的任务参数和所述任务并发执行量，基于动态规划算法，对所述多个任务进行分组，得到多个任务池，包括：
6.根据权利要求4所述的用于自适应调度的任务处理方法，其特征在于，所述根据每一所述任务的所述任务参数，确定每一所述任务池中的所述任务的执行优先级
7.根据权利要求6所述的用于自适应调度的任务处理方法，其特征在于，所述任务依赖关系包括时间依赖关系、数据依赖关系和条件依赖关系；所述根据该任务池中的所有任务对应的所述难度参数和所述任务参数，确定该任务池中每一任务对应的执行优先级，包括：
8.一种用于自适应调度的任务处理系统，其特征在于，所述系统包括：
9.一种用于自适应调度的任务处理系统，其特征在于，所述系统包括：
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的用于自适应调度的任务处理方法。
...【技术特征摘要】
1.一种用于自适应调度的任务处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的用于自适应调度的任务处理方法，其特征在于，所述任务参数包括任务数据切分节点、任务执行数据量、任务执行时间点、任务资源需求和任务依赖关系；所述任务数据切分节点为数据库切分键、数据表切分键或数据字段切分键。
3.根据权利要求1所述的用于自适应调度的任务处理方法，其特征在于，所述设备参数包括磁盘io参数、内存参数、cpu参数和网络带宽参数中的至少一种。
4.根据权利要求1所述的用于自适应调度的任务处理方法，其特征在于，所述根据所述任务的任务参数和所述目标执行设备的设备参数，对所述多个任务进行分组，得到多个任务池，包括：
5.根据权利要求4所述的用于自适应调度的任务处理方法，其特征在于，所述根据所述任务的任务参数和所述任务并发执行量，基于动态规划算法，对所...
【专利技术属性】
技术研发人员：陈志明，陈博允，陈蔼清，
申请(专利权)人：广州翌拓软件开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。