【技术实现步骤摘要】
本申请涉及数据处理领域，特别是涉及一种分布式算力智能调度系统及方法。
技术介绍
1、随着云计算、大数据和人工智能等领域的快速发展，越来越多的应用和任务需要运行在大规模的分布式计算系统上。这些系统包含大量的计算节点和资源，因此需要一个智能的调度机制来进行资源的合理分配和任务的优化执行。
2、现有技术中的算力调度主要针对单个节点进行任务分配和资源调度，忽视了分布式计算系统的整体优势，这导致可能存在负载不均衡的问题，例如一些节点可能过载而其他节点处于空闲状态，造成资源的浪费和性能的下降。
技术实现思路
1、本专利技术提供一种分布式算力智能调度系统及方法，该方法能够利用每个节点处理任务的历史情况进行下一时刻的节点处理任务情况的预测，而后根据预测结果以每个节点作为蚂蚁利用蚁群算法进行最优化的分布式算力智能调度，解决了负载不均衡的问题，提升资源利用率，提高计算系统的性能。
2、第一方面，本申请提供一种分布式算力智能调度方法，包括：
3、获取分布式计算系统中每一节点在m个监控周期内每一监控周期对应的必要型任务处理参数和浮动型附加参数；其中，必要型任务处理参数是节点内处理任务中的依赖任务的描述参数，浮动型附加参数为节点内处理任务中优先级高的任务的描述参数；
4、利用蚁群算法基于每一节点的m个监控周期对应的必要型任务处理参数和浮动型附加参数确定每一节点的第m+1个监控周期对应的算力分配模型；
5、利用所述算力分配模型对每一节点的第m+1个监
6、在一实施例中，所述方法还包括：
7、采集分布式计算系统中每一节点在m个监控周期内对应的历史数据，得到历史数据集合，历史数据集合包括每一监控周期对应的历史数据序列；
8、基于历史数据集合确定每一节点在每一监控周期对应的必要型任务处理参数和浮动型附加参数。
9、在一实施例中，计算每一节点在每一监控周期对应的必要型任务处理参数，包括：
10、基于第n个节点的第m个监控周期对应的历史数据序列中任务的数量、参考任务出现的总次数与所有参考任务处理之前的前一个任务出现的总次数的比值、参考任务出现的总次数与所有参考任务处理之后的后一个任务出现的总次数的比值确定第n个节点的第m个监控周期对应的必要型任务处理参数；
11、其中，所述参考任务为第n个节点的历史数据集合中与第m个监控周期中第个任务相同的任务。
12、在一实施例中，计算每一节点在每一监控周期对应的浮动型附加参数，包括：
13、基于第n个节点的第m个监控周期的优先级参数，和分布式计算系统中除第n个节点外其他所有节点的第m个监控周期的优先级参数的差值确定第n个节点的第m个监控周期对应的浮动型附加参数。
14、在一实施例中，所述方法还包括：
15、基于第n个节点的监控周期的数量、第一信息熵和第二信息熵之和计算得到第m个监控周期内第个任务的依赖程度；其中，第一信息熵为第n个节点的历史数据集中所有参考任务处理之前的前一个任务的类型的信息熵；第二信息熵为所有参考任务处理之后的后一个任务的类型的信息熵；
16、基于第n个节点的第m个监控周期中第个任务的截止处理时间和第n个节点的第m个监控周期的周期开始时间的时间差确定第个节点的第m个监控周期内所有的任务的截止时间；
17、基于第n个节点的第m个监控周期内第个任务的依赖程度，和第个节点的第m个监控周期内所有的任务的截止时间确定第个节点的第m个监控周期的优先级参数。
18、在一实施例中，利用蚁群算法基于每一节点的m个监控周期对应的必要型任务处理参数和浮动型附加参数确定每一节点的第m+1个监控周期对应的算力分配模型，包括：
19、基于每一节点的m个监控周期对应的必要型任务处理参数和浮动型附加参数预测每一节点的第m+1个监控周期的任务处理情况描述参数预测值；
20、利用蚁群算法结合每一节点的第m+1个监控周期的任务处理情况描述参数预测值确定每一节点的第m+1个监控周期对应的算力分配模型。
21、在一实施例中，基于每一节点的m个监控周期对应的必要型任务处理参数和浮动型附加参数预测每一节点的第m+1个监控周期的任务处理情况描述参数预测值，包括：
22、基于第n个节点的第m个监控周期对应的必要型任务处理参数、基于第n个节点的第m个监控周期对应的必要型任务处理参数、第n个节点的监控周期的数量m、第个节点的必要型处理参数预测模型的待估计参数进行线性预测，得到第个节点的第个监控周期的必要型处理参数；其中，第个节点的第个监控周期的必要型处理参数计算方式为：
23、
24、其中，表示第个节点的第个监控周期的必要型任务处理参数，表示第n个节点的第m个监控周期对应的必要型任务处理参数，表示第n个节点的第m个监控周期对应的必要型任务处理参数，m表示第n个节点的监控周期的数量、表示第个节点的必要型处理参数预测模型的待估计参数；
25、基于第n个节点的第m个监控周期对应的浮动型附加参数、第n个节点的监控周期的数量m、第个节点的浮动型附加参数预测模型的待估计参数进行非线性预测，得到第个节点的第个监控周期的浮动型附加参数；其中，第个节点的第个监控周期的浮动型附加参数计算方式为：
26、
27、其中，表示第个节点的第个监控周期的浮动型附加参数，表示第个节点的浮动型附加参数预测模型的待估计参数，表示第n个节点的第m个监控周期对应的浮动型附加参数；
28、基于第个节点的第个监控周期的必要型处理参数和第个节点的第个监控周期的浮动型附加参数之和确定第个节点的第m+1个监控周期的任务处理情况描述参数预测值。
29、在一实施例中，利用蚁群算法结合每一节点的第m+1个监控周期的任务处理情况描述参数预测值确定每一节点的第m+1个监控周期对应的算力分配模型，包括：
30、将每一节点的第m+1个监控周期的任务处理情况描述参数预测值作为对应蚂蚁的信息素，利用蚁群算法进行目标函数的模拟求解，进而得到分布式计算系统的每一节点的第m+1个监控周期对应的算力分配模型；
31、其中，所述目标函数的设置依据为使得分布式计算系统的算力利用率大于阈值。
32、在一实施例中，利用所述算力分配模型对每一节点的第m+1个监控周期的算力进行调度，包括：
33、如果第n个节点的第m+1个监控周期实际处理的任务量大于算力分配模型为第n个节点的第m+1个监控周期分配的任务量，则算力分配模型将多余的任务量调度至其他节点进行处理。
34、第二方面，本申请提供一种分布式算力智能调度系统，包括：
35、参数计算模块，用于获取分布式计算系统中每一节点在m个监控周期内每一监控周期对应的必要型任务处理参数和浮动型附加参数；其中，必要型任务处理参数是节点内处理任务中的依赖任务的描述参数本文档来自技高网...
【技术保护点】
1.一种分布式算力智能调度方法，其特征在于，包括：
2.根据权利要求1所述的一种分布式算力智能调度方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的一种分布式算力智能调度方法，其特征在于，计算每一节点在每一监控周期对应的必要型任务处理参数，包括：
4.根据权利要求3所述的一种分布式算力智能调度方法，其特征在于，计算每一节点在每一监控周期对应的浮动型附加参数，包括：
5.根据权利要求4所述的一种分布式算力智能调度方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的一种分布式算力智能调度方法，其特征在于，利用蚁群算法基于每一节点的M个监控周期对应的必要型任务处理参数和浮动型附加参数确定每一节点的第M+1个监控周期对应的算力分配模型，包括：
7.根据权利要求6所述的一种分布式算力智能调度方法，其特征在于，基于每一节点的M个监控周期对应的必要型任务处理参数和浮动型附加参数预测每一节点的第M+1个监控周期的任务处理情况描述参数预测值，包括：
8.根据权利要求6所述的一种分布式算力智能调度方
9.根据权利要求1所述的一种分布式算力智能调度方法，其特征在于，利用所述算力分配模型对每一节点的第M+1个监控周期的算力进行调度，包括：
10.一种分布式算力智能调度系统，其特征在于，包括：
...【技术特征摘要】
1.一种分布式算力智能调度方法，其特征在于，包括：
2.根据权利要求1所述的一种分布式算力智能调度方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的一种分布式算力智能调度方法，其特征在于，计算每一节点在每一监控周期对应的必要型任务处理参数，包括：
4.根据权利要求3所述的一种分布式算力智能调度方法，其特征在于，计算每一节点在每一监控周期对应的浮动型附加参数，包括：
5.根据权利要求4所述的一种分布式算力智能调度方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的一种分布式算力智能调度方法，其特征在于，利用蚁群算法基于每一节点的m个监控周期对应的必要型任务处理参数和浮动型附加参数确定每一节点的第...
【专利技术属性】
技术研发人员：张天松，李碧妍，易夕冬，韩伟，谷和云，肖连菊，邹创铭，黄展鹏，冯康，高宝军，邓国勋，
申请(专利权)人：广东奥飞数据科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。