一种基于超图的任务调度和数据传输方法技术

本发明专利技术涉及任务调度技术领域，具体涉及一种基于超图的任务调度和数据传输方法，包括将多个任务、多个数据文件和多个数据中心分别建模为超图，得到多个原始超图；对多个原始超图进行分区，得到分区结果；基于分区结果对多个任务进行转移，得到当前可执行任务；从多个数据文件中选择目标数据文件添加至对应的数据中心的传输队列中，将当前可执行任务添加到任务队列中；迭代比较任务队列中任务的执行时间和传输队列中数据文件的传输时间，得到最优任务和最优传输数据文件，解决了现有的任务调度和数据传输方法的数据传输的效率较低的问题。和数据传输方法的数据传输的效率较低的问题。和数据传输方法的数据传输的效率较低的问题。

【技术实现步骤摘要】
一种基于超图的任务调度和数据传输方法


[0001]本专利技术涉及任务调度
，尤其涉及一种基于超图的任务调度和数据传输方法。

技术介绍

[0002]在大数据时代下，互联网每天都要处理大量的任务。
[0003]传统的方式是将用户提交的任务统一放置在一个数据中心上处理，然而随着数据量的不断增加，单一的数据中心已经无法满足需求。因此，越来越多的研究开始转向地理分布式数据中心，通过将任务放置在不同的数据中心上来缓解计算压力，加快任务的完成时间。
[0004]然而，任务的处理往往需要相应的数据文件，这些文件存储在不同的数据中心，同时，跨数据中心的传输需要消耗大量的带宽，降低了数据传输的效率。

技术实现思路

[0005]本专利技术的目的在于提供一种基于超图的任务调度和数据传输方法，旨在解决现有的任务调度和数据传输方法的数据传输的效率较低的问题。
[0006]为实现上述目的，本专利技术提供了一种基于超图的任务调度和数据传输方法，包括以下步骤：
[0007]将多个任务、多个数据文件和多个数据中心分别建模为超图，得到多个原始超图；
[0008]对多个所述原始超图进行分区，得到分区结果；
[0009]基于所述分区结果对多个所述任务进行转移，得到当前可执行任务；
[0010]从多个数据文件中选择目标数据文件添加至对应的数据中心的传输队列中，将所述当前可执行任务添加到任务队列中；
[0011]迭代比较所述任务队列中任务的执行时间和所述传输队列中数据文件的传输时间，得到最优任务和最优传输数据文件。
[0012]其中，所述对多个所述原始超图进行分区，得到分区结果的具体方式为：
[0013]利用匹配聚类的方法将每一所述原始超图压缩为多个压缩超图；
[0014]对每一所述压缩超图使用递归二分法进行划分，得到划分超图；
[0015]将每一所述划分超图映射回所述原始超图，得到分区结果。
[0016]其中，所述将每一所述划分超图映射回所述原始超图，得到分区结果的具体方式为：
[0017]使用BFM算法调整多个所述划分超图之间的节点后将每一所述划分超图通过多级细粒度分割映射回所述原始超图，得到分区结果。
[0018]其中，所述基于所述分区结果对多个所述任务进行转移，得到当前可执行任务的具体方式为：
[0019]基于所述分区结果比较多个数据中心上任务的总完成时间，找到任务完成时间最
长的数据中心进行遍历，得到目标任务；
[0020]将所述目标任务分配给当前任务完成时间最短的数据中心上，得到当前可执行任务。
[0021]其中，所述从多个数据文件中选择目标数据文件添加至对应的数据中心的传输队列中，将所述当前可执行任务添加到任务队列中的具体方式为：
[0022]将多个数据文件添加到文件集合，从所述文件集合中找到目标文件添加至频率队列；
[0023]比较所述频率队列中的文件数据量的大小，找到最小数据量的数据文件，得到目标数据文件；
[0024]遍历多个所述数据中心，找到与所述目标数据文件对应的数据中心；
[0025]将所述目标数据文件添加至对应的数据中心的传输队列中；
[0026]将所述当前可执行任务添加到任务队列中。
[0027]本专利技术的一种基于超图的任务调度和数据传输方法，通过将多个任务、多个数据文件和多个数据中心分别建模为超图，得到多个原始超图；对多个所述原始超图进行分区，得到分区结果；基于所述分区结果对多个所述任务进行转移，得到当前可执行任务；从多个数据文件中选择目标数据文件添加至对应的数据中心的传输队列中，将所述当前可执行任务添加到任务队列中；迭代比较所述任务队列中任务的执行时间和所述传输队列中数据文件的传输时间，得到最优任务和最优传输数据文件，本专利技术所提出的方法可以充分的满足用户提交的任务需求，减少处理任务时的等待时间，并且可以减少数据中心的工作负载；与普通的分布式数据中心相比，显著降低了数据中心之间的数据传输，减少了网络带宽这一资源的消耗，降低了处理任务的成本，此外还进一步加快了任务的完成时间。解决了现有的任务调度和数据传输方法的数据传输的效率较低的问题。
附图说明
[0028]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]图1是系统框架图。
[0030]图2是本专利技术提供的一种基于超图的任务调度和数据传输方法的原理框图。
[0031]图3是多级粗化法流程图。
[0032]图4是递归二分法流程图。
[0033]图5是本专利技术提供的一种基于超图的任务调度和数据传输方法的模块图。
[0034]图6是任务完成时间的示意图。
[0035]图7是数据传输量的示意图。
[0036]图8是本专利技术提供的一种基于超图的任务调度和数据传输方法的流程图。
具体实施方式
[0037]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终
相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0038]请参阅图1至图8，本专利技术提供一种基于超图的任务调度和数据传输方法，包括以下步骤：
[0039]S1将多个任务、多个数据文件和多个数据中心分别建模为超图，得到多个原始超图；
[0040]具体的，将系统框架中的任务，数据文件，数据中心这三者建模为超图，把任务和数据中心作为超图中的顶点，数据文件作为超图中的超边，并将任务的大小和数据中心的处理能力赋予顶点的权重，数据文件数据量的大小赋予超边的权重。我们设置了一个初始化的权重Cl∈C是数据中心的权重。用于计算平均权重，每个数据中心的权重之和
[0041]除以数据中心总数|M|，α是权重因子。
[0042][0043]然后，每个数据中心上的权重重新计算为
[0044][0045]S2对多个所述原始超图进行分区，得到分区结果；
[0046]具体方式为：
[0047]S21利用匹配聚类的方法将每一所述原始超图压缩为多个压缩超图；
[0048]具体的，在多级粗化阶段，利用匹配聚类的方法，将原始的大超图(原始超图)压缩为多个足够小的超图(压缩超图)。
[0049]假设每个顶点u在每个粗化级别的开始处构成一个单簇然后，按随机顺序访问顶点。如果顶点未匹配，则根据节点的权重(即所表示任务的长度或数据中心的处理能力)选择其未匹配的邻居之一。如果存在这样一个顶点v，我们将匹配对u和v合并到一个簇中。如果u没有不匹配的相邻顶点，则顶点u保持不匹配，即，u保持为单簇。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超图的任务调度和数据传输方法，其特征在于，包括以下步骤：将多个任务、多个数据文件和多个数据中心分别建模为超图，得到多个原始超图；对多个所述原始超图进行分区，得到分区结果；基于所述分区结果对多个所述任务进行转移，得到当前可执行任务；从多个数据文件中选择目标数据文件添加至对应的数据中心的传输队列中，将所述当前可执行任务添加到任务队列中；迭代比较所述任务队列中任务的执行时间和所述传输队列中数据文件的传输时间，得到最优任务和最优传输数据文件。2.如权利要求1所述的基于超图的任务调度和数据传输方法，其特征在于，所述对多个所述原始超图进行分区，得到分区结果的具体方式为：利用匹配聚类的方法将每一所述原始超图压缩为多个压缩超图；对每一所述压缩超图使用递归二分法进行划分，得到划分超图；将每一所述划分超图映射回所述原始超图，得到分区结果。3.如权利要求2所述的基于超图的任务调度和数据传输方法，其特征在于，所述将每一所述划分超图映射回所述原始超图，得到分区结果的具体方式为：使用BFM算法调整多个所述划分超图之...

【专利技术属性】
技术研发人员：敬超，但朋高，邱斌，陈文鹏，
申请(专利权)人：桂林理工大学，
类型：发明
国别省市：