一种多处理器应用调度方法和系统及存储介质技术方案

本发明专利技术公开了一种多处理器应用调度方法和系统及存储介质，涉及计算技术技术领域，包括步骤：初始化；计算每两个任务之间的接近度，根据任务特征信息和接近度得到分组数量N，以及每个分组的任务数；根据分组的顺序，将任务进行分配至对应分组中；直至剩余任务分配完成；调度规划器通过动态和静态算法进行任务分组到处理节点的映射，实时分发器将任务分组分配至对应处理节点执行任务。在本方法中，通过计算每两个任务之间的接近度，对分组内所有任务的接近度进行二次方计算然后求和得到该分组的加权值的计算实现合理分组，大大提高了任务处理效率，满足用户实际需要。满足用户实际需要。满足用户实际需要。

【技术实现步骤摘要】
一种多处理器应用调度方法和系统及存储介质


[0001]本专利技术涉及计算技术
，尤其涉及一种多处理器应用调度方法和系统及存储介质。

技术介绍

[0002]目前，计算资源进行高性能计算研究已经在国内得到了极大的普及。尤其是多处理器、多核、并行计算等技术得到广泛应用，然而，大部分针对任务的调度策略都存在一些不可忽略的问题：第一，由于任务调度的不充分性，导致作业的排队时间过长，造成调度效率低下，现有的调度没有对任务进行进一步的细分或分组处理；第二，由于没有对调度任务进行特征的准确提取分类，导致任务调度分配不合理，需要大规模处理器进行计算的作业无法被高效调度到对应的调度队列中进行处理，从而增加了大量时间开销；第三，由于该调度策略未使用有效的策略，导致负载过重的作业不能被有效调度到可提供大量节点的调度队列中处理，从而造成严重的状况，并形成了较为严重的调度性能瓶颈。
[0003]新型的多个处理器或多核处理器的部署，也使得任务计算效率大大提升，且也存在任务的接近度计算，但现有的接近度只是简单的对比，难以满足由此带来任务准确分配和处理器资源使用等问题，且现有技术计算效率低、准确地低、不能满足用户实际需要。
[0004]因此，为满足多任务多处理器调度充分利用的需求，如何应对任务的亟需合理调度，处理器的充分利用，实现计算的高效、准确、用户满意度高的任务调度技术迫在眉睫。

技术实现思路

[0005]本专利技术的主要目的在于提供一种多处理器应用调度方法及装置，旨在解决现有技术中任务调度的不充分性的技术问题。
[0006]为实现上述目的，本专利技术提供了一种多处理器应用调度方法，其包括：多个处理器，处理器包括第一硬件线程、第二硬件线程和任务管理器；步骤1、初始化：所有处理器开启，获取多处理器参数，接收一组任务集合，任务分解器对任务进行分解；步骤2、计算任务之间的接近度：计算每两个任务之间的接近度，采用数组进行储存，根据任务特征信息和接近度得到分组数量N，以及每个分组的任务数；步骤3、根据，，，...，的顺序，将任务进行分配至对应分组中，当N=1时，每个剩余的未分配任务将单独分组，并在分组过程结束时跳至步骤（6）；否则，从剩余任务中找到具有接近度最高的两个任务，并将它们添加到集群分组中；如果有多对接近度最高的任务，则选择两个任务其运行时间的之和最接近，M表示任务数量，表示任务的运行时间；步骤4、如果分组中的任务数小于设定阈值，然后将剩余任务根据任务接近度加权值添加至分组中，所述任务接近度加权值即：分别计算每个分组中每两个任务的接
近度，对分组内所有任务的接近度进行二次方计算然后求和得到该分组的加权值，将待分配任务分配至加权值最大的分组；若多个剩余任务加权值相同，则选择任务运行时间最大的任务；步骤5、循环步骤3、步骤4直至剩余任务分配完成；步骤6、任务分组完成，调度规划器通过动态和静态算法进行任务分组到处理节点的映射，实时分发器将任务分组分配至对应处理节点执行任务。
[0007]优选地，所述获取多处理器参数包括获取多处理器的核心数、全局或分区使用标识；所述调度规划器包括全局固定优先级、全局最早截止期优先、分区固定优先级方式对分组任务进行规划。
[0008]优选地，所述多个处理器是指集成了多核CPU、多CPU或多主机上的处理器核或多个主机服务器；多源多核系统中的核，可以是对称的也可以是非对称的；任务集合是可以分配到多核处理器上执行的任务的集合。
[0009]优选地，所述根据任务特征信息和接近度得到分组数量N，以及每个分组的任务数，包括根据任务特征信息包括文件大小、文件数目、文件类型、镜像名称、镜像大小、镜像哈希码、程序文本长度、外部获取的数据集大小设置分组数量N；计算每两个任务之间的接近度，根据接近度最高和最低只差确定设定分组数量。
[0010]优选地，所述计算任务之间的接近度包括，对于任务A和任务B，其相应的特征向量分别表示为和，则它们之间的接近度为：，则它们之间的接近度为：其中特征向量通过卷积神经网络提取，用SPP
‑
Net卷积核去提取特征，即初始化的卷积核在反向传播的过程中，无限去拟合目标特征向量，具体为将任务执行文件、任务执行对象参数输入卷积神经网络进行拟合计算，进而输出特征集；、分别表示执行任务A和任务B的程序逻辑判断数量，、分别表示执行任务A和任务B的内存大小，、分别表示执行任务A和任务B的程序文本长度，、分别表示执行任务A和任务B的第n个特征; 分别表示对应程序逻辑判断数量、内存大小、程序文本长度、第n个特征的权值系数。本专利技术还提供一种多处理器应用调度系统，包括：多个处理器，处理器包括第一硬件线程、第二硬件线程和任务管理器；初始化模块：所有处理器开启，获取多处理器参数，接收一组任务集合，任务分解器对任务进行分解；步骤2、计算任务之间的接近度：计算每两个任务之间的接近度，采用数组进行储存，根据任务特征信息和接近度得到分组数量N，以及每个分组的任务数；步骤3、根据，，，...，的顺序，将任务进行分配至对应分组中，当N=1时，每个剩余的未分配任务将单独分组，并在分组过程结束时跳至步骤（6）；否则，从剩余任务中找到具有接近度最高的两个任务，并将它们添加到集群分组中；如果有多对接近度最高的任务，则选择两个任务其运行时间的之和最接近，M表示任务数量，表示任务的运行时间；
步骤4、如果分组中的任务数小于设定阈值，然后将剩余任务根据任务接近度加权值添加至分组中，所述任务接近度加权值即：分别计算每个分组中每两个任务的接近度，对分组内所有任务的接近度进行二次方计算然后求和得到该分组的加权值，将待分配任务分配至加权值最大的分组；若多个剩余任务加权值相同，则选择任务运行时间最大的任务；步骤5、循环步骤3、步骤4直至剩余任务分配完成；步骤6、任务分组完成，调度规划器通过动态和静态算法进行任务分组到处理节点的映射，实时分发器将任务分组分配至对应处理节点执行任务。
[0011]优选地，所述获取多处理器参数包括获取多处理器的核心数、全局或分区使用标识；所述调度规划器包括全局固定优先级、全局最早截止期优先、分区固定优先级方式对分组任务进行规划。
[0012]优选地，所述多个处理器是指集成了多核CPU、多CPU或多主机上的处理器核或多个主机服务器；多源多核系统中的核，可以是对称的也可以是非对称的；任务集合是可以分配到多核处理器上执行的任务的集合。
[0013]优选地，所述根据任务特征信息和接近度得到分组数量N，以及每个分组的任务数，包括根据任务特征信息包括文件大小、文件数目、文件类型、镜像名称、镜像大小、镜像哈希码、程序文本长度、外部获取的数据集大小设置分组数量N；计算每两个任务之间的接近度，根据接近度最高和最低只差确定设定分组数量。
[0014]优选地，所述计算任务之间的接近度包括，对于任务A和任务B，其相应的特征向量分别表示为和，则它们之间的接近度为：，则它们之间的接近度为：其中特征向量通过卷积神经网络提取，用SPP
‑
Net卷积核去提取特征，初始化本文档来自技高网...

【技术保护点】

【技术特征摘要】
分别表示对应程序逻辑判断数量、内存大小、程序文本长度、第n个特征的权值系数。6.一种多处理器应用调度系统，其特征在于，包括：多个处理器，处理器包括：初始化模块，所有处理器开启，获取多处理器参数，接收一组任务集合，任务分解器对任务进行分解；接近度计算模块，计算任务之间的接近度：计算每两个任务之间的接近度，采用数组进行储存，根据任务特征信息和接近度得到分组数量N，以及每个分组的任务数；任务分组模块，根据，，，...，的顺序，将任务进行分配至对应分组中，当N=1时，每个剩余的未分配任务将单独分组，并在分组过程结束时任务分组完成；否则，从剩余任务中找到具有接近度最高的两个任务，并将它们添加到集群分组中；如果有多对接近度最高的任务，则选择两个任务其运行时间的之和最接近，M表示任务数量，表示任务的运行时间；任务分组优化模块，如果分组中的任务数小于设定阈值，然后将剩余任务根据任务接近度加权值添加至分组中，所述任务接近度加权值即：分别计算每个分组中每两个任务的接近度，对分组内所有任务的接近度进行二次方计算然后求和得到该分组的加权值，将待分配任务分配至加权值最大的分组；若多个剩余任务加权值相同，则选择任务运行时间最大的任务；循环模块，执行循环任务分组模块、任务分组优化模块直至剩余任务分配完成；任务执行模块，任务分组完成，调度规划器通过动态和静态算法进行任务分组到处理节点的映射，实时分发器将任务分组分配至对应处理节点执行任务。7.如权利要求6所述的一种多处理器应用调度系统，其特征在于，所述获取多处理器参数包括获取多处理器的核心数、全局或分区使用标识；所述调度规划器包括全局固定优先级、全局...

【专利技术属性】
技术研发人员：王嘉诚，张少仲，张栩，
申请(专利权)人：中诚华隆计算机技术有限公司，
类型：发明
国别省市：