众核计算资源调度方法及装置制造方法及图纸

本发明专利技术公开了众核计算资源调度方法及装置，涉及遥感数据处理领域。该方法包括：根据第一预设算法和任务队列所需的计算资源对基本核进行逻辑核划分，将任务队列分配给逻辑核进行计算；当任一任务队列的计算完成时，通过第二预设算法从其余任务队列挑选待计算任务，建立新任务队列；根据第一预设算法和新任务队列所需的计算资源对释放的逻辑核进行解耦与聚合，得到新逻辑核，将新任务队列分配给新逻辑核进行计算。本发明专利技术通过双向推理调度，正向推理进行逻辑核基本划分，反向推理进行动态回填建立任务队列，能够提高高并发数据处理流程的调度效率，有效解决了在处理高并发数据时动态众核资源逻辑核动态调整调度问题。

【技术实现步骤摘要】
众核计算资源调度方法及装置
本专利技术涉及遥感数据处理领域，尤其涉及动态众核计算资源调度方法及装置。
技术介绍
目前，在高性能计算领域，基于动态众核架构的资源调度方法包括：众核资源多层次化自监测管理、逻辑核动态自适应重组调度等，其中自适应众核资源调度方法是近年来的研究重点。然而，现有的自适应众核资源调度方法都是对计算前的计算资源进行调度，如引入泛环境、计算形态、众核任务模型等概念构建任务簇，或者通过任务簇的拆分与合并，动态构建弹性可伸缩的核逻辑分组。现有的调度方法在面对高并发数据时，处理效率低下。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术的不足，提供一种众核计算资源调度方法、存储介质及一种众核计算资源调度装置。本专利技术解决上述技术问题的技术方案如下：一种众核计算资源调度方法，包括：根据获取的待计算任务构建多个任务队列；根据第一预设算法和所述任务队列所需的计算资源对基本核进行逻辑核划分，将所述任务队列分配给所述逻辑核进行计算；当任一任务队列的计算完成时，通过第二预设算法从其余任务队列挑选待计算任务，建立新任务队列；根据所述第一预设算法和所述新任务队列所需的计算资源对释放的逻辑核进行解耦与聚合，得到新逻辑核，将所述新任务队列分配给新逻辑核进行计算。本专利技术的有益效果是：本专利技术提供的众核计算资源调度方法，通过双向推理调度，正向推理进行逻辑核基本划分，反向推理进行动态回填建立任务队列，能够提高高并发数据处理流程的调度效率，有效解决了在处理高并发数据时动态众核资源逻辑核动态调整调度问题。本专利技术解决上述技术问题的另一种技术方案如下：一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述技术方案所述的众核计算资源调度方法。本专利技术解决上述技术问题的另一种技术方案如下：一种众核计算资源调度装置，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序，实现如上述技术方案所述的众核计算资源调度方法。本专利技术附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术实践了解到。附图说明图1为本专利技术众核计算资源调度方法的实施例提供的流程示意图；图2为本专利技术众核计算资源调度方法的实施例提供的调度过程示意图；图3为本专利技术众核计算资源调度装置的实施例提供的结构框架图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实施例只用于解释本专利技术，并非用于限定本专利技术的范围。本专利技术基于动态众核架构实现，适用于高并发数据的计算资源调度，例如，可以适用于空间遥感数据，将遥感数据处理任务划分为粒度更加精细的子任务，并以分层级方法管理遥感数据处理任务，通过系统级逻辑核调度、任务级遥感数据流程调度相结合的双向调度算法，利用动态众核的逻辑核分解与合并方法动态更新任务簇的划分，通过上层任务级调度与底层核级调度的双向调度方法，实现高并发、不同粒度遥感数据处理任务的精细化调度，最大化动态众核计算资源的利用效率，能够适应具有串行、并行相结合的混合型遥感数据处理任务调度，下面具体说明。如图1所示，为本专利技术众核计算资源调度方法的实施例提供的流程示意图，该调度方法包括：S1，根据获取的待计算任务构建多个任务队列。需要说明的是，在获取待计算任务后，可以根据任务的优先级、工作模式、预期执行时间等因素构建任务队列，其中，工作模式指的是串行、并行以及串并混合等，预期执行时间可以由计算系统根据预设算法计算得到。应理解，具体构建任务队列的方法，可以根据实际需求进行设置，例如，对于待计算的数据而言，其实时性要求较高，那么可以对预期执行时间赋予较高的权重，从而以预期执行时间为主，构建符合要求的任务队列。S2，根据第一预设算法和任务队列所需的计算资源对基本核进行逻辑核划分，将任务队列分配给逻辑核进行计算。应理解，动态众核的聚合与解耦模式有多种，由于CoreFusion是对多核处理器结构的扩展，设计思路就是根据具体的应用需求将多个简单的处理器核心融合成一个粗粒度的逻辑核，用于解决众核架构不能改变处理器核粒度和应用并行性的不匹配问题，因此，可以采用CoreFusion工作模式进行基本核的聚合与解耦。第一预设算法指的是对CoreFusion进行逻辑核划分的算法，本领域技术人员可以根据实际需求选择。例如，假设共有2个任务队列，队列A需要2个基本核，队列B需要4个基本核，那么最为简单的算法是可以将2个基本核进行聚合，得到1个逻辑核，然后将队列A分配到该逻辑核上进行计算；再将4个基本核进行聚合，得到1个逻辑核，然后将队列B分配到该逻辑核进行计算。S3，当任一任务队列的计算完成时，通过第二预设算法从其余任务队列挑选待计算任务，建立新任务队列。应理解，第二预设算法是从队列中挑选计算任务填入空闲CPU资源的算法，本领域技术人员可以根据实际需求选择。例如，可以通过与步骤S1中相同的方法构建任务队列。S4，根据第一预设算法和新任务队列所需的计算资源对释放的逻辑核进行解耦与聚合，得到新逻辑核，将新任务队列分配给新逻辑核进行计算。应理解，可以通过与步骤S2相同的方法实现对基本核进行逻辑核的解耦与聚合。具体地，可以调用Split实现解耦，然后根据任务队列最前方的计算任务所需的计算资源，通过Fuse操作，实现基本核的耦合。如图2所示，给出了一种示例性的调度过程示意图，共有12个基本核，前10个基本核通过Fuse操作每2个聚合成1个逻辑核，当第2、第3个逻辑核计算完成后，通过Split操作解耦合，然后从另外2个逻辑核的任务队列中挑选待计算任务，构成新的任务队列，假设该任务队列需要4个基本核，那么通过Fuse操作将释放的4个基本核进行聚合，得到1个逻辑核，然后将新的任务队列提交到该逻辑核上，进行计算。本实施例提供的众核计算资源调度方法，通过双向推理调度，正向推理进行逻辑核基本划分，反向推理进行动态回填建立任务队列，能够提高高并发数据处理流程的调度效率，有效解决了在处理高并发数据时动态众核资源逻辑核动态调整调度问题。可选地，在一些实施例中，根据获取的待计算任务构建多个任务队列，具体可以包括：根据获取的待计算任务的优先级、工作模式和预期执行时间构建多个任务队列。例如，工作模式可以包括：s(Sequence，串行)、p(Parallel，并行)以及m(Mixed，混合)三种，s或者p模式的数据处理任务在初始计算资源分配后通常不需要反馈解耦与聚合操作，而m模式的动态要求较高。具体地，可以以Q＝(priority，mode，t(Ji)，H(Ji))对初始任务集中的所有计算任务进行统计建模，priority表示计算任务Ji的优先级，mode为数据处理任务的工作模式，t(Ji)为计算任务Ji的预期执行时间。H(Ji)表示当前任务Ji在任务树中的高度，应理解，该参数用于步骤S3的动态回填过程，在步骤S1中，构建任务队列时，则可以不使用该参数。通过待计算任务的优先级、工作模式和预期执行时间构建多个任务队列，使任务队列的构建不依赖于优先级，考虑了计算形态、众核任务模型等因素，对于计算任务关键度优先原则未知或所有计算任务优先原则一致的情况下，也能够有效利用自适应动态众核资源调度方法高效分配计算资源。可选地，在一些实施例中，可以根据以下公式计算待计算任务的本文档来自技高网...

【技术保护点】
1.一种众核计算资源调度方法，其特征在于，包括：根据获取的待计算任务构建多个任务队列；根据第一预设算法和所述任务队列所需的计算资源对基本核进行逻辑核划分，将所述任务队列分配给所述逻辑核进行计算；当任一任务队列的计算完成时，通过第二预设算法从其余任务队列挑选待计算任务，建立新任务队列；根据所述第一预设算法和所述新任务队列所需的计算资源对释放的众核逻辑核进行解耦与聚合，得到新逻辑核，将所述新任务队列分配给新逻辑核进行计算。

【技术特征摘要】
1.一种众核计算资源调度方法，其特征在于，包括：根据获取的待计算任务构建多个任务队列；根据第一预设算法和所述任务队列所需的计算资源对基本核进行逻辑核划分，将所述任务队列分配给所述逻辑核进行计算；当任一任务队列的计算完成时，通过第二预设算法从其余任务队列挑选待计算任务，建立新任务队列；根据所述第一预设算法和所述新任务队列所需的计算资源对释放的众核逻辑核进行解耦与聚合，得到新逻辑核，将所述新任务队列分配给新逻辑核进行计算。2.根据权利要求1所述的众核计算资源调度方法，其特征在于，根据获取的待计算任务构建多个任务队列，具体包括：根据获取的待计算任务的优先级、工作模式和预期执行时间构建多个任务队列。3.根据权利要求2所述的众核计算资源调度方法，其特征在于，根据以下公式计算所述待计算任务的预期执行时间：t(Ji)＝t×d(Ji)/s(n×d(Ji))其中，Ji为第i个待计算任务，t(Ji)为任务Ji的预期执行时间，t为当前并行计算环境下单位数据量串行处理的工作时间，d(Ji)为任务Ji处理时所需的实际数据量，s(n)为并行计算环境下的加速比函数，i＝1，2，…，k，k为待计算任务的数量。4.根据权利要求1所述的众核计算资源调度方法，其特征在于，通过第二预设算法从其余任务队列挑选待计算任务，建立新任务队列，具体包括：通过第二预设算法从其余任务队列挑选待计算任务；将被挑选的待计算任务划分为至少两个算法模块；根据每个所述算法模块的优先级、工作模式、预期执行时间和在任务队列中的高度建立新任务队列。5.根据权利要求4所述的众核计算资源调度方法，其特征在于，根据以下...

【专利技术属性】
技术研发人员：张万峰，
申请(专利权)人：中国科学院空间应用工程与技术中心，
类型：发明
国别省市：北京,11