一种异构计算机的存储管理系统技术方案

本发明专利技术涉及计算机存储管理技术领域，具体为一种异构计算机的存储管理系统，本系统包括子任务均衡调度分析模块，所述子任务均衡调度分析模块根据异构计算机中每个计算资源对各个类型的计算任务的执行情况及异构计算需求内的计算任务情况，对构建的各个子任务执行链进行自适应均衡处理，并生成任务调度集合。本发明专利技术异构计算需求执行过程中，结合异构计算机自身的情况及异构计算需求中计算任务之间的数据关联情况，实现对子任务内的计算任务的自适应均衡，缩短异构计算机完成异构计算需求的总时长；同时，采用缓存数据提升数据提取速度，还降低了计算资源间数据交互的总开销时长，提升了异构计算机执行异构计算需求的效率。升了异构计算机执行异构计算需求的效率。升了异构计算机执行异构计算需求的效率。

【技术实现步骤摘要】
一种异构计算机的存储管理系统


[0001]本专利技术涉及计算机存储管理
，具体为一种异构计算机的存储管理系统。

技术介绍

[0002]异构计算是一种特殊形式的并行和分布式计算，它或是用能同时支持simd方式和mimd方式的单个独立计算机，或是用由高速网络互连的一组独立计算机来完成计算任务。它能协调地使用性能、结构各异的机器以满足不同的计算需求，并使代码(或代码段)能以获取最大总体性能方式来执行。
[0003]现有的异构计算需求是在析取计算任务并行性类型基础上，将具有相同类型的代码段划分到同一子任务中，然后根据不同并行性类型将各子任务分配到最适合执行它的计算资源(计算机或计算模块)上加以执行，达到使计算任务总的执行时间为最小，在执行过程中，在将各个计算资源对分配的子任务的执行结果汇总到数据管理终端，并通过数据管理终端对各个子任务的执行结果进行划分，生成相应的异构计算需求结果；
[0004]现有异构计算需求执行过程中，异构计算机的运行方式及存储方式存在较大的缺陷，每个异构计算需求中各个并行性类型的计算任务中，每个子任务对应的计算任务个数时可变的，进而每个子任务的执行时长也可能不相同，按照现有的技术，可能会出现计算任务总执行时长无法达到最小值(会出现各个子任务对应的执行时长存在差异，出现部分子任务已经结束，但剩余子任务需处理很久的情况)；同时，计算任务中并非所有计算任务均是并行性类型，不同计算任务之间可能存在数据关联(一个计算任务的执行需要其余计算任务的执行结果)，而对非并行性类型的计算任务的分配方式在一定程度上会影响异构计算需求对应计算任务的总执行时间，且现有的对计算结果汇总存储并再次分配(再次传输给关联任务)的方式在一定程度上严重影响了异构计算需求的总执行时长，进而现有技术存在较大的缺陷。

技术实现思路

[0005]本专利技术的目的在于提供一种异构计算机的存储管理系统，以解决上述
技术介绍
中提出的问题。
[0006]为了解决上述技术问题，本专利技术提供如下技术方案：一种异构计算机的存储管理系统，所述系统包括异构计算需求解析关联分析模块、子任务执行链采集分析模块、子任务均衡调度分析模块、子任务执行缓存管理模块及异构计算需求存储管理模块；
[0007]所述异构计算需求解析关联分析模块提取异构计算需求中的计算任务，对计算任务进行编号，并分析不同计算任务之间的关联优先级关系；
[0008]所述子任务执行链采集分析模块对计算任务进行类型划分，并根据划分的同一类型的计算任务构建子任务执行链；
[0009]所述子任务均衡调度分析模块根据异构计算机中每个计算资源对各个类型的计算任务的执行情况及异构计算需求内的计算任务情况，对构建的各个子任务执行链进行自
适应均衡处理，并生成任务调度集合；
[0010]所述子任务执行缓存管理模块对子任务执行过程中，计算任务的执行顺序进行管理，及对计算任务执行过程中，子任务对应计算资源的缓存器内存储的关联计算任务的缓存数据进行提取，并对计算任务执行结果的存储位置进行确认；
[0011]所述异构计算需求存储管理模块判断已经得到的计算任务缓存数据能否生成相应异构计算需求结果，并对异构计算需求结果的存储方式及缓存器内的缓存数据进行处理。
[0012]进一步的，所述异构计算需求解析关联分析模块包括任务序列编号生成单元及执行优先级模型分析单元，
[0013]所述任务序列编号生成单元获取数据管理终端内的异构计算需求中各个计算任务构成的计算任务集合，对异构计算需求中各个计算任务进行任务编号，生成任务编号序列，每个计算任务对应唯一的任务编号；
[0014]所述执行优先级模型分析单元根据计算任务集合中各个元素对应的计算任务之间的数据关系，得到计算任务集合中不同元素对应的计算任务之间的关联优先级关系对，构建计算任务集合元素的执行优先级模型；
[0015]所述构建计算任务集合元素的执行优先级模型时，获取计算任务集合中每个计算任务对应的代码段内的数据参量构成的数据参量集合，分析计算任务集合中任意两个计算任务之间的数据关系时，
[0016]当相应的两个计算任务分别对应的数据参量集合之间的交集不为空集时，进一步判断所得交集中元素分别在相应的两个计算任务中对应的数据参量类型，所述数据参量类型包括输入数据及输出数据，
[0017]若所得交集中存在一个元素分别在两个计算任务中对应的数据参量类型不同，则判断相应的两个计算任务之间存在数据关系，两者构成一个关联优先级关系对，且构成的关联优先级关系对中数据参量类型为输出数据的计算任务的关联优先级大于数据参量类型为输入数据的计算任务的关联优先级；相同的两个计算任务对应零个或一个或两个关联优先级关系对，且相同的两个计算任务对应的关联优先级关系对为两个时，
[0018]假若两个计算任务所属的子任务为同一个，则将这两个计算任务合并为一个新的计算任务，并对计算任务集合及任务编号序列进行更新，
[0019]假若两个计算任务所属的子任务为不同，则两个关联优先级关系对同时成立；
[0020]若所得交集中不存在任意一个元素分别在两个计算任务中对应的数据参量类型不同的情况，则判断相应的两个计算任务之间不存在数据关系，两者无法构成一个关联优先级关系对；
[0021]当相应的两个计算任务分别对应的数据参量集合之间的交集为空集时，进一步判断相应的两个计算任务分别对应的代码中的是否存在数据传递情况，
[0022]本专利技术在数据传递过程中，数据接收方接收到数据后，可能会定义一个新的数据参量名称，该情况可能是由计算任务的代码段在编写过程中进行函数封装导致的；
[0023]若相应的两个计算任务分别对应的代码中的存在数据传递情况时，则判断相应的两个计算任务之间存在数据关系，两者构成一个关联优先级关系对，且构成的关联优先级关系对中数据传递时的数据接收方的关联优先级小于数据发送方的关联优先级；
[0024]若相应的两个计算任务分别对应的代码中的不存在数据传递情况时，则判断相应的两个计算任务之间不存在数据关系，两者无法构成一个关联优先级关系对；
[0025]计算任务集合元素的执行优先级模型为各个元素之间对应的各个关联优先级关系对构成的集合。
[0026]进一步的，所述子任务执行链采集分析模块对计算任务进行类型划分时，获取计算任务集合中不同计算任务的并行性类型，所述计算任务的并行性类型为数据库中预置的，
[0027]所述子任务执行链采集分析模块构建子任务执行链时，将具有相同类型的计算任务对应的代码段划分到同一子任务中，并按照任务编号从小到大的顺序生成子任务初始执行序列，并根据计算任务集合元素的执行优先级模型中的各个关联优先级关系对，对子任务初始执行序列中计算任务的位置进行调整，将关联优先级关系对中关联优先级高的计算任务移动到关联优先级低的计算任务前面，将最终调整后的各个子任务出现执行序列作为相应子任务对应的子任务执行链，所述子任务执行链中的每个计算任务对应的代码段作为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构计算机的存储管理系统，其特征在于，所述系统包括异构计算需求解析关联分析模块、子任务执行链采集分析模块、子任务均衡调度分析模块、子任务执行缓存管理模块及异构计算需求存储管理模块；所述异构计算需求解析关联分析模块提取异构计算需求中的计算任务，对计算任务进行编号，并分析不同计算任务之间的关联优先级关系；所述子任务执行链采集分析模块对计算任务进行类型划分，并根据划分的同一类型的计算任务构建子任务执行链；所述子任务均衡调度分析模块根据异构计算机中每个计算资源对各个类型的计算任务的执行情况及异构计算需求内的计算任务情况，对构建的各个子任务执行链进行自适应均衡处理，并生成任务调度集合；所述子任务执行缓存管理模块对子任务执行过程中，计算任务的执行顺序进行管理，及对计算任务执行过程中，子任务对应计算资源的缓存器内存储的关联计算任务的缓存数据进行提取，并对计算任务执行结果的存储位置进行确认；所述异构计算需求存储管理模块判断已经得到的计算任务缓存数据能否生成相应异构计算需求结果，并对异构计算需求结果的存储方式及缓存器内的缓存数据进行处理。2.根据权利要求1所述的一种异构计算机的存储管理系统，其特征在于：所述异构计算需求解析关联分析模块包括任务序列编号生成单元及执行优先级模型分析单元，所述任务序列编号生成单元获取数据管理终端内的异构计算需求中各个计算任务构成的计算任务集合，对异构计算需求中各个计算任务进行任务编号，生成任务编号序列，每个计算任务对应唯一的任务编号；所述执行优先级模型分析单元根据计算任务集合中各个元素对应的计算任务之间的数据关系，得到计算任务集合中不同元素对应的计算任务之间的关联优先级关系对，构建计算任务集合元素的执行优先级模型；所述构建计算任务集合元素的执行优先级模型时，获取计算任务集合中每个计算任务对应的代码段内的数据参量构成的数据参量集合，分析计算任务集合中任意两个计算任务之间的数据关系时，当相应的两个计算任务分别对应的数据参量集合之间的交集不为空集时，进一步判断所得交集中元素分别在相应的两个计算任务中对应的数据参量类型，所述数据参量类型包括输入数据及输出数据，若所得交集中存在一个元素分别在两个计算任务中对应的数据参量类型不同，则判断相应的两个计算任务之间存在数据关系，两者构成一个关联优先级关系对，且构成的关联优先级关系对中数据参量类型为输出数据的计算任务的关联优先级大于数据参量类型为输入数据的计算任务的关联优先级；相同的两个计算任务对应零个或一个或两个关联优先级关系对，且相同的两个计算任务对应的关联优先级关系对为两个时，假若两个计算任务所属的子任务为同一个，则将这两个计算任务合并为一个新的计算任务，并对计算任务集合及任务编号序列进行更新，假若两个计算任务所属的子任务为不同，则两个关联优先级关系对同时成立；若所得交集中不存在任意一个元素分别在两个计算任务中对应的数据参量类型不同的情况，则判断相应的两个计算任务之间不存在数据关系，两者无法构成一个关联优先级
关系对；当相应的两个计算任务分别对应的数据参量集合之间的交集为空集时，进一步判断相应的两个计算任务分别对应的代码中的是否存在数据传递情况，若相应的两个计算任务分别对应的代码中的存在数据传递情况时，则判断相应的两个计算任务之间存在数据关系，两者构成一个关联优先级关系对，且构成的关联优先级关系对中数据传递时的数据接收方的关联优先级小于数据发送方的关联优先级；若相应的两个计算任务分别对应的代码中的不存在数据传递情况时，则判断相应的两个计算任务之间不存在数据关系，两者无法构成一个关联优先级关系对；计算任务集合元素的执行优先级模型为各个元素之间对应的各个关联优先级关系对构成的集合。3.根据权利要求2所述的一种异构计算机的存储管理系统，其特征在于：所述子任务执行链采集分析模块对计算任务进行类型划分时，获取计算任务集合中不同计算任务的并行性类型，所述计算任务的并行性类型为数据库中预置的，所述子任务执行链采集分析模块构建子任务执行链时，将具有相同类型的计算任务对应的代码段划分到同一子任务中，并按照任务编号从小到大的顺序生成子任务初始执行序列，并根据计算任务集合元素的执行优先级模型中的各个关联优先级关系对，对子任务初始执行序列中计算任务的位置进行调整，将关联优先级关系对中关联优先级高的计算任务移动到关联优先级低的计算任务前面，将最终调整后的各个子任务出现执行序列作为相应子任务对应的子任务执行链，所述子任务执行链中的每个计算任务对应的代码段作为一个链节点。4.根据权利要求1所述的一种异构计算机的存储管理系统，其特征在于：所述子任务均衡调度分析模块包括计算任务序列生成单元及任务调度集合生成单元，所述计算任务序列生成单元对数据管理终端所属的异构计算机进行数据采集，得到异构计算机中每个计算资源分别执行各类子任务相对于基准串行计算机的加速比集合，并结合异构计算需求中的计算任务信息对各个子任务执行链中进行自适应均衡处理，得到均衡后的各个子任务执行链，将每个均衡后的子任务执行链作为一个计算任务序列；所述基准串行计算机为数据库中预置配置的计算机；所述任务调度集合生成单元得到每个子任务对应计算任务序列中各个计算任务构成的数组，并将每个子任务对应的数组进行汇总，生成任务调度集合；所述任务调度集合生成单元将执行优先级模型、任务调度集合及任务编号序列分别与每个子任务进行绑定，传输给相应子任务对应的计算资源，数据库中每个子任务绑定唯一的计算资源，...

【专利技术属性】
技术研发人员：梅碧峰，李冬冬，翁荣建，张丽青，
申请(专利权)人：上海轴芯科技有限公司，
类型：发明
国别省市：