一种AI加速核调度管理方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种AI加速核调度管理方法、装置、设备及存储介质，涉及计算机技术及AI加速计算领域，包括：接收上层应用发送的加速计算的总任务，并根据预设拆分规则将总任务进行拆分，以得到若干个子任务；根据预设拆分规则确定若干个子任务之间的关系；关系包括与若干个子任务对应的参与计算的加速核的信息、加速核的上下级关系以及加速核之间数据的流转关系；基于预设规则以及关系调用与若干个子任务分别对应的加速核对若干个子任务进行分级执行，直至若干个子任务全部完成得到目标结果，并将目标结果返回至预设区域。本申请通过对加速核的调度管理可以优化计算资源的分配、提高加速核的使用效率，进而可以提升AI计算的处理速度。速度。速度。

【技术实现步骤摘要】
一种AI加速核调度管理方法、装置、设备及存储介质


[0001]本专利技术涉及计算机技术及AI加速计算领域，特别涉及一种AI加速核调度管理方法、装置、设备及存储介质。

技术介绍

[0002]随着技术的不断进步，传统的基于MCU（Micro Control Unit，微控制单元）的边缘设备的AI计算正在遇到性能瓶颈，面对大量数据计算时的性能表现不佳。MCU在面对数据流计算、向量计算、AI算法运算时无法并行处理、负载加重、运算时间缓慢等现象几乎无计可施。由此提出了使用异构计算来解决上述性能瓶颈问题，通常会根据算法的计算特征专门设计加速核，通过不断的调度加速核来完成复杂的计算任务。当涉及到多个计算任务时，加速核的复用及多加速核调度又会影响到计算的速度。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种AI加速核调度管理方法、装置、设备及存储介质，能够实现对加速核的调度管理，提高加速计算性能。其具体方案如下：第一方面，本申请公开了一种AI加速核调度管理方法，包括：接收上层应用发送的加速计算的总任务，并根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务；根据所述预设拆分规则确定所述若干个子任务之间的关系；所述关系包括与所述若干个子任务对应的参与计算的加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系；基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部完成得到目标结果，并将所述目标结果返回至预设区域。r/>[0004]可选的，所述根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务，包括：根据预设规则将所述总任务进行拆分，以得到单个所述加速核能够执行的所述若干个子任务。
[0005]可选的，所述预设拆分规则包括所述若干个子任务的任务优先级、任务类型、任务复杂度以及相互依赖关系。
[0006]可选的，所述根据所述预设拆分规则确定所述若干个子任务之间的关系，包括：根据所述若干个子任务的所述任务类型确定参与计算的所述加速核的信息；根据所述任务优先级对所述若干个子任务进行排序得到与所述若干个子任务相对应的所述加速核的调用优先级，以确定所述加速核的上下级关系；根据所述任务复杂度确定所述若干个子任务的计算时间；根据所述相互依赖关系确定所述加速核调用的先后关系以及所述加速核之间数
据的流转关系。
[0007]可选的，所述基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部执行结束得到目标结果，包括：基于参与计算的所述加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系将当前待执行子任务发送至与其对应的加速核；若所述当前待执行子任务执行完成，则接收相应的加速核发送的执行成功的反馈结果；从其他未执行子任务中确定出新的当前待执行子任务，并向下一级加速核发送新的所述当前待执行子任务，直至所述若干个子任务全部执行结束得到目标结果。
[0008]可选的，所述方法还包括：若所述加速核的子任务执行失败，则接收所述加速核发送的执行失败的返回结果；根据所述执行失败的返回结果分析失败原因，以基于所述失败原因对所述若干个子任务之间的关系进行更新，以得到更新后关系；根据所述更新后关系重新调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行。
[0009]可选的，所述基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行的过程中，还包括：若与目标子任务对应的目标加速核处于非空闲状态，则查找与所述目标加速核的功能类型相同的其他加速核；所述目标子任务为所述若干个子任务中的任一子任务；若所述其他加速核均处于非空闲状态，则基于所述目标子任务的所述计算时间以及所述其他加速核的当前任务的结束时间，从所述其他加速核中筛选出一个加速核作为用于执行所述目标子任务的加速核。
[0010]第二方面，本申请公开了一种AI加速核调度管理装置，包括：任务拆分模块，用于接收上层应用发送的加速计算的总任务，并根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务；关系确定模块，用于根据所述预设拆分规则确定所述若干个子任务之间的关系；所述关系包括与所述若干个子任务对应的参与计算的加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系；任务执行模块，用于基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部完成得到目标结果，并将所述目标结果返回至预设区域。
[0011]第三方面，本申请公开了一种电子设备，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序以实现前述的AI加速核调度管理方法。
[0012]第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的AI加速核调度管理方法。
[0013]可见，本申请首先接收上层应用发送的加速计算的总任务，并根据预设拆分规则
将所述总任务进行拆分，以得到若干个子任务；根据所述预设拆分规则确定所述若干个子任务之间的关系；所述关系包括与所述若干个子任务对应的参与计算的加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系；最后基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部完成得到目标结果，并将所述目标结果返回至预设区域。由此可知，本申请的有益效果在于通过对加速核的调度管理可以优化计算资源的分配、提高加速核的使用效率，进而可以提升AI计算的处理速度。
附图说明
[0014]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0015]图1为本申请公开的一种AI加速核调度管理方法流程图；图2为本申请公开的一种具体的AI加速核调度管理方法流程图；图3为本申请公开的一种加速核调度管理方法示意图；图4为本申请公开的一种加速核调度管理方法示意图；图5为本申请公开的一种AI加速核调度管理装置结构示意图；图6为本申请公开的一种电子设备结构图。
具体实施方式
[0016]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0017]MCU在面对数据流计算、向量计算、AI算法运算时无法并行处理、负载加重、运算时间缓慢等现象几乎无计可施。由此提出了使用异构计算来解决上述性能瓶颈问本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种AI加速核调度管理方法，其特征在于，包括：接收上层应用发送的加速计算的总任务，并根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务；根据所述预设拆分规则确定所述若干个子任务之间的关系；所述关系包括与所述若干个子任务对应的参与计算的加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系；基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部完成得到目标结果，并将所述目标结果返回至预设区域。2.根据权利要求1所述的AI加速核调度管理方法，其特征在于，所述根据预设拆分规则将所述总任务进行拆分，以得到若干个子任务，包括：根据预设规则将所述总任务进行拆分，以得到单个所述加速核能够执行的所述若干个子任务。3.根据权利要求1所述的AI加速核调度管理方法，其特征在于，所述预设拆分规则包括所述若干个子任务的任务优先级、任务类型、任务复杂度以及相互依赖关系。4.根据权利要求3所述的AI加速核调度管理方法，其特征在于，所述根据所述预设拆分规则确定所述若干个子任务之间的关系，包括：根据所述若干个子任务的所述任务类型确定参与计算的所述加速核的信息；根据所述任务优先级对所述若干个子任务进行排序得到与所述若干个子任务相对应的所述加速核的调用优先级，以确定所述加速核的上下级关系；根据所述任务复杂度确定所述若干个子任务的计算时间；根据所述相互依赖关系确定所述加速核调用的先后关系以及所述加速核之间数据的流转关系。5.根据权利要求4所述的AI加速核调度管理方法，其特征在于，所述基于预设规则以及所述关系调用与所述若干个子任务分别对应的所述加速核对所述若干个子任务进行分级执行，直至所述若干个子任务全部执行结束得到目标结果，包括：基于参与计算的所述加速核的信息、所述加速核的上下级关系以及所述加速核之间数据的流转关系将当前待执行子任务发送至与其对应的加速核；若所述当前待执行子任务执行完成，则接收相应的加速核发送的执行成功的反馈结果；从其他未执行子任务中确定出新的当前待执行子任务，并向下一级加速核发送新的所述当...

【专利技术属性】
技术研发人员：薛海军，赵鑫鑫，李锐，姜凯，魏子重，胡雷钧，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：