异构计算调度方法及装置、计算机可读存储介质制造方法及图纸

一种异构计算调度方法及装置、计算机可读存储介质，所述异构计算调度方法包括：加载目标神经网络模型；将所述目标神经网络模型分割成多个子模块；将所述多个子模块分配给所述终端设备中的至少一个硬件平台。采用上述方案，在部署神经网络模型时，实现神经网络模型在不同硬件平台上的统一调度，能够充分利用终端设备的硬件资源，提高推理效率。提高推理效率。提高推理效率。

【技术实现步骤摘要】
异构计算调度方法及装置、计算机可读存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种异构计算调度方法及装置、计算机可读存储介质。

技术介绍

[0002]在使用推理框架部署神经网络模型时，通常需要用户指定使用终端设备中特定的硬件平台，例如NCNN模型，支持GPU加速模型推理，但是不支持其他硬件平台(如NPU)进行模型推理。
[0003]可见，现有技术中，在部署神经网络模型时，难以在不同的硬件平台上统一调度，导致部署神经网络模型时，无法充分利用终端设备的硬件资源，影响神经网络模型部署时的推理效率。

技术实现思路

[0004]本专利技术实施例解决的是在部署神经网络模型时，无法充分利用终端设备的硬件资源，影响神经网络模型部署时的推理效率。
[0005]为解决上述技术问题，本专利技术实施例提供一种异构计算调度方法，应用于终端设备，包括：加载目标神经网络模型；将所述目标神经网络模型分割成多个子模块；将所述多个子模块分配给所述终端设备中的至少一个硬件平台。
[0006]可选的，所述将所述目标神经网络模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构计算调度方法，应用于终端设备，其特征在于，包括：加载目标神经网络模型；将所述目标神经网络模型分割成多个子模块；将所述多个子模块分配给所述终端设备中的至少一个硬件平台。2.如权利要求1所述的异构计算调度方法，其特征在于，所述将所述目标神经网络模型分割成多个子模块，包括：根据所述终端设备中各硬件平台的处理能力信息，确定所述终端设备中支持对所述子模块进行运算的目标硬件平台；根据各目标硬件平台的剩余算力，将所述目标神经网络模型分割成多个子模块。3.如权利要求2所述的异构计算调度方法，其特征在于，所述根据各目标硬件平台的剩余算力，将所述目标神经网络模型分割成多个子模块，包括：根据各目标硬件平台的剩余算力，以及预设的分割条件和/或开销约束条件，确定最优的模型分割方式；所述分割条件包括如下至少一种：同一目标硬件平台上的连续子模块个数最大化、子模块的总数最小化、目标硬件平台的剩余算力利用效率最大化；所述开销约束条件包括以下至少一种：所述子模块对应的内存拷贝开销、所述子模块对应的通信开销；采用所述最优的模型分割方式，将所述目标神经网络模型分割成多个子模块。4.如权利要求2所述的异构计算调度方法，其特征在于，所述根据各目标硬件平台的剩余算力，将所述目标神经网络模型分割成多个子模块，包括：根据各目标硬件平台的剩余算力，以及预设的分割条件和/或开销约束条件，搜索最优模型分割方式；根据搜索得到的最优模型分割方式，将所述目标神经网络模型分割成多个子模块。5.如权利要求2～4任一项所述的异构计算调度方法，其特征在于，所述将所述多个子模块分配给所述终端设备中的至少一个硬件平台，包括：根据所述各目标硬件平台对应的剩余算力，将所述多个子模块分配给至少一个目标硬件平台。6.如权利要求5所述的异构计算调度方法，其特征在于，所述根据所述各目标硬件平台对应的剩余算力，将所述多个子模块分配给至少一个目标硬件平台，包括：若所述剩余算力最高的第一目标硬件平台对应的剩余算力能够满足所述多个子模块运算所需的算力，则将所述多个子模块分配给所述第一目标硬件平台；若所述第一目标硬件平台对应的剩余算力无法满足所述...

【专利技术属性】
技术研发人员：牛孝通，许哲豪，
申请(专利权)人：展讯通信上海有限公司，
类型：发明
国别省市：