【技术实现步骤摘要】
本申请涉及深度学习，特别涉及网络模型分散加载方法、装置及电子设备。
技术介绍
1、伴随深度学习技术的不断发展，神经网络模型规模持续变大，以满足更高的精度要求。而随着神经网络模型规模的不断扩大，神经网络模型对存储资源也提出了更高的要求。在具体应用中，被指定用于运行神经网络模型的终端设备，常会受限于本身存储资源比如内存的限制而无法加载对应的神经网络模型，导致无法利用神经网络模型执行对应的运算，降低了神经网络模型的利用率。这里，神经网络模型是指一种模仿生物神经网络的结构和功能的数学模型或计算模型。
技术实现思路
1、本申请实施例提供了网络模型分散加载方法、装置及电子设备，以避免由于终端设备本地存储资源有限比如内存的限制而无法加载神经网络模型。
2、本申请实施例提供一种网络模型分散加载方法，该方法包括：
3、依据终端设备的当前可用内存空间dm，确定所述dm是否满足所述终端设备当前待加载的神经网络模型所需的存储资源要求；
4、在确定所述dm不满足待加载的神经网络模型所需的存储资源要求时，依据所述dm，对所述神经网络模型中的网络层进行分段得到n个分段，n大于1；其中，任一分段被所述终端设备加载运行时所需要的存储资源小于所述dm；所述n个分段被所述终端设备按照所述神经网络模型被运行时的操作顺序依次加载运行。
5、本申请实施例提供一种网络模型分散加载装置，该装置包括：
6、确定单元，用于依据终端设备的当前可用内存空间dm，确定所述dm是否
7、分段单元，用于在确定所述dm不满足待加载的神经网络模型所需的存储资源要求时，依据所述dm，对所述神经网络模型中的网络层进行分段得到n个分段，n大于1；其中，任一分段被所述终端设备加载运行时所需要的存储资源小于所述dm；所述n个分段被所述终端设备按照所述神经网络模型被运行时的操作顺序依次加载运行。
8、本申请实施例还提供了一种电子设备。该电子设备包括：处理器和机器可读存储介质；
9、所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；
10、所述处理器用于执行机器可执行指令，以实现上述公开的方法的步骤。
11、由以上技术方案可以看出，本申请中，在终端设备加载神经网络模型时，会先依据终端设备的当前可用内存空间dm，确定dm是否满足所述终端设备当前待加载的神经网络模型所需的存储资源要求，在确定dm不满足待加载的神经网络模型所需的存储资源要求时，依据dm，对神经网络模型中的网络层进行分段，以使得任一分段被终端设备加载运行时所需要的存储资源小于dm，之后，终端设备按照神经网络模型被运行时的操作顺序依次加载分段并运行，这实现了终端设备通过神经网络模型分散加载的方式加载神经网络模型，避免神经网络模型本身容量和计算指令的内存占用量与终端设备本地可用内存的冲突，达到了充分利用终端设备本地存储资源，且突破上述冲突局限的目的。
本文档来自技高网...【技术保护点】
1.一种网络模型分散加载方法，其特征在于，该方法包括：
2.根据权利要求1所述的方法，其特征在于，所述神经网络模型所需的存储资源要求通过MM与IM的和表示；其中，MM表示所述神经网络模型的内存占用量，IM表示所述神经网络模型的模型计算指令的内存占用量；
3.根据权利要求1所述的方法，其特征在于，所述依据所述DM，对所述神经网络模型中的网络层进行分段得到n个分段包括：
4.根据权利要求3所述的方法，其特征在于，
5.根据权利要求3所述的方法，其特征在于，
6.根据权利要求3或5所述的方法，其特征在于，
7.根据权利要求3所述的方法，其特征在于，所述依据所述神经网络模型中各网络层的网络层配置信息，识别所述神经网络模型中是否存在满足设定巨大网络层条件的至少一个网络层包括：
8.一种网络模型分散加载装置，其特征在于，该装置包括：
9.根据权利要求8所述的装置，其特征在于，所述神经网络模型所需的存储资源要求通过MM与IM的和表示；其中，MM表示所述神经网络模型的内存占用量，IM表示所述神经网络模
10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有能够被执行的机器可执行指令；
...【技术特征摘要】
1.一种网络模型分散加载方法，其特征在于，该方法包括：
2.根据权利要求1所述的方法，其特征在于，所述神经网络模型所需的存储资源要求通过mm与im的和表示；其中，mm表示所述神经网络模型的内存占用量，im表示所述神经网络模型的模型计算指令的内存占用量；
3.根据权利要求1所述的方法，其特征在于，所述依据所述dm，对所述神经网络模型中的网络层进行分段得到n个分段包括：
4.根据权利要求3所述的方法，其特征在于，
5.根据权利要求3所述的方法，其特征在于，
6.根据权利要求3或5所述的方法，其特征在于，<...
【专利技术属性】
技术研发人员：叶挺群，周智强，王鹏，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。