网络模型分散加载方法、装置及电子设备制造方法及图纸

技术编号:40701223 阅读:25 留言:0更新日期:2024-03-22 10:59
本申请提供了网络模型分散加载方法、装置及电子设备。本申请,在终端设备加载神经网络模型时,会先依据终端设备的当前可用内存空间DM,确定DM是否满足终端设备当前待加载的神经网络模型所需的存储资源要求,在确定DM不满足待加载的神经网络模型所需的存储资源要求时,依据DM对神经网络模型中的网络层进行分段,以使得任一分段被终端设备加载运行时所需要的存储资源小于DM,之后,终端设备按照神经网络模型被运行时的操作顺序依次加载分段并运行,这实现了终端设备通过神经网络模型分散加载的方式加载神经网络模型,避免神经网络模型本身容量和计算指令的内存占用量与终端设备本地可用内存的冲突。

【技术实现步骤摘要】

本申请涉及深度学习,特别涉及网络模型分散加载方法、装置及电子设备


技术介绍

1、伴随深度学习技术的不断发展,神经网络模型规模持续变大,以满足更高的精度要求。而随着神经网络模型规模的不断扩大,神经网络模型对存储资源也提出了更高的要求。在具体应用中,被指定用于运行神经网络模型的终端设备,常会受限于本身存储资源比如内存的限制而无法加载对应的神经网络模型,导致无法利用神经网络模型执行对应的运算,降低了神经网络模型的利用率。这里,神经网络模型是指一种模仿生物神经网络的结构和功能的数学模型或计算模型。


技术实现思路

1、本申请实施例提供了网络模型分散加载方法、装置及电子设备,以避免由于终端设备本地存储资源有限比如内存的限制而无法加载神经网络模型。

2、本申请实施例提供一种网络模型分散加载方法,该方法包括:

3、依据终端设备的当前可用内存空间dm,确定所述dm是否满足所述终端设备当前待加载的神经网络模型所需的存储资源要求;

4、在确定所述dm不满足待加载的神经网络模型所需的存储资源要求本文档来自技高网...

【技术保护点】

1.一种网络模型分散加载方法,其特征在于,该方法包括:

2.根据权利要求1所述的方法,其特征在于,所述神经网络模型所需的存储资源要求通过MM与IM的和表示;其中,MM表示所述神经网络模型的内存占用量,IM表示所述神经网络模型的模型计算指令的内存占用量;

3.根据权利要求1所述的方法,其特征在于,所述依据所述DM,对所述神经网络模型中的网络层进行分段得到n个分段包括:

4.根据权利要求3所述的方法,其特征在于,

5.根据权利要求3所述的方法,其特征在于,

6.根据权利要求3或5所述的方法,其特征在于,

<p>7.根据权利要求...

【技术特征摘要】

1.一种网络模型分散加载方法,其特征在于,该方法包括:

2.根据权利要求1所述的方法,其特征在于,所述神经网络模型所需的存储资源要求通过mm与im的和表示;其中,mm表示所述神经网络模型的内存占用量,im表示所述神经网络模型的模型计算指令的内存占用量;

3.根据权利要求1所述的方法,其特征在于,所述依据所述dm,对所述神经网络模型中的网络层进行分段得到n个分段包括:

4.根据权利要求3所述的方法,其特征在于,

5.根据权利要求3所述的方法,其特征在于,

6.根据权利要求3或5所述的方法,其特征在于,<...

【专利技术属性】
技术研发人员:叶挺群周智强王鹏
申请(专利权)人:杭州海康威视数字技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1