一种神经网络模型的优化方法、装置及电子设备制造方法及图纸

本申请提供了一种神经网络模型的优化方法、装置及电子设备，方法包括：确定神经网络模型中的待优化结构层，并获取所述待优化层结构对应的待优化权重矩阵；获取对所述待优化权重矩阵以实现对所述待优化层结构进行优化的参考矩阵；所述参考矩阵与所述待优化权重矩阵进行点乘运算，以对所述待优化结构层进行优化。实现在对神经网络模型的结构进行优化时，不会破坏神经网络模型的结构。破坏神经网络模型的结构。

【技术实现步骤摘要】
一种神经网络模型的优化方法、装置及电子设备


[0001]本申请涉及人工智能
，特别涉及一种神经网络模型的优化方法、装置及电子设备。

技术介绍

[0002]基于神经网络模型，可以模仿生物神经连接网络的行为特征，从而实现分布式并行计算的数学计算。神经网络中的基本结构是层，常见的有卷积层、全连接层、激活层。通过多个层的组合和连接形成神经网络模型；在神经网络模型中，每一层由节点（也称神经元）组成，这些神经元具有如下特性：（1）与其他神经元（包括其他层，本层）存在连接；（2）通过特定的输出函数（也称激活函数），计算处理来自其他神经元的加权输入值；（3）神经元之间的连接存在强度，使用权重来定义。输入数据依次通过各个层计算产生输出数据作为下一层的输入数据，直到得到最终结果；全连接层是神经网络模型中比较常见的结构，全连接层中的所有节点会连接上一层的所有节点，会有M*N个权重数量，其中M是上层节点的数量，N是本层节点的数量；随着神经网络模型的扩大和复杂化，其具备的参数数量和计算量也在不断增加，为此，计算资源的消耗问题也变得越来越不可忽视。尤其在移动设备中往往内存较少，算力也弱于桌面设备和服务器，这对神经网络模型的设计提出了更高的要求，为此，模型优化也应运而生。但是，在实现本申请的过程中，专利技术人发现，现有技术中的模型优化处理，针对神经网络模型中的某一整层或者单个神经元，由此会破坏神经网络模型的结构。

技术实现思路

[0003]本申请的目的在于提供一种神经网络模型的优化方法、装置及电子设备，以克服或者缓解现有技术中的上述技术问题；为了实现上述目的，本申请提供如下技术方案：第一方面，提供一种神经网络模型的优化方法，其包括：确定神经网络模型中的待优化结构层，并获取所述待优化层结构对应的待优化权重矩阵；获取对所述待优化权重矩阵以实现对所述待优化层结构进行优化的参考矩阵；所述参考矩阵与所述待优化权重矩阵进行点乘运算，以对所述待优化结构层进行优化；可选地，所述参考矩阵满足如下条件：所述参考矩阵的尺寸与所述待优化权重矩阵的尺寸相同；所述参考矩阵包括若干个第一标记值和若干个第二标记值；所述参考矩阵具有上下对称性和左右对称性；所述参考矩阵包括基于2*2中心矩阵以及以所述2*2中心矩阵为参考进行扩展得
到；所述2*2中心矩阵包括4个第二标记值，且以其中每个第二标记值为种子，沿着所述参考矩阵的对角线进行种子的扩展，得到所述参考矩阵；可选地，所述参考矩阵中第一标记值的位置定义所述待优化权重矩阵中对应位置的权重值需被优化，所述参考矩阵中第二标记值的位置定义所述待优化权重矩阵中对应位置的权重值保持不变；可选地，所述第一标记值为0，所述第二标记值为1；可选地，所述参考矩阵包括基于其对角线划分的第一区域、第二区域、第三区域、第四区域，所述第一区域与所述第三区域形成第一镜像关系，且所述第一区域与所述第三区域的标记值均为1；所述第二区域与所述第四区域形成第二镜像关系，且所述第一区域与所述第三区域的标记值均为0；可选地，所述第一镜像关系为左右镜像关系，所述第二镜像关系为上下镜像关系；可选地，所述的方法，还包括：将述待优化结构层神经网络模型中最大权重数量对应的结构层作为所述待优化结构层；可选地，所述最大权重数量对应的结构层为全连接层；第二方面，提供一种神经网络模型的优化装置，其包括：第一程序单元，用于确定神经网络模型中的待优化结构层，并获取所述待优化层结构对应的待优化权重矩阵；第二程序单元，用于获取对所述待优化权重矩阵以实现对所述待优化层结构进行优化的参考矩阵；第三程序单元，用于令所述参考矩阵与所述待优化权重矩阵进行点乘运算，以对所述待优化结构层进行优化；第三方面，提供一种电子设备，其包括：存储器以及处理器，所述存储器上存储有可执行程序，所述处理器用于执行所述可执行程序，以实施本申请任一方法实施例所述的操作步骤。
有益效果
[0004]通过确定神经网络模型中的待优化结构层，并获取所述待优化层结构对应的待优化权重矩阵；获取对所述待优化权重矩阵以实现对所述待优化层结构进行优化的参考矩阵；所述参考矩阵与所述待优化权重矩阵进行点乘运算，以对所述待优化结构层进行优化，在对神经网络模型的结构进行优化时，不会破坏神经网络模型的结构。
附图说明
[0005]构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：图1为本申请实施例一种神经网络模型的优化方法的框图示意图；图2为本申请实施例一种神经网络模型的优化方法的框图示意图；图3为本申请实施例神经网络模型的优化方法具体场景示意图；图4为本申请实施例一种神经网络模型的优化装置的结构示意图；
图5为本申请实施例一种电子设备的结构示意图。
实施方式
[0006]下面将参考附图并结合实施例来详细说明本申请。各个示例通过本申请的解释的方式提供而非限制本申请。实际上，本领域的技术人员将清楚，在不脱离本申请的范围或精神的情况下，可在本申请中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本申请包含归入所附权利要求及其等同物的范围内的此类修改和变型；在本申请的描述中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请而不是要求本申请必须以特定的方位构造和操作，因此不能理解为对本申请的限制。本申请中使用的术语“相连”、“连接”、“设置”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接；可以是直接相连，也可以通过中间部件间接相连；对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义；图1为本申请实施例一种神经网络模型的优化方法的框图示意图。如图1所示，其包括：S101、确定神经网络模型中待优化结构层对应的待优化权重矩阵；S102、获取设定的参考矩阵，以与所述待优化权重矩阵进行点乘运算，与对所述待优化结构层进行优化；其中，所述参考矩阵为蝶式结构，沿着其对角线具有呈左右镜像关系的第一区域和第三区域，以及呈上下镜像关系的第二区域和第四区域，所述第一区域和第三区域中各个位置的值均为种子值，所述第二区域和所述第四区域中各个位置的值均为非种子值；可选地，所述种子值为1，以表征所述待优化权重矩阵对应位置的权重保持不变，所述非种子值为0，以表征所述待优化权重矩阵对应位置的权重需优化；本实施例中，由于所述参考矩阵为蝶式结构，且该蝶式结构各个位置的值或者0，或者为1，实现与神经网络模型的整体结构保持高度的结构一致性，从而在与所述待优化权重矩阵进行点乘运算时，对所述待优化权重矩阵对应位置的权重值修改为0，或者，保持对应位置的权重保持不变，可实现对单个权重值进行优化，也可以实现以层为对象或者神经元为对象，对对应的权重值进行优化，保证优化精度的同时，不会破坏神经网络模型的整体结构；以下对上述图1的实现过程进行示例性说明；图2为本申请实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型的优化方法，其特征在于，包括：确定神经网络模型中的待优化结构层，并获取所述待优化层结构对应的待优化权重矩阵；获取对所述待优化权重矩阵以实现对所述待优化层结构进行优化的参考矩阵；所述参考矩阵与所述待优化权重矩阵进行点乘运算，以对所述待优化结构层进行优化。2.根据权利要求1所述的方法，其特征在于，所述参考矩阵满足如下条件：所述参考矩阵的尺寸与所述待优化权重矩阵的尺寸相同；所述参考矩阵包括若干个第一标记值和若干个第二标记值；所述参考矩阵具有上下对称性和左右对称性；所述参考矩阵包括基于2*2中心矩阵以及以所述2*2中心矩阵为参考进行扩展得到；所述2*2中心矩阵包括4个第二标记值，且以其中每个第二标记值为种子，沿着所述参考矩阵的对角线进行种子的扩展，得到所述参考矩阵。3.根据权利要求2所述的方法，其特征在于，所述参考矩阵中第一标记值的位置定义所述待优化权重矩阵中对应位置的权重值需被优化，所述参考矩阵中第二标记值的位置定义所述待优化权重矩阵中对应位置的权重值保持不变。4.根据权利要求3所述的方法，其特征在于，所述第一标记值为0，所述第二标记值为1。5.根据权利要求4所述的方法，其特征在于，所述参考矩阵包括基于其对角线划分的第一区域、第二区域、第三区域、第...

【专利技术属性】
技术研发人员：李欣，杨国庆，
申请(专利权)人：熠芯宁波智能科技有限公司，
类型：发明
国别省市：