【技术实现步骤摘要】
一种神经网络压缩方法及装置
[0001]本专利技术涉及神经网络
，具体涉及一种神经网络压缩方法及装置。
技术介绍
[0002]随着深度学习技术的不断发展，神经网络的模型越来越大，在执行各种任务中表现得更加优秀，但是，神经网络模型越大意味着训练和推理消耗的时间和能耗越多，因此需要对神经网络进行压缩。
[0003]现有技术中，通过压缩参数实现对神经网络的压缩，然而，由于参数值改变会影响神经网络的精度进而影响神经网络的性能，因此通过压缩参数从而压缩神经网络的现有技术中，存在的无法保持神经网络精度和性能的问题是目前急需解决的问题。
技术实现思路
[0004]有鉴于此，本专利技术实施例提供一种神经网络压缩方法及装置，以实现不改变参数值并保持神经网络精度和性能的同时压缩神经网络的目的。
[0005]为实现上述目的，本专利技术实施例提供如下技术方案：
[0006]本专利技术实施例第一方面公开了一种神经网络压缩方法，所述方法包括：
[0007]获取构建神经网络的各个参数，由所述各个参数对...
【技术保护点】
【技术特征摘要】
1.一种神经网络的压缩方法，其特征在于，所述方法包括：获取构建神经网络的各个参数，由所述各个参数对应的取值范围内选取任一值作为所述各个参数各自的配置值；选择所述各个参数的配置值中性能大于第一性能阈值的配置值作为第一配置值；针对每一个第一配置值，构建所述第一配置值对应的邻域；由所有第一配置值和每一所述第一配置值对应的邻域中筛选性能符合性能需求的第二配置值，集合所述第二配置值，得到数据集；选择所述数据集中性能最大的N个第二配置值作为参考值构建参考集，并从所述数据集中删除；所述N为正整数，表示预设个数；由当前处于所述参考集中的参考值中确定定位所述参考集的定位值，计算所述数据集中剩余的第二配置值与所述定位值之间的距离，选择所述距离最大的第二配置值加入所述参考集，并从所述数据集中删除；选择所述参考集中任意两个参考值构建子集，得到多个子集；针对每一个子集中的参考值进行线性组合计算，得到压缩所述参数的最优解，利用所述最优解执行神经网络的压缩。2.根据权利要求1所述的方法，其特征在于，所述构建参考集之后，还包括：集合所述参考值和已知的最优解作为并集值构成并集，并清空所述参考集；计算所述并集值与所述定位值之间的距离，选择所述距离大于距离阈值的所述并集值作为参考值加入所述参考集，并从所述并集中删除；计算所述定位值和距离所述定位值最小的并集值之间的性能差值，若所述性能差值大于第二性能阈值，将所述距离所述定位值最小的并集值作为参考值加入所述参考集，并从所述并集中删除。3.根据权利要求1所述的方法，其特征在于，所述获取构建神经网络的各个参数，由所述各个参数对应的取值范围内选取任一值作为所述各个参数各自的配置值，包括：获取构建神经网络的各个参数；针对每一参数，将所述参数的取值范围进行等分，得到多个子区间；根据每一个所述子区间被选择的次数，从所述多个子区间中选择一个被选择的次数小于预设次数的所述子区间作为目标子区间；从所述目标子区间内选择一个值作为所述参数的配置值。4.根据权利要求1所述的方法，其特征在于，所述由所有第一配置值和每一所述第一配置值对应的邻域中筛选性能符合性能需求的第二配置值，包括：从所述第一配置值对应的所述邻域中随机选择参考配置值，比较所述参考配置值与所述第一配置值的性能；若所述参考配置值的性能优于所述第一配置值，将所述参考配置值作为第一配置值，返回执行构建对应所述第一配置值的邻域的步骤；若所述参考配置值的性能劣于所述第一配置值，继续选择下一个参考配置值与所述第一配置值进行性能比较，直到所述邻域内所有的参考配置值都进行过比较，得到第二配置值。5.根据权利要求1所述的方法，其特征在于，所述针对每一个子集中的参考值进行线性组合计算，得到压缩所述参数的最优解，包括：
根据所述子集中的参考值性能大小，在所述子集中的参考值的线性组合计算结果中选择压缩所述参数的最优解。6.一种神经网络的压...
【专利技术属性】
技术研发人员：闫龙川，何永远，郭永和，牛佳宁，张朝霞，曹津平，彭元龙，
申请(专利权)人：国家电网有限公司信息通信分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。