【技术实现步骤摘要】
神经网络的训练方法、数据处理方法、设备及存储介质
[0001]本申请涉及机器学习
，特别涉及一种神经网络的训练方法、数据处理方法、设备及存储介质。
技术介绍
[0002]在机器学习领域中，剪枝是从原始的神经网络中剪去部分权重而尽量少地损失精度，以减少神经网络中的参数量，从而降低资源占用的模型压缩方案。
[0003]剪枝一般包括剪去权重和恢复精度两大步骤，在相关技术中，剪枝过程通常如下：首先，通过训练数据集对原始的神经网络进行训练，得到训练完成的原始的神经网络；然后，从原始的神经网络中剪去重要性较低的权重参数，得到稀疏的神经网络模型；再通过训练数据集对稀疏的神经网络模型进行再训练或者重新训练。
[0004]在上述技术方案中，由于剪枝会改变神经网络的权重分布，对稀疏的神经网络进行再训练通常无法达到较好的收敛效果，导致精度恢复效果不理想，影响最终稀疏的神经网络的准确性。
技术实现思路
[0005]本申请实施例提供了一种神经网络的训练方法、数据处理方法、设备及存储介质，可以在对稀疏的神经网络进行...
【技术保护点】
【技术特征摘要】
1.一种神经网络的训练方法，其特征在于，所述方法包括：获取已训练收敛的第一神经网络；对所述第一神经网络进行剪枝操作，获得第二神经网络；利用所述第一神经网络和所述第二神经网络分别对相同的训练数据样本进行推理计算，获得所述第一神经网络的输出值和所述第二神经网络的输出值；基于所述第一神经网络的输出值、所述第二神经网络的输出值、所述训练数据样本对应的目标值以及所述第一神经网络的权重分布，获取所述第二神经网络的总损失函数值；基于所述总损失函数值对所述第二神经网络进行训练。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一神经网络的输出值、所述第二神经网络的输出值、所述训练数据样本对应的目标值以及所述第一神经网络的权重分布，获取所述第二神经网络的总损失函数值，包括：基于所述第二神经网络的输出值以及所述训练数据样本对应的目标值，获取第一损失函数值；所述第一损失函数值用于指示所述第二神经网络的输出值与所述训练数据样本对应的目标值之间的差异；基于所述第一神经网络的输出值以及所述第一神经网络的权重分布，获取至少两项第二损失函数值；至少两项所述第二损失函数值至少用于指示所述第一神经网络的输出值与所述第二神经网络的输出值之间的差异，以及，所述第一神经网络的权重分布与所述第二神经网络的权重分布之间的差异；基于所述第一损失函数值、以及至少两项所述第二损失函数值，获取所述总损失函数值。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一损失函数值和至少两项所述第二损失函数值，获取所述总损失函数值，包括：对所述第一损失函数值和至少两项所述第二损失函数值进行加权求和，获得所述总损失函数值。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：基于所述第一损失函数值，以及至少两项所述第二损失函数值，对所述第一损失函数值的权重，以及至少两项所述第二损失函数值各自的权重进行调整。5.根据权利要求4所述的方法，其特征在于，所述基于所述第一损失函数值，以及至少两项所述第二损失函数值，对所述第一损失函数值的权重，以及至少两项所述第二损失函数值各自的权重进行调整，包括：基于所述第一损失函数值以及至少两项所述第二损失函数值，与指定阈值之间的大小关系，确定满足置零条件的目标损失函数值；将所述目标损失函数值的权重设置为零。6.根据权利要求3所述的方法，其特征在于，所述方法还包括：通过所述总损失函数值，对所述第一损失函数值的权重，以及至少两项所述第二损失函数值各自的权重进行更新。7.根据权利要求2所述的方法，其特征在于，所述至少两项所述第二损失函数值，还用于指示以下差异中的至少一者：所述第一神经网络中的各个网络层输出的特征图，与所述第二神经网络中的各个网络
层输出的特征图之间的差异；所述第一神经网络中各个网络层的激活函数为0的比例，与所述第二神经网络中各个网络层的激活函数为0的比例之间的差异；所述第一神经网络中的各个网络层的输出的熵值，与所述第二神经网络中的各个网络层的输出的熵值之间的差异；所述第一神经网络的峰值信噪比，与所述第二神经网络的峰值信噪比之间的差异；所述第一神经网络的F分数，与所述第二神经网络的F分数之间的差异。8.根据权利要求2所述的方法，其特征在于，所述基于所述第一损失函数值、以及至少两项所述第二损失...
【专利技术属性】
技术研发人员：赵娟萍，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。