【技术实现步骤摘要】
神经网络优化方法、装置、电子设备、存储介质及芯片
[0001]本公开涉及深度学习
，具体而言，涉及一种神经网络优化方法、装置、电子设备、存储介质及芯片。
技术介绍
[0002]随着深度学习的研究和发展，神经网络被广泛应用于各
，比如，自动驾驶领域、公共安全领域、增强现实领域等。为了保证神经网络的性能，神经网络的规模可以设置的较大，使得神经网络包括的参数较多，导致神经网络计算过程中会消耗大量的存储资源、计算资源等，为将神经网络部署在资源有限的设备上带来了巨大的挑战。
[0003]因此，提出一种神经网络优化方法尤为重要。
技术实现思路
[0004]有鉴于此，本公开至少提供一种神经网络优化方法、装置、电子设备、存储介质及芯片。
[0005]第一方面，本公开提供了一种神经网络优化方法，包括：
[0006]获取待压缩神经网络；其中，所述待压缩神经网络包括多个待压缩网络块；
[0007]响应于对所述多个待压缩网络块进行压缩操作得到多个压缩后网络块，确定每个所述压缩后网络块的目标...
【技术保护点】
【技术特征摘要】
1.一种神经网络优化方法，其特征在于，包括：获取待压缩神经网络；其中，所述待压缩神经网络包括多个待压缩网络块；响应于对所述多个待压缩网络块进行压缩操作得到多个压缩后网络块，确定每个所述压缩后网络块的目标误差；其中，所述目标误差用于表征在将所述待压缩网络块替换为所述压缩后网络块后，所述待压缩神经网络的推理结果的变化程度；和/或，所述待压缩网络块与所述压缩后网络块之间的差异程度；按照基于所述目标误差确定的处理顺序，对各个所述压缩后网络块进行参数调整，得到目标网络块；对包括多个目标网络块的待压缩神经网络进行训练，得到目标神经网络。2.根据权利要求1所述的方法，其特征在于，所述目标误差包括用于表征所述待压缩网络块与所述压缩后网络块之间的差异程度的压缩误差；所述确定每个所述压缩后网络块的目标误差，包括：获取第一样本数据；利用所述待压缩网络块，对所述第一样本数据进行特征提取，得到所述第一样本数据对应的第一输出特征数据；以及利用所述压缩后网络块，对所述第一样本数据进行特征提取，得到所述第一样本数据对应的第二输出特征数据；利用所述第一输出特征数据和所述第二输出特征数据构成的第一数据对，和/或，所述待压缩网络块的权重数据和所述压缩后网络块的权重数据构成的第二数据对，确定所述压缩后网络块的压缩误差。3.根据权利要求1或2所述的方法，其特征在于，所述目标误差包括用于表征在将所述待压缩网络块替换为所述压缩后网络块后，所述待压缩神经网络的推理结果的变化程度的推理误差；所述确定每个所述压缩后网络块的目标误差，包括：获取第二样本数据；将所述第二样本数据输入至所述待压缩神经网络中，得到所述第二样本数据对应的第一检测结果；以及将所述待压缩神经网络中，所述待压缩网络块替换为对应的压缩后网络块，得到替换后的待压缩神经网络；将所述第二样本数据输入至所述替换后的待压缩神经网络中，得到所述第二样本数据对应的第二检测结果；利用所述第一检测结果和所述第二检测结果，确定所述压缩后网络块的推理误差。4.根据权利要求1～3任一所述的方法，其特征在于，所述按照基于所述目标误差确定的处理顺序，对各个所述压缩后网络块进行参数调整，得到目标网络块，包括：按照所述目标误差从大到小的处理顺序，从多个所述压缩后网络块中确定第一个待处理网络块；并将所述第一个待处理网络块确定为当前待处理网络块，将所述待压缩神经网络确定为当前神经网络；将所述当前神经网络中，所述当前待处理网络块对应的待压缩网络块替换为所述当前待处理网络块，得到中间神经网络；基于所述中间神经网络，对所述当前待处理网络块进行参数调整，得到所述当前待处理网络块对应的目标网络块、和包括所述目标网络块的中间神经网络；
基于所述处理顺序，从多个所述压缩后网络块中确定下一个待处理网络块，并将所述下一个待处理网络块确定为当前待处理网络块，将包括所述目标网络块的中间神经网络确定为当前神经网络，返回至将所述当前神经网络中，所述当前待处理网络块对应的待压缩网络块替换为所述当前待处理网络块，得到中间神经网络的步骤，直至得到各个压缩后网络块对应的目标网络块。5.根据权利要求1～3任一所述的方法，其特征在于，所述按照基于所述目标误差确定的处理顺序，对各个所述压缩后网络块进行参数调整，得到目标网络块，包括：按照所述目标误差从大到小的处理顺序，分别将多个所述压缩后网络块中的每个所述压缩后网络块作为待处理网络块；...
【专利技术属性】
技术研发人员：胡英俊，徐宁仪，丁雨，
申请(专利权)人：上海阵量智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。