基于知识蒸馏的神经网络的数据压缩恢复方法及系统技术方案

本公开涉及神经网络技术领域，具体而言，本公开涉及基于知识蒸馏的神经网络的数据压缩恢复方法及系统。所述方法包括：将原数据输入到知识蒸馏网络进行训练；将所述原数据经过压缩得到的压缩数据输入到目标网络中；通过所述知识蒸馏网络对已输入所述压缩数据的所述目标网络进行分析训练；将训练好的目标网络数据输出，得到恢复后的分析结果。所述系统包括：数据压缩模块，用于生成压缩数据；知识蒸馏模块，用于将所述数据压缩模块传入的数据提取为高质量特征流；推理模块，用于部署恢复后的分析结果。本公开的方法与系统可以减少图片、视频或音频数据因压缩所带来的损失，且能大幅提升目标网络的性能，得到准确率大幅提升的分析结果。结果。结果。

【技术实现步骤摘要】
基于知识蒸馏的神经网络的数据压缩恢复方法及系统


[0001]本公开涉及神经网络
，更为具体来说，本公开涉及基于知识蒸馏的神经网络的数据压缩恢复方法及系统。

技术介绍

[0002]随着人工神经网络的蓬勃发展，各种神经网络模型得到了越来越广泛的应用。而很多神经网络采用的数据都是经过有损压缩的，有损压缩给数据信号带来了难以恢复的损失。这种损失不但影响了人类对数据的感知，同时也降低了各类神经网络的性能。
[0003]有很多复原技术致力于从信号层面上恢复这类损失。以图片压缩为例，图片压缩伪影去除，是一类旨在尽可能地恢复有损压缩给图片带来的损失，以满足人类观看和各种视觉分析任务需求的技术。现有的方法旨在恢复图片的信号值，但是我们发现这种恢复信号值的方法对神经网络没有明显的帮助。
[0004]知识蒸馏是一种模型压缩方法，由于其简单，有效，在工业界被广泛应用，但有损压缩会降低目标网络的性能。
[0005]因此，本申请提出一种改进的方法及系统，以至少部分地解决上述技术问题。

技术实现思路

[0006]为实现上述技术目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识蒸馏的神经网络的数据压缩恢复方法，其特征在于，包括：将原数据输入到知识蒸馏网络进行训练；将所述原数据经过压缩得到的压缩数据输入到目标网络中；通过所述知识蒸馏网络对已输入所述压缩数据的所述目标网络进行分析训练；将训练好的目标网络数据输出，得到恢复后的分析结果。2.根据权利要求1所述的基于知识蒸馏的神经网络的数据压缩恢复方法，其特征在于，所述知识蒸馏网络为表示知识教师网络或为信号知识教师网络。3.根据权利要求2所述的基于知识蒸馏的神经网络的数据压缩恢复方法，其特征在于，所述表示知识教师网络对原数据训练的方法为：θ
*
＝argmin
θ
l
task
(f(x；θ)，y)其中，θ
*
表示训练得到的表示知识教师网络，l
task
表示相关的损失函数，x和y分别表示原数据和输出数据。4.根据权利要求2所述的基于知识蒸馏的神经网络的数据压缩恢复方法，其特征在于，所述信号知识教师网络对原数据训练的方法为：其中，F
s
表示目标网络的特征表示，x表示原数据，l表示衡量两个数据差异的函数。5.根据权利要求2所述的基于知识蒸馏的神经网络的数据压缩恢复方法，其特征在于，所述表示知识教师网络对...

【专利技术属性】
技术研发人员：田永鸿，马力，高峰，彭佩玺，邢培银，高文，
申请(专利权)人：北京大学，
类型：发明
国别省市：