基于知识蒸馏的神经网络的数据压缩恢复方法及系统技术方案

本公开涉及神经网络技术领域，具体而言，本公开涉及基于知识蒸馏的神经网络的数据压缩恢复方法及系统。所述方法包括：将原数据输入到知识蒸馏网络进行训练；将所述原数据经过压缩得到的压缩数据输入到目标网络中；通过所述知识蒸馏网络对已输入所述压缩数据的所述目标网络进行分析训练；将训练好的目标网络数据输出，得到恢复后的分析结果。所述系统包括：数据压缩模块，用于生成压缩数据；知识蒸馏模块，用于将所述数据压缩模块传入的数据提取为高质量特征流；推理模块，用于部署恢复后的分析结果。本公开的方法与系统可以减少图片、视频或音频数据因压缩所带来的损失，且能大幅提升目标网络的性能，得到准确率大幅提升的分析结果。结果。结果。

【技术实现步骤摘要】
基于知识蒸馏的神经网络的数据压缩恢复方法及系统


[0001]本公开涉及神经网络
，更为具体来说，本公开涉及基于知识蒸馏的神经网络的数据压缩恢复方法及系统。

技术介绍

[0002]随着人工神经网络的蓬勃发展，各种神经网络模型得到了越来越广泛的应用。而很多神经网络采用的数据都是经过有损压缩的，有损压缩给数据信号带来了难以恢复的损失。这种损失不但影响了人类对数据的感知，同时也降低了各类神经网络的性能。
[0003]有很多复原技术致力于从信号层面上恢复这类损失。以图片压缩为例，图片压缩伪影去除，是一类旨在尽可能地恢复有损压缩给图片带来的损失，以满足人类观看和各种视觉分析任务需求的技术。现有的方法旨在恢复图片的信号值，但是我们发现这种恢复信号值的方法对神经网络没有明显的帮助。
[0004]知识蒸馏是一种模型压缩方法，由于其简单，有效，在工业界被广泛应用，但有损压缩会降低目标网络的性能。
[0005]因此，本申请提出一种改进的方法及系统，以至少部分地解决上述技术问题。

技术实现思路

[0006]为实现上述技术目的，本公开提供了基于知识蒸馏的神经网络的数据压缩恢复方法，包括：
[0007]将原数据输入到知识蒸馏网络进行训练；
[0008]将所述原数据经过压缩得到的压缩数据输入到目标网络中；
[0009]通过所述知识蒸馏网络对已输入所述压缩数据的所述目标网络进行分析训练；
[0010]将训练好的目标网络数据输出，得到恢复后的分析结果。
[0011]具体地，所述知识蒸馏网络可为教师网络，所述教师网络为表示知识教师网络或为信号知识教师网络。
[0012]进一步地，所述表示知识教师网络对原数据训练的方法为：
[0013]θ
*
＝argmin
θ
l
task
(f(x；θ)，y)
[0014]其中，θ
*
表示训练得到的表示知识教师网络，l
task
表示相关的损失函数，x和y分别表示原数据和输出数据。
[0015]进一步地，所述信号知识教师网络对原数据训练的方法为：
[0016][0017]其中，F
s
表示目标网络的特征表示，x表示原数据，l表示衡量两个数据差异的函数。
[0018]进一步地，所述表示知识教师网络对已输入所述压缩数据的所述目标网络进行训
练时，约束所述目标网络从压缩数据提取的特征表示与表示知识教师网络提取的高质量特征表示的差异，具体方法为：
[0019][0020]其中，M
RKT
是表示知识教师网络得到的高质量特征表示，M是目标网络得到的特征表示，c(x)表示压缩数据。
[0021]优选地，所述目标网络为卷积神经网络、循环神经网络和/或胶囊网络。
[0022]优选地，所述原数据为图片数据、视频数据和/或音频数据，所述压缩数据为图片压缩数据、视频压缩数据和/或音频压缩数据。
[0023]本公开提供了一种基于知识蒸馏的神经网络的数据压缩恢复系统，包括：
[0024]数据压缩模块，用于获取原数据，并将所述原数据进行压缩后生成压缩数据；
[0025]知识蒸馏模块，用于将所述数据压缩模块传入的数据提取为高质量特征流；
[0026]推理模块，用于部署从所述知识蒸馏模块中输出的恢复后的分析结果。
[0027]具体地，所述知识蒸馏模块包括知识蒸馏网络和目标网络，所述知识蒸馏网络对已输入所述压缩数据的所述目标网络进行分析训练。
[0028]具体地，所述知识蒸馏网络为表示知识教师网络或为信号知识教师网络。
[0029]本公开的有益效果为：
[0030]本公开提出了基于知识蒸馏的神经网络的数据压缩恢复方法及系统，所述方法与所述系统可以减少图片、视频或音频数据因压缩所带来的损失，且能大幅提升目标网络的性能，得到准确率大幅提升的分析结果。
附图说明
[0031]图1示出了本公开的实施例1的流程示意图；
[0032]图2示出了本公开的实施例2的结构示意图；
[0033]图3示出了本公开的实施例3的过程示意图。
具体实施方式
[0034]以下，将参照附图来描述本公开的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。对于本领域技术人员来说显而易见的是，本公开可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本公开发生混淆，对于本领域公知的一些技术特征未进行描述。
[0035]应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本公开的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。
[0036]现在，将参照附图更详细地描述根据本公开的示例性实施例。然而，这些示例性实
施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
[0037]实施例1：
[0038]本公开提供了一种基于知识蒸馏的神经网络的数据压缩恢复方法，如图1所示，包括：
[0039]将原数据输入到知识蒸馏网络进行训练；
[0040]将原数据经过压缩得到的压缩数据输入到目标网络中；
[0041]通过知识蒸馏网络对已输入所述压缩数据的所述目标网络进行分析训练；
[0042]将训练好的目标网络数据输出，得到恢复后的分析结果。
[0043]具体地，知识蒸馏网络可为教师网络，教师网络为表示知识教师网络或为信号知识教师网络。
[0044]进一步地，表示知识教师网络对原数据训练的方法为：
[0045]θ
*
＝argmin
θ l
task
(f(x；θ)，V)
[0046]其中，θ
*
表示训练得到的表示知识教师网络，l
task
表示相关的损失函数，x和y分别表示原数据和输出数据。
[0047]进一步地，信号知识教师网络对原数据训练的方法为：
[0048][0049]其中，F
s
表示目标网络的特征表示，x表示原数据，l表示衡量两个数据差异的函数。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识蒸馏的神经网络的数据压缩恢复方法，其特征在于，包括：将原数据输入到知识蒸馏网络进行训练；将所述原数据经过压缩得到的压缩数据输入到目标网络中；通过所述知识蒸馏网络对已输入所述压缩数据的所述目标网络进行分析训练；将训练好的目标网络数据输出，得到恢复后的分析结果。2.根据权利要求1所述的基于知识蒸馏的神经网络的数据压缩恢复方法，其特征在于，所述知识蒸馏网络为表示知识教师网络或为信号知识教师网络。3.根据权利要求2所述的基于知识蒸馏的神经网络的数据压缩恢复方法，其特征在于，所述表示知识教师网络对原数据训练的方法为：θ
*
＝argmin
θ
l
task
(f(x；θ)，y)其中，θ
*
表示训练得到的表示知识教师网络，l
task
表示相关的损失函数，x和y分别表示原数据和输出数据。4.根据权利要求2所述的基于知识蒸馏的神经网络的数据压缩恢复方法，其特征在于，所述信号知识教师网络对原数据训练的方法为：其中，F
s
表示目标网络的特征表示，x表示原数据，l表示衡量两个数据差异的函数。5.根据权利要求2所述的基于知识蒸馏的神经网络的数据压缩恢复方法，其特征在于，所述表示知识教师网络对...

【专利技术属性】
技术研发人员：田永鸿，马力，高峰，彭佩玺，邢培银，高文，
申请(专利权)人：北京大学，
类型：发明
国别省市：