生成网络的特征蒸馏方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及计算机视觉与深度学习技术领域，特别涉及一种生成网络的特征蒸馏方法、装置、电子设备及存储介质，其中，包括：获取目标生成网络中的多个特征图；将其输入至预设挤压模块，并从中挤压出满足预设变换不变性的预设图像特征；从预设数据增广中随机抽样出图像变换算子，并利用图像变换算子对预设图像特征进行特征蒸馏，得到目标生成网络在合成图像领域的图像；并将其输入至预设学生网络，同时输入真实图像进行自监督对比学习，使得目标生成网络的蒸馏表征扩张至真实图像领域，实现目标生成网络的特征蒸馏。由此，解决了无法从GAN的生成器中蒸馏出价值的表征信息，无法充分利用或将表征迁移至下游任务，降低了表征提取网络的性能等问题。性能等问题。性能等问题。

【技术实现步骤摘要】
生成网络的特征蒸馏方法、装置、电子设备及存储介质


[0001]本申请涉及数字图像处理，模式识别及计算机视觉与深度学习
，特别涉及一种生成网络的特征蒸馏方法、装置、电子设备及存储介质。

技术介绍

[0002]归功于大型数据集和网络架构设计的最新进展，GAN(Generative Adversarial Networks，生成式对抗网络)不断取得令人印象深刻的图像合成结果，GAN不仅能合成逼真的图像，还能对其中的内容或风格进行操控，这些特性促使大量的工作利用预训练GAN来完成各种计算机视觉任务，包括部分分割，三维重建，图像对齐等，并展示GAN在人工标注不足时的优势，GAN可以产生细粒度的、解耦的以及可解释的表征，因而带来数据效率与泛化性能上的优势。
[0003]相关技术中，基于GAN的表征学习的工作侧重于利用判别器网络的特征或是通过训练一个编码器网络将图像映射回隐空间并利用其中学习到的特征，GAN的生成器所具有的可控合成特性表明其拥有信息丰富的、解耦的以及可解释的图像表征，然而利用或将表征迁移至下游任务仍然没有得到充分的探索，与判别器网络或编码器网络不同，生成器网络输入为隐变量，不能接受图像作为输入并输出表征或预测结果，难以直接迁移到其他下游任务。

技术实现思路

[0004]本申请提供一种生成网络的特征蒸馏方法、装置、电子设备及存储介质，以解决相关技术中无法从GAN的生成器中蒸馏出价值的表征信息，无法充分利用或将表征迁移至下游任务，降低了表征提取网络的性能等问题。
[0005]本申请第一方面实施例提供一种生成网络的特征蒸馏方法，包括以下步骤：获取目标生成网络中的多个特征图；将所述多个特征图输入至预设挤压模块，从所述多个特征图中挤压出满足预设变换不变性的预设图像特征；从预设数据增广中随机抽样出图像变换算子，并利用所述图像变换算子对所述预设图像特征进行特征蒸馏，得到所述目标生成网络在合成图像领域的图像；将所述目标生成网络在所述合成图像领域的图像输入至预设学生网络，同时输入真实图像进行自监督对比学习，使得所述目标生成网络的蒸馏表征扩张至真实图像领域，实现所述目标生成网络的特征蒸馏。
[0006]可选地，所述利用所述图像变换算子对所述预设图像特征进行特征蒸馏，得到所述目标生成网络在合成图像领域的图像蒸馏表征，还包括：利用所述图像变换算子对所述预设图像特征进行图像保持语义不变的特征蒸馏，并获取蒸馏过程中的蒸馏损失；在所述蒸馏损失中加入正则化项，对每个预设图像特征进行正则化，使得所述每个预设图像特征在每个维度上的变化程度大于预设变化程度，且去除所述每个维度之间的相关性，得到目标生成网络在合成图像领域的图像蒸馏表征。
[0007]可选地，所述预设学生网络的训练，包括：获取预设学生网络的训练数据；其中，所
述训练数据包括合成数据与真实数据；利用预设的将生成器中的表征挤压到学生网络中的损失函数计算所述合成数据的损失；对于所述真实数据中每个训练图像利用随机数据增广进行多次变换，得到第一视图和第二视图；将所述第一视图和所述第二视图输入待训练的预设学生网络，输出所述第一视图的第一表征和所述第二视图的第二表征，根据所述第一表征和所述第二表征计算所述真实数据的损失；根据所述合成数据的损失和所述真实数据的损失计算每步训练迭代的总体损失，并通过训练迭代得到所述预设学生网络。
[0008]可选地，所述根据所述第一表征和所述第二表征计算得到训练损失值，包括：根据所述第一表征和所述第二表征计算得到真实数据的损失值；根据所述训练数据中合成数据的损失值与所述真实数据的损失值计算得到所述训练损失值。
[0009]本申请第二方面实施例提供一种生成网络的特征蒸馏装置，包括：获取模块，用于获取目标生成网络中的多个特征图；挤压模块，用于将所述多个特征图输入至预设挤压模块，从所述多个特征图中挤压出满足预设变换不变性的预设图像特征；处理模块，用于从预设数据增广中随机抽样出图像变换算子，并利用所述图像变换算子对所述预设图像特征进行特征蒸馏，得到所述目标生成网络在合成图像领域的图像；生成模块，用于将所述目标生成网络在所述合成图像领域的图像输入至预设学生网络，同时输入真实图像进行自监督对比学习，使得所述目标生成网络的蒸馏表征扩张至真实图像领域，实现所述目标生成网络的特征蒸馏。
[0010]可选地，所述处理模块用于：利用所述图像变换算子对所述预设图像特征进行图像保持语义不变的特征蒸馏，并获取蒸馏过程中的蒸馏损失；在所述蒸馏损失中加入正则化项，对每个预设图像特征进行正则化，使得所述每个预设图像特征在每个维度上的变化程度大于预设变化程度，且去除所述每个维度之间的相关性，得到目标生成网络在合成图像领域的图像蒸馏表征。
[0011]可选地，所述生成模块用于：获取预设学生网络的训练数据，其中，所述训练数据包括合成数据与真实数据；利用预设的将生成器中的表征挤压到学生网络中的损失函数计算所述合成数据的损失；对于所述真实数据中每个训练图像利用随机数据增广进行多次变换，得到第一视图和第二视图；将所述第一视图和所述第二视图输入待训练的预设学生网络，输出所述第一视图的第一表征和所述第二视图的第二表征，根据所述第一表征和所述第二表征计算真实数据的损失；根据所述合成数据的损失和所述真实数据的损失计算每步训练迭代的总体损失，并通过训练迭代得到所述预设学生网络。
[0012]可选地，所述生成模块进一步用于：根据第一表征和第二表征计算得到真实数据的损失值；根据训练数据中合成数据的损失值与所述真实数据的损失值计算得到所述训练损失值。
[0013]本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的生成网络的特征蒸馏方法。
[0014]本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的生成网络的特征蒸馏方法。
[0015]由此，本申请至少具有如下有益效果：
[0016]本申请实施例挤压与扩张的方式将GAN生成器的表征知识蒸馏出来，将生成器的
特征挤压成对通过网络进行语义保全转换不变的表示，然后再将其提炼到学生网络中，使用真实的训练数据将合成领域的蒸馏表征跨越到真实领域，以弥补GANs的模式崩溃，并提高学生网络在真实领域的性能，并获取一个较高性能的表征提取网络，对图像提取迁移性强的表征，能够将生成网络中有价值的表征信息蒸馏到表征网络中，并在下游任务中表现优异。
[0017]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0018]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0019]图1为根据本申请实施例的生成网络的特征蒸馏方法的流程图；
[0020]图2为根据本申请实施例的GA本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成网络的特征蒸馏方法，其特征在于，包括以下步骤：获取目标生成网络中的多个特征图；将所述多个特征图输入至预设挤压模块，从所述多个特征图中挤压出满足预设变换不变性的预设图像特征；从预设数据增广中随机抽样出图像变换算子，并利用所述图像变换算子对所述预设图像特征进行特征蒸馏，得到所述目标生成网络在合成图像领域的图像；将所述目标生成网络在所述合成图像领域的图像输入至预设学生网络，同时输入真实图像进行自监督对比学习，使得所述目标生成网络的蒸馏表征扩张至真实图像领域，实现所述目标生成网络的特征蒸馏。2.根据权利要求1所述的方法，其特征在于，所述利用所述图像变换算子对所述预设图像特征进行特征蒸馏，得到所述目标生成网络在合成图像领域的图像蒸馏表征，还包括：利用所述图像变换算子对所述预设图像特征进行图像保持语义不变的特征蒸馏，并获取蒸馏过程中的蒸馏损失；在所述蒸馏损失中加入正则化项，对每个预设图像特征进行正则化，使得所述每个预设图像特征在每个维度上的变化程度大于预设变化程度，且去除所述每个维度之间的相关性，得到目标生成网络在合成图像领域的图像蒸馏表征。3.根据权利要求1所述的方法，其特征在于，所述预设学生网络的训练，包括：获取预设学生网络的训练数据，其中，所述训练数据包括合成数据与真实数据；利用预设的将生成器中的表征挤压到学生网络中的损失函数计算所述合成数据的损失；对于所述真实数据中每个训练图像利用随机数据增广进行多次变换，得到第一视图和第二视图，将所述第一视图和所述第二视图输入待训练的预设学生网络，输出所述第一视图的第一表征和所述第二视图的第二表征，根据所述第一表征和所述第二表征计算所述真实数据的损失；根据所述合成数据的损失和所述真实数据的损失计算每步训练迭代的总体损失，并通过训练迭代得到所述预设学生网络。4.根据权利要求3所述的方法，其特征在于，根据所述第一表征和所述第二表征计算得到训练损失值，包括：根据所述第一表征和所述第二表征计算得到真实数据的损失值；根据所述训练数据中合成数据的损失值与所述真实数据的损失值计算得到所述训练损失值。5.一种生成网络的特征蒸馏装置，其特征在于，包括：获取模块，用于获取目标生成网络中的多个特征图；挤压模块，用于将所述多个特征图输入至预设挤压模块，从所述多个...

【专利技术属性】
技术研发人员：季向阳，杨宇，程笑天，刘畅，
申请(专利权)人：清华大学，
类型：发明
国别省市：