特征提取模型训练方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了特征提取模型训练方法、装置、电子设备及存储介质，该方法包括：获取包含目标对象的样本图像对应的样本遮蔽图像；基于待训练特征提取网络对样本遮蔽图像中的未遮蔽区域进行特征提取得到样本特征图；基于待训练特征风格编码网络对样本特征图进行特征风格编码得到表征目标对象不同特征层级的特征的多个风格隐向量；基于多个风格隐向量进行图像重建；基于样本图像和重建图像确定图像重建损失和特征重建损失；基于图像重建损失和特征重建损失对待训练特征提取网络和待训练特征风格编码网络的网络参数进行调整，将训练结束时的待训练特征提取网络作为目标特征提取模型。本申请即使训练数据有限也能得到高特征提取性能的特征提取模型。取性能的特征提取模型。取性能的特征提取模型。

【技术实现步骤摘要】
特征提取模型训练方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，特别涉及一种特征提取模型训练方法、装置、电子设备及存储介质。

技术介绍

[0002]对象识别(如人脸识别)通常基于对象的特征表示实现，因此特征表示的质量将直接影响对象识别任务的效果。
[0003]相关技术中，为了得到高质量的特征表示需要大规模的预训练对象数据(如人脸图像)来训练特征提取模型，而在对象信息(如人脸信息)作为隐私信息受到保护时，预训练对象数据的规模很难达到相关技术中的数据规模要求，使得这种情况下基于相关技术中的预训练方式训练的特征提取模型的特征提取性能较差，无法提供满足下游对象识别任务的高质量特征表示。

技术实现思路

[0004]为了解决现有技术的问题，本申请实施例提供了一种特征提取模型训练方法、装置、电子设备及存储介质。所述技术方案如下：
[0005]一方面，提供了一种特征提取模型训练方法，所述方法包括：
[0006]获取样本图像对应的样本遮蔽图像；所述样本图像包含目标对象，所述样本遮蔽图像是对所述样本图像中的部分区域进行遮蔽处理得到的图像；
[0007]基于待训练特征提取网络对所述样本遮蔽图像中的未遮蔽区域进行特征提取，得到样本特征图；所述样本特征图包括所述未遮蔽区域的特征；
[0008]基于待训练特征风格编码网络对所述样本特征图进行特征风格编码，得到多个风格隐向量；所述多个风格隐向量表征所述目标对象的不同特征层级的特征；
[0009]基于所述多个风格隐向量进行图像重建，得到重建图像；基于所述样本图像和所述重建图像，分别确定图像重建损失和特征重建损失；
[0010]基于所述图像重建损失和特征重建损失进行网络参数的调整，直至满足预设训练结束条件，将训练结束时的所述待训练特征提取网络作为目标特征提取模型；所述网络参数包括所述待训练特征提取网络和所述待训练特征风格编码网络的网络参数。
[0011]另一方面，提供了一种特征提取模型训练装置，所述装置包括：
[0012]遮蔽图像获取模块，用于获取样本图像对应的样本遮蔽图像；所述样本图像包含目标对象，所述样本遮蔽图像是对所述样本图像中的部分区域进行遮蔽处理得到的图像；
[0013]特征提取模块，用于基于待训练特征提取网络对所述样本遮蔽图像中的未遮蔽区域进行特征提取，得到样本特征图；所述样本特征图包括所述未遮蔽区域的特征；
[0014]特征风格编码模块，用于基于待训练特征风格编码网络对所述样本特征图进行特征风格编码，得到多个风格隐向量；所述多个风格隐向量表征所述目标对象的不同特征层级的特征；
[0015]重建及损失确定模块，用于基于所述多个风格隐向量进行图像重建，得到重建图像；基于所述样本图像和所述重建图像，分别确定图像重建损失和特征重建损失；
[0016]参数调整模块，用于基于所述图像重建损失和特征重建损失进行网络参数的调整，直至满足预设训练结束条件，将训练结束时的所述待训练特征提取网络作为目标特征提取模型；所述网络参数包括所述待训练特征提取网络和所述待训练特征风格编码网络的网络参数。
[0017]在一些示例性的实施方式中，所述重建及损失确定模块，包括：
[0018]图像重建损失确定模块，用于基于所述样本图像中对应遮蔽区域的图像块与所述重建图像中对应所述遮蔽区域的图像块之间的差异，确定图像重建损失；
[0019]视觉特征提取模块，用于基于自注意力机制分别提取所述样本图像的视觉特征和所述重建图像的视觉特征；
[0020]特征重建损失确定模块，用于基于所述样本图像的视觉特征与所述重建图像的视觉特征之间的距离，确定特征重建损失。
[0021]在一些示例性的实施方式中，所述视觉特征提取模块，包括：
[0022]第一视觉特征提取子模块，用于将所述样本图像输入至自注意力网络，通过所述自注意力网络的多个自注意力层依次对所述样本图像进行特征提取，将所述多个自注意力层中至少一个预设自注意力层的输出作为所述样本图像的视觉特征；
[0023]第二视觉特征提取子模块，用于将所述重建图像输入至所述自注意力网络，通过所述自注意力网络的多个自注意力层依次对所述重建图像进行特征提取，将所述至少一个预设自注意力层的输出作为所述重建图像的视觉特征；
[0024]所述特征重建损失确定模块，包括：
[0025]第一确定模块，用于基于每个所述预设自注意力层针对所述样本图像的输出与针对所述重建图像的输出之间的距离，确定每个所述预设自注意力层对应的损失；
[0026]第二确定模块，用于基于各所述预设注意力层对应的损失之和，得到所述特征重建损失。
[0027]在一些示例性的实施方式中，所述重建及损失确定模块，包括：
[0028]重建模块，用于将所述多个风格隐向量输入至已训练图像生成网络，通过所述已训练图像生成网络中与每个所述特征层级对应的图像生成子网络对每个所述特征层级对应的风格隐向量进行图像重建，得到每个所述特征层级的重建子图像；
[0029]融合模块，用于将各所述特征层级的重建子图像进行融合，得到重建图像；
[0030]其中，所述已训练图像生成网络为基于所述目标对象的训练图像集对基于风格的生成对抗网络进行训练得到。
[0031]在一些示例性的实施方式中，所述特征风格编码模块，包括：
[0032]中间特征提取模块，用于基于待训练特征风格编码网络中的多个卷积神经网络分别对所述样本特征图进行所述不同特征层级的特征提取，得到每个所述特征层级的中间特征图；
[0033]编码处理模块，用于对于每个所述特征层级的中间特征图，基于所述特征层级对应的多个编码网络分别对所述中间特征图进行编码处理，得到所述特征层级对应的多个隐向量；其中，所述多个编码网络与所述已训练图像生成网络中对应所述特征层级的图像生
成子网络中的多个卷积层一一对应；
[0034]风格隐向量确定模块，用于基于所述已训练图像生成网络中，对应每个特征层级的图像生成子网络中的多个卷积层的逐级连接顺序，对每个所述特征层级对应的多个隐向量进行拼接，得到每个所述特征层级的风格隐向量。
[0035]在一些示例性的实施方式中，所述特征提取模块，包括：
[0036]未遮蔽区域提取模块，用于从所述样本遮蔽图像中提取未遮蔽区域，得到多个未遮蔽图像块；
[0037]块特征提取模块，用于基于待训练特征提取网络对所述多个未遮蔽图像块分别进行特征提取，得到每个未遮蔽图像块对应的一维特征向量；
[0038]预设向量获取模块，用于获取表征所述样本遮蔽图像中遮蔽区域的一维预设向量；
[0039]二维图像重塑模块，用于基于所述一维预设向量，以及每个所述未遮蔽图像块对应的一维特征向量和在所述样本遮蔽图像中的位置进行二维图像重塑，得到样本特征图。
[0040]在一些示例性的实施方式中，所述遮蔽图像获取模块，包括：
[0041]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征提取模型训练方法，其特征在于，所述方法包括：获取样本图像对应的样本遮蔽图像；所述样本图像包含目标对象，所述样本遮蔽图像是对所述样本图像中的部分区域进行遮蔽处理得到的图像；基于待训练特征提取网络对所述样本遮蔽图像中的未遮蔽区域进行特征提取，得到样本特征图；所述样本特征图包括所述未遮蔽区域的特征；基于待训练特征风格编码网络对所述样本特征图进行特征风格编码，得到多个风格隐向量；所述多个风格隐向量表征所述目标对象的不同特征层级的特征；基于所述多个风格隐向量进行图像重建，得到重建图像；基于所述样本图像和所述重建图像，分别确定图像重建损失和特征重建损失；基于所述图像重建损失和特征重建损失进行网络参数的调整，直至满足预设训练结束条件，将训练结束时的所述待训练特征提取网络作为目标特征提取模型；所述网络参数包括所述待训练特征提取网络和所述待训练特征风格编码网络的网络参数。2.根据权利要求1所述的方法，其特征在于，所述基于所述样本图像和所述重建图像，分别确定图像重建损失和特征重建损失，包括：基于所述样本图像中对应遮蔽区域的图像块与所述重建图像中对应所述遮蔽区域的图像块之间的差异，确定图像重建损失；基于自注意力机制分别提取所述样本图像的视觉特征和所述重建图像的视觉特征；基于所述样本图像的视觉特征与所述重建图像的视觉特征之间的距离，确定特征重建损失。3.根据权利要求2所述的方法，其特征在于，所述基于自注意力机制分别提取所述样本图像的视觉特征和所述重建图像的视觉特征，包括：将所述样本图像输入至自注意力网络，通过所述自注意力网络的多个自注意力层依次对所述样本图像进行特征提取，将所述多个自注意力层中至少一个预设自注意力层的输出作为所述样本图像的视觉特征；将所述重建图像输入至所述自注意力网络，通过所述自注意力网络的多个自注意力层依次对所述重建图像进行特征提取，将所述至少一个预设自注意力层的输出作为所述重建图像的视觉特征；所述基于所述样本图像的视觉特征与所述重建图像的视觉特征之间的距离，确定特征重建损失，包括：基于每个所述预设自注意力层针对所述样本图像的输出与针对所述重建图像的输出之间的距离，确定每个所述预设自注意力层对应的损失；基于各所述预设注意力层对应的损失之和，得到所述特征重建损失。4.根据权利要求1所述的方法，其特征在于，所述基于所述多个风格隐向量进行图像重建，得到重建图像，包括：将所述多个风格隐向量输入至已训练图像生成网络，通过所述已训练图像生成网络中与每个所述特征层级对应的图像生成子网络对每个所述特征层级对应的风格隐向量进行图像重建，得到每个所述特征层级的重建子图像；将各所述特征层级的重建子图像进行融合，得到重建图像；其中，所述已训练图像生成网络为基于所述目标对象的训练图像集对基于风格的生成
对抗网络进行训练得到。5.根据权利要求4所述的方法，其特征在于，所述基于待训练特征风格编码网络对所述样本特征图进行特征风格编码，得到多个风格隐向量，包括：基于待训练特征风格编码网络中的多个卷积神经网络分别对所述样本特征图进行所述不同特征层级...

【专利技术属性】
技术研发人员：王玥，彭瑾龙，张江宁，易冉，王亚彪，汪铖杰，吴永坚，
申请(专利权)人：腾讯科技上海有限公司，
类型：发明
国别省市：