图像处理、模型训练方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种图像处理、模型训练方法、装置、计算机设备和存储介质。所述图像处理方法包括：获取初始面部图像和模板面部图像；分别对所述初始面部图像和所述模板面部图像进行编码，得到所述初始面部图像的面部身份特征和所述模板面部图像的属性特征；对所述初始面部图像和所述模板面部图像共同编码，得到所述初始面部图像和所述模板面部图像共同对应的共同编码特征；融合所述面部身份特征、所述属性特征和所述共同编码特征得到目标特征；解码所述目标特征，得到目标面部图像；所述目标面部图像与所述初始面部图像的面部身份特征匹配、且与所述模板面部图像的属性特征匹配。采用本方法能够提高图像处理效率。

【技术实现步骤摘要】
图像处理、模型训练方法、装置、计算机设备和存储介质
本申请涉及图像处理
，特别是涉及一种图像处理、模型训练方法、装置、计算机设备和存储介质。
技术介绍
随着人工智能在图像处理技术上的不断发展，在计算机设备上对图像或者视频进行个性化处理，生成新的图像或者视频变得越来越普遍。例如，用户通过终端拍照后，对拍摄的照片进行等个性化处理，生成新的图像。然而，目前这种图像处理方式需要用户手动操作，比如手动选择需要处理的图像区域或者手动选择美化图像的素材等。这种图像处理方式操作繁琐，而且对用户动手能力要求较高，导致图像处理的效率偏低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高图像处理效率的图像处理、模型训练方法、装置、计算机设备和存储介质。一种图像处理方法，其特征在于，所述方法包括：获取初始面部图像和模板面部图像；分别对所述初始面部图像和所述模板面部图像进行编码，得到所述初始面部图像的面部身份特征和所述模板面部图像的属性特征；对所述初始面部图像和所述模板面部图像共同编码，得本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n获取初始面部图像和模板面部图像；/n分别对所述初始面部图像和所述模板面部图像进行编码，得到所述初始面部图像的面部身份特征和所述模板面部图像的属性特征；/n对所述初始面部图像和所述模板面部图像共同编码，得到所述初始面部图像和所述模板面部图像共同对应的共同编码特征；/n融合所述面部身份特征、所述属性特征和所述共同编码特征得到目标特征；/n解码所述目标特征，得到目标面部图像；所述目标面部图像与所述初始面部图像的面部身份特征匹配、且与所述模板面部图像的属性特征匹配。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
获取初始面部图像和模板面部图像；
分别对所述初始面部图像和所述模板面部图像进行编码，得到所述初始面部图像的面部身份特征和所述模板面部图像的属性特征；
对所述初始面部图像和所述模板面部图像共同编码，得到所述初始面部图像和所述模板面部图像共同对应的共同编码特征；
融合所述面部身份特征、所述属性特征和所述共同编码特征得到目标特征；
解码所述目标特征，得到目标面部图像；所述目标面部图像与所述初始面部图像的面部身份特征匹配、且与所述模板面部图像的属性特征匹配。


2.根据权利要求1所述的方法，其特征在于，所述获取初始面部图像和模板面部图像，包括：
获取初始图像和模板图像；
分别对所述初始图像和所述模板图像进行面部特征点对齐，定位所述初始图像和所述模板图像中的面部区域；
按照所述初始图像中定位的面部区域截取初始面部图像，并按照所述模板图像中定位的面部区域截取模板面部图像。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述目标面部图像反向回贴至所述模板图像中的面部区域，得到目标图像；所述目标图像保持了所述初始图像中面部区域的面部身份特征和所述模板图像中面部区域的属性特征。


4.根据权利要求1所述的方法，其特征在于，所述分别对所述初始面部图像和所述模板面部图像进行编码，得到所述初始面部图像的面部身份特征和所述模板面部图像的属性特征，包括：
通过第一编码模型对所述初始面部图像单独进行编码，得到所述初始面部图像的面部身份特征；所述第一编码模型根据通用图像样本训练所得；
通过异于所述第一编码模型的第二编码模型对所述模板面部图像单独进行编码，得到所述模板面部图像的属性特征；所述第二编码模型根据无监督图像样本和有监督图像样本交迭训练所得。


5.根据权利要求4所述的方法，其特征在于，所述通过第一编码模型对所述初始面部图像单独进行编码，得到所述初始面部图像的面部身份特征，包括：
将所述初始面部图像的初始颜色通道特征矩阵输入第一编码模型；
通过所述第一编码模型对所述初始颜色通道特征矩阵进行处理，输出所述初始面部图像的面部身份特征向量；
所述通过异于所述第一编码模型的第二编码模型对所述模板面部图像单独进行编码，得到所述模板面部图像的属性特征，包括：
将所述模板面部图像的模板颜色通道特征矩阵输入第二编码模型；
通过所述第二编码模型对所述模板颜色通道特征矩阵进行处理，输出所述模板面部图像的属性特征向量；
其中，所述第一编码模型与所述第二编码模型的模型参数相异。


6.根据权利要求4所述的方法，其特征在于，所述对所述初始面部图像和所述模板面部图像共同编码，得到所述初始面部图像和所述模板面部图像共同对应的共同编码特征，包括：
通过第三编码模型，对所述初始面部图像和所述模板面部图像共同进行编码，得到所述初始面部图像和所述模板面部图像共同对应的共同编码特征；
其中，所述第三编码模型与所述第二编码模型，通过交迭使用无监督图像样本和有监督图像样本联合训练所得。


7.根据权利要求6所述的方法，其特征在于，所述融合所述面部身份特征、所述属性特征和所述共同编码特征得到目标特征，包括：
通过特征融合模型对所述面部身份特征、所述属性特征和所述共同编码特征进行融合处理，得到目标特征；
所述解码所述目标特征，得到目标面部图像，包括：
通过解码模型对所述目标特征解码，得到目标面部图像；
其中，所述特征融合模型、所述解码模型、所述第三编码模型与所述第二编码模型，通过交迭使用无监督图像样本和有监督图像样本联合训练所得。


8.根据权利要求7所述的方法，其特征在于，所述通过特征融合模型对所述面部身份特征、所述属性特征和所述共同编码特征进行融合处理，得到目标特征，包括：
通过特征融合模型的第一隐层对所述面部身份特征、所述属性特征和所述共同编码特征进行特征通道合并；
继续通过所述特征融合模型的第二隐层，对特征通道合并的结果进行深度学习运算，得到目标特征。


9.根据权利要求7所述的方法，其特征在于，所述第一编码模型、所述第二编码模型、所述第三编码模型、所述特征融合模型和所述解码模型包括于生成网络；所述生成网络的训练步骤包括：
获取无监督图像样本和有监督图像样本；所述有监督图像样本包括第一初始面部图像样本、第一模板面部图像样本和标签图像；所述无监督图像样本包括第二初始面部图像样本和第二模板面部图像样本；
根据所述有监督图像样本对所述生成网络进行有监督训练，调整所述第二编码模型、所述第三编码模型、所述特征融合模型和所述解码模型的模型参数；
根据所述无监督图像样本对所述生成网络进行无监督训练，调整所述第二编码模型、所述第三编码模型、所述特征融合模型和所述解码模型的模型参数；
继续进行所述无监督训练和所述有监督训练，以使所述无监督训练和所述有监督训练交迭进行，直至满足训练停止条件时结束训练。


10.根据权利要求9所述的方法，其特征在于，所述根据所述有监督图像样本对所述生成网络进行有监督训练，调整所述第二编码模型、所述第三编码模型、所述特征融合模型和所述解码模型的模型参数，包括：
获取判别网络；
通过所述生成网络，得到所述第一初始面部图像样本和所述第一模板面部图像样本共同对应的第一目标面部图像样本；
将所述第一初始面部图像样本、所述第一模板面部图像样本和所述标签图像中的至少一种作为所述判别网络的正样本，将所述第一目标面部图像样本作为所述判别网络的负样本；
构建联合训练所述判别网络和所述生成网络的有监督训练损失函数；所述有监督训练损失函数，与所述第一目标面部图像样本和所述标签图像之间像素的差异相关；
根据所述有监督训练损失函数进行训练，调整所述第二编码模型、所述第三编码模型、所述特征融合模型和所述解码模型的模型参数。


11.根据权利要求10所述的方法，其特征在于，所述构建联合训练所述判别网络和所述生成网络的有...

【专利技术属性】
技术研发人员：曹赟，倪辉，陈旭，朱俊伟，邰颖，葛彦昊，汪铖杰，李季檩，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44