基于人脸几何信息的人脸编辑补全方法及装置制造方法及图纸

本发明专利技术属于数字图像处理领域，具体涉及一种基于人脸几何信息的人脸编辑补全方法及装置，旨在解决解决如何实现缺失人脸图片的精确补全与属性编辑的技术问题。为此目的，本发明专利技术中的基于人脸几何信息的人脸编辑补全方法包括：基于预先构建的人脸几何估计模型并利用包含遮挡区域的目标人脸图像，获得人脸几何信息；基于预先构建的人脸补全网络模型并利用目标人脸图像与人脸几何信息，生成第一完整人脸图像；将第一完整人脸图像中的特定区域替换为目标人脸图像中的未遮挡区域，并对第一完整人脸图像与未遮挡区域进行图像融合，得到第二完整人脸图像。基于本发明专利技术的方法可以精确地补全和编辑缺失人脸图片。

Face Editing Completion Method and Device Based on Face Geometric Information

The invention belongs to the field of digital image processing, and specifically relates to a face editing and completing method and device based on face geometry information, aiming at solving the technical problems of how to realize accurate completing and attribute editing of missing face pictures. To this end, the face editing and completing method based on face geometry information in the present invention includes: obtaining face geometry information based on the pre-constructed face geometry estimation model and using the target face image including occluded area; completing the network model based on the pre-constructed face and utilizing the target face image and face number. What information generates the first complete face image, replaces the specific area of the first complete face image with the uncovered area of the target face image, and fuses the first complete face image with the uncovered area to obtain the second complete face image. The method based on the present invention can accurately complete and edit missing face pictures.

【技术实现步骤摘要】
基于人脸几何信息的人脸编辑补全方法及装置
本专利技术属于数字图像处理领域，具体涉及一种基于人脸几何信息的人脸编辑补全方法及装置。
技术介绍
随着移动互联网的高速发展，人脸的补全与编辑技术得到广泛应用。例如，为了在网上展示更好的图片，人们需要利用人脸补全技术对含有遮挡的人脸图片进行补全，同时也需要利用人脸编辑技术修改人脸的属性，比如将眼睛变大、修瓜子脸等等。目前，人脸补全与属性编辑技术主要存在的技术难点有：补全后的人脸看上去不真实、补全的区域很容易被区分开来、可编辑的人脸属性较少、以及人脸属性编辑的效果较差等。近年来，深度学习在机器视觉的众多领域都取得了令人瞩目的效果，其中最为瞩目的是卷积神经网络模型，卷积神经网络模型使用多层卷积层与池化层，可以抽取图像或视频数据中有效的层级化特征，实现较强的非线性表达。基于此，本专利技术利用深度学习算法，提供了一种基于人脸几何信息的人脸编辑补全方法及装置。
技术实现思路
为了解决现有技术中的上述问题，即为了解决如何实现缺失人脸图片的精确补全与属性编辑的技术问题。为此目的，本专利技术的一方面，提供了一种基于人脸几何信息的人脸编辑补全方法，包括：基于预先构建的人脸几何估计模型并利用包含遮挡区域的目标人脸图像，获得人脸几何信息；基于预先构建的人脸补全网络模型并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像；将所述第一完整人脸图像中的特定区域替换为所述目标人脸图像中的未遮挡区域，并对所述第一完整人脸图像与所述未遮挡区域进行图像融合，得到第二完整人脸图像；其中，所述人脸几何估计模型和人脸补全网络模型均是基于深度神经网络并利用机器学习算法所构建的神经网络模型；所述特定区域是所述第一完整人脸图像中与所述目标人脸图像的未遮挡区域对应的图像区域。进一步地，本专利技术提供的一个优选技术方案为：在“基于预先构建的人脸补全网络模型并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤之前，所述方法还包括：基于预设的人脸属性修改信息对所述人脸几何信息进行修改；相应地，“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤是基于所述人脸补全网络模型并利用修改后的人脸几何信息生成第一完整人脸图像。进一步地，本专利技术提供的一个优选技术方案为：所述人脸补全网络模型包括编码网络、第一解码网络以及可选的第二解码网络；“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤包括：利用所述编码网络并根据所述目标人脸图像与人脸几何信息，生成所述目标人脸图像的人脸特征向量；利用所述第一解码网络并根据所述人脸特征向量生成第一完整人脸图像；以及可选地，根据所述人脸特征向量提取所述目标人脸图像中受遮挡区域对应的遮挡特征向量；利用所述第二解码网络并根据所述遮挡特征向量，生成遮挡图像。进一步地，本专利技术提供的一个优选技术方案为：“利用所述编码网络并根据所述目标人脸图像与人脸几何信息，生成所述目标人脸图像的人脸特征向量”的步骤包括：将所述目标人脸图像和人脸几何信息进行数据串联得到整体数据；利用所述编码网络并根据所述整体数据生成所述人脸特征向量。进一步地，本专利技术提供的一个优选技术方案为：当所述人脸补全网络模型包括编码网络和第一解码网络时，在“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤之前，所述方法还包括按如下式所示的损失函数Lloss对人脸几何估计模型进行网络训练：Lloss＝Lq其中，所述Lq是所述第一解码网络对应的损失函数；当所述人脸补全网络模型包括编码网络、第一解码网络和第二解码网络时，在“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤之前，所述方法还包括按如下式所示的损失函数Lloss对人脸几何估计模型进行网络训练：Lloss＝Lq+Lo其中，所述Lo是所述第二解码网络对应的损失函数。进一步地，本专利技术提供的一个优选技术方案为：所述损失函数Lq如下式所示：Lq＝λ1Lmse+λ2Lrec+λ3Ladv+λ4Lsym+λ5Ltv其中，所述λ1、λ2、λ3、λ4、λ5分别为预设的人脸补全网络模型的权重系数；所述Lmse为对所述人脸几何估计模型进行网络训练时所使用的损失函数，所述Lrec为预设的L1损失函数；所述Ladv为预设的对抗损失函数；所述Lsym为预设的对称损失函数；所述Ltv为抑制棋盘效应的损失函数；所述Lrec如下式所示：其中，所述W为预设的真实人脸图像I和第一完整人脸图像Ig的宽度，所述H为所述I和Ig的高度，所述Iij表示预设的真实人脸图像I中第i列j行的像素值，所述表示所述第一完整人脸图像Ig中第i列j行的像素值，所述真实人脸图像是所述目标人脸图像对应的不包含遮挡区域的人脸图像；所述Ladv如下式所示：其中，所述N为一个训练批次的图像数量；所述D(Ig)表示第一完整人脸图像Ig是真实图像的概率；所述D(I)表示真实人脸图像I是真实图像的概率；所述Lsym如下式所示：其中，所述表示所述第一完整人脸图像Ig中第W-(i-1)列j行的像素值；所述Ltv如下式所示：其中，所述表示所述第一完整人脸图像Ig中第i+1列j行的像素值；所述表示所述第一完整人脸图像Ig中第i列j+1行的像素值。进一步地，本专利技术提供的一个优选技术方案为：当所述人脸几何信息是多个预设的人脸关键点对应的人脸关键点热度图像或人脸语义分割图像时，在“基于预先构建的人脸几何估计模型，并利用包含遮挡区域的目标人脸图像，获得人脸几何信息”的步骤之前，所述方法还包括：按如下式所示的损失函数Lmse对人脸几何估计模型进行网络训练：其中，所述W为人脸几何信息图像Lg的宽度，所述人脸几何信息图像Lg是所述人脸关键点热度图像或人脸语义分割图像；所述H为所述人脸几何信息图像Lg的高度；所述为所述人脸几何信息图像Lg中第i列j行的像素值；所述Lij为预设的真实人脸图像对应的真实人脸几何信息图像L中第i列j行的像素值，所述真实人脸图像是所述目标人脸图像对应的不包含遮挡区域的人脸图像，所述真实人脸几何信息图像L是所述人脸关键点对应的人脸关键点热度图像或人脸语义分割图像，并且所述真实人脸几何信息图像L取决于人脸几何信息图像Lg。进一步地，本专利技术提供的一个优选技术方案为：当所述人脸几何信息包括多个预设的人脸关键点对应的人脸关键点热度图像和人脸语义分割图像时，在“基于预先构建的人脸几何估计模型，并利用包含遮挡区域的目标人脸图像，获得对应的人脸几何信息”的步骤之前，所述方法还包括：按如下式所示的损失函数Lmse对人脸几何估计模型进行网络训练：其中，所述W为人脸关键点热度图像Qg和人脸语义分割图像Pg的宽度；所述H为所述Qg和Pg的高度；所述Qij为预设的真实人脸图像对应的真实人脸关键点热度图像Q中第i列j行的像素值；所述为所述Qg中第i列j行的像素值；所述Pij为所述真实人脸图像对应的真实人脸语义分割图像P中第i列j行的像素值；所述为所述Pg中第i列j行的像素值；所述真实人脸图像是所述目标人脸图像对应的不包含遮挡区域的人脸图像。进一步地，本专利技术提供的一个本文档来自技高网...

【技术保护点】
1.一种基于人脸几何信息的人脸编辑补全方法，其特征在于包括：基于预先构建的人脸几何估计模型并利用包含遮挡区域的目标人脸图像，获得人脸几何信息；基于预先构建的人脸补全网络模型并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像；将所述第一完整人脸图像中的特定区域替换为所述目标人脸图像中的未遮挡区域，并对所述第一完整人脸图像与所述未遮挡区域进行图像融合，得到第二完整人脸图像；其中，所述人脸几何估计模型和人脸补全网络模型均是基于深度神经网络并利用机器学习算法所构建的神经网络模型；所述特定区域是所述第一完整人脸图像中与所述目标人脸图像的未遮挡区域对应的图像区域。

【技术特征摘要】
1.一种基于人脸几何信息的人脸编辑补全方法，其特征在于包括：基于预先构建的人脸几何估计模型并利用包含遮挡区域的目标人脸图像，获得人脸几何信息；基于预先构建的人脸补全网络模型并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像；将所述第一完整人脸图像中的特定区域替换为所述目标人脸图像中的未遮挡区域，并对所述第一完整人脸图像与所述未遮挡区域进行图像融合，得到第二完整人脸图像；其中，所述人脸几何估计模型和人脸补全网络模型均是基于深度神经网络并利用机器学习算法所构建的神经网络模型；所述特定区域是所述第一完整人脸图像中与所述目标人脸图像的未遮挡区域对应的图像区域。2.根据权利要求1所述的基于人脸几何信息的人脸编辑补全方法，其特征在于，在“基于预先构建的人脸补全网络模型并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤之前，所述方法还包括：基于预设的人脸属性修改信息对所述人脸几何信息进行修改；相应地，“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤是基于所述人脸补全网络模型并利用修改后的人脸几何信息生成第一完整人脸图像。3.根据权利要求1或2所述的基于人脸几何信息的人脸编辑补全方法，其特征在于，所述人脸补全网络模型包括编码网络、第一解码网络以及可选的第二解码网络；“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤包括：利用所述编码网络并根据所述目标人脸图像与人脸几何信息，生成所述目标人脸图像的人脸特征向量；利用所述第一解码网络并根据所述人脸特征向量生成第一完整人脸图像；以及可选地，根据所述人脸特征向量提取所述目标人脸图像中受遮挡区域对应的遮挡特征向量；利用所述第二解码网络并根据所述遮挡特征向量，生成遮挡图像。4.根据权利要求3所述的基于人脸几何信息的人脸编辑补全方法，其特征在于，“利用所述编码网络并根据所述目标人脸图像与人脸几何信息，生成所述目标人脸图像的人脸特征向量”的步骤包括：将所述目标人脸图像和人脸几何信息进行数据串联得到整体数据；利用所述编码网络并根据所述整体数据生成所述人脸特征向量。5.根据权利要求3所述的基于人脸几何信息的人脸编辑补全方法，其特征在于，当所述人脸补全网络模型包括编码网络和第一解码网络时，在“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤之前，所述方法还包括按如下式所示的损失函数Lloss对人脸几何估计模型进行网络训练：Lloss＝Lq其中，所述Lq是所述第一解码网络对应的损失函数；当所述人脸补全网络模型包括编码网络、第一解码网络和第二解码网络时，在“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤之前，所述方法还包括按如下式所示的损失函数Lloss对人脸几何估计模型进行网络训练：Lloss＝Lq+Lo其中，所述Lo是所述第二解码网络对应的损失函数。6.根据权利要求5所述的基于人脸几何信息的人脸编辑补全方法，其特征在于，所述损失函数Lq如下式所示：Lq＝λ1Lmse+λ2Lrec+λ3Ladv+λ4Lsym+λ5Ltv其中，所述λ1、λ2、λ3、λ4、λ5分别为预设的人脸补全网络模型的权重系数；所述Lmse为对所述人脸几何估计模型进行网络训练时所使用的损...

【专利技术属性】
技术研发人员：赫然，宋林森，曹杰，宋凌霄，胡一博，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11