人脸旋转图像的生成方法及装置制造方法及图纸

技术编号:26045237 阅读:37 留言:0更新日期:2020-10-23 21:25
本申请提供一种人脸旋转图像的生成方法及装置,涉及人工智能领域,具体涉及计算机视觉领域。本方法包括:根据获取的人脸图像中的两个或两个以上关键点对所述人脸图像进行姿态编码以获得姿态编码图;从训练数据集中获取多张包含人脸的训练图片,且所述多张训练图片中包含的人脸呈现的旋转角度均为同一角度;采用前述类似方式根据目标人脸图像中的两个或两个以上关键点对所述目标人脸图像进行姿态编码以获得姿态编码图;其中,所述目标人脸图像是根据所述多张训练图片得到的;根据所述人脸图像和前述两种姿态编码图生成待输入信号;将所述待输入信号输入人脸旋转图像生成模型得到人脸旋转图像。通过本方法,可以提高姿态编码的连续性和准确性,从而提高人脸旋转图像的生成效率。

【技术实现步骤摘要】
【国外来华专利技术】人脸旋转图像的生成方法及装置
本专利技术实施例涉及计算机视觉领域,尤其涉及一种人脸旋转图像的生成方法及装置。
技术介绍
计算机视觉是各个应用领域,如制造业、检验、文档分析、医疗诊断,和军事等领域中各种智能/自主系统中不可分割的一部分,它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的,被拍摄对象的数据与信息的学问。形象地说,就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等,从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息,所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说,计算机视觉就是用各种成象系统代替视觉器官获取输入信息,再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界,具有自主适应环境的能力。人脸旋转(FaceRotation)是指对一张给定的2D人脸图像,利用计算机视觉的相关方法,如图像处理、机器学习、计算机图形学等获得该人脸旋转后的真实化的符合人脸在三维空间中几何映射原理的人脸图像。人脸旋转主要为解决人脸识别中,因人脸大角度旋转导致侧脸识别不准的问题;另外,通过人脸旋转还可以解决人脸识别模型训练中人脸数据不足的问题,即可用于人脸数据的扩充。用于解决侧脸识别问题的方法很多,人脸旋转技术是其中一个。就人脸旋转技术来说,常用的方法有:3D/2D模型和生成稀疏子空间。其中,3D/2D模型是通过将2D人脸图像映射到3D人脸模型上,估计出人脸的3D模型参数,然后再通过视角变换得到旋转后人脸的投影图像,从而得到旋转后的2D人脸图像。通过3D人脸模型,理论上可以解决任意姿态的人脸图像旋转问题,但是目前来讲,3D人脸计算量较大,并且真实化的精度还不太高。生成稀疏子空间方法是通过稀疏和低秩学习的方法,将同一人脸的不同姿态看成线性子空间,然后通过低秩约束求解出具有最低秩的人脸正脸图像。这种方法主要是解决将人脸从侧脸转动到正脸的技术,是人脸旋转的一种特殊情况。为了克服上述问题,现有技术利用生成式对抗网络和一个一维度one-hot姿态编码器指导人脸图像的姿态编码,并生成人脸图像的不同姿态特征。其中,所述生成式对抗网络是通过深度学习模型和生成对抗的方式训练人脸生成模型的方法。但是,现有技术中采用的one-hot姿态编码的方式对姿态的表达不够准确,且该方式不具有连续性;另外,现有方案中的生成式对抗网络中的对抗判别网络的结构使得对抗判别不够鲁棒,从而使得通过其生成的旋转图像的效果不佳。
技术实现思路
本申请实施例公开了一种人脸旋转图像的生成方法及装置,可以提高生成人脸旋转图像的效率,获得更好的图像质量。第一方面,本申请实施例提供一种人脸旋转图像的生成方法,包括:接收人脸图像;根据所述人脸图像中的两个或两个以上关键点对所述人脸图像进行姿态编码,得到所述人脸图像的姿态编码图;根据人脸旋转角度从训练数据集中获取多张第一训练图片,所述多张第一训练图片均包含人脸,且所述多张第一训练图片中包含的人脸呈现的旋转角度均为所述人脸旋转角度;根据目标人脸图像中的两个或两个以上关键点对所述目标人脸图像进行姿态编码,得到所述目标人脸图像的姿态编码图;其中,所述目标人脸图像是根据所述多张第一训练图片得到的;根据所述人脸图像、所述人脸图像的姿态编码图和所述目标人脸图像的姿态编码图生成待输入信号,其中所述人脸图像的尺寸、所述人脸图像的姿态编码图的尺寸和所述目标人脸图像的姿态编码图的尺寸相同;将所述待输入信号输入人脸旋转图像生成模型得到人脸旋转图像。本申请实施例提供的人脸旋转图像的生成方法,通过对人脸图像和目标人脸图像进行姿态编码,得到人脸旋转图像生成模型的输入信号,并进一步通过所述人脸旋转图像生成模型生成人脸旋转图像,由于所述姿态编码方式对人脸姿态的描述更加精确和鲁棒,因此生成的人脸旋转图像也更加准确。另外,由于该方法提供的目标人脸图像是根据所述多张第一训练图片得到的,所述多张第一训练图片中包含的人脸呈现的旋转角度相同,这里的旋转角度可以是用户预设的,如,用户输入人脸图像,并指示图像生成设备生成预设角度的人脸旋转图像,则上述多张第一训练图片中包含的人脸呈现的旋转角度均为该预设角度;通过这样的设置,本申请实施例提供的人脸旋转图像的生成方法对人脸旋转的角度没有限制,即,可以实现各种不同角度的人脸旋转。值得说明的是,在第一方面提供的方法中,所述根据人脸旋转角度从训练数据集中获取多张第一训练图片,所述多张第一训练图片均包含人脸,这里的人脸和所述人脸图像中的人脸,不要求是同一张人脸,事实上,所述人脸图像在第一方面提供的方法中,可以是用户输入的实时的待旋转的人脸,而所述多张第一训练图片是数据库维护的训练数据集,因此所述多张第一训练图片中包含的人脸与所述人脸图像包含的人脸可以认为没有直接关系,当然人脸图像中包含的人脸也可以出现在数据库中被当做训练数据进行使用。需要说明的是,在第一方面提供的方法中,所述根据所述人脸图像、所述人脸图像的姿态编码图和所述目标人脸图像的姿态编码图生成待输入信号,具体可以是通过特征融合的方式融合所述人脸图像、所述人脸图像的姿态编码图和所述目标人脸图像的姿态编码图得到所述待输入信号。特征融合是将有区分意义并且具有互补作用的特征,通过某种方式有机地结合在一起作为统一的特征。特征融合是生物识别
常用的一种技术手段,可以采用多种方式实现特征的融合。融合后的特征包含的信息更加准确、更加丰富。可以理解,所述待输入信号相比于所述人脸图像、所述人脸图像的姿态编码图和所述目标人脸图像的姿态编码图中的任一图像或姿态编码图包含的信息更加准确、也更加丰富。因此,利用所述待输入信号进行人脸旋转图像的生成,可以使生成的人脸旋转图像更准确,当该人脸旋转方法被应用到人脸识别的应用场景中时,更准确的人脸旋转图像可以用于提高人脸识别的准确度。在一种可能的实现方式中,所述根据所述人脸图像中的两个或两个以上关键点对所述人脸图像进行姿态编码,得到所述人脸图像的姿态编码图包括:利用关键点检测算法对所述人脸图像进行检测,得到所述人脸图像的N个关键点分别对应的位置坐标,N为大于1的整数;构造与所述人脸图像尺寸相同的N张第一图像,所述N张第一图像与所述N个关键点一一对应;分别以所述N个关键点中的每个关键点为中心,对与所述每个关键点一一对应的第一图像进行高斯模糊处理,得到N张第一高斯模糊图,所述N张第一高斯模糊图为所述人脸图像的姿态编码图。在这种可能的实现方式中,先确定人脸图像的N个关键点,再以每个关键点为中心对该关键点对应的第一图像进行高斯模糊处理,这种通过关键点进行高斯模糊从而实现图像姿态编码的方式,对人脸姿态的描述更加精确和鲁棒,进而得到更高质量的人脸旋转图像。在一种可能的实现方式中,所述构造与所述人脸图像尺寸相同的N张第一图像包括:生成N个全0矩阵,每一个全0矩阵对应一个关键点;将该关键点在所述人本文档来自技高网
...

【技术保护点】
一种人脸旋转图像的生成方法,其特征在于,包括:/n接收人脸图像;/n根据所述人脸图像中的两个或两个以上关键点对所述人脸图像进行姿态编码,得到所述人脸图像的姿态编码图;/n根据人脸旋转角度从训练数据集中获取多张第一训练图片,所述多张第一训练图片均包含人脸,且所述多张第一训练图片中包含的人脸呈现的旋转角度均为所述人脸旋转角度;/n根据目标人脸图像中的两个或两个以上关键点对所述目标人脸图像进行姿态编码,得到所述目标人脸图像的姿态编码图;其中,所述目标人脸图像是根据所述多张第一训练图片得到的;/n根据所述人脸图像、所述人脸图像的姿态编码图和所述目标人脸图像的姿态编码图生成待输入信号,其中所述人脸图像的尺寸、所述人脸图像的姿态编码图的尺寸和所述目标人脸图像的姿态编码图的尺寸相同;/n将所述待输入信号输入人脸旋转图像生成模型得到人脸旋转图像。/n

【技术特征摘要】
【国外来华专利技术】一种人脸旋转图像的生成方法,其特征在于,包括:
接收人脸图像;
根据所述人脸图像中的两个或两个以上关键点对所述人脸图像进行姿态编码,得到所述人脸图像的姿态编码图;
根据人脸旋转角度从训练数据集中获取多张第一训练图片,所述多张第一训练图片均包含人脸,且所述多张第一训练图片中包含的人脸呈现的旋转角度均为所述人脸旋转角度;
根据目标人脸图像中的两个或两个以上关键点对所述目标人脸图像进行姿态编码,得到所述目标人脸图像的姿态编码图;其中,所述目标人脸图像是根据所述多张第一训练图片得到的;
根据所述人脸图像、所述人脸图像的姿态编码图和所述目标人脸图像的姿态编码图生成待输入信号,其中所述人脸图像的尺寸、所述人脸图像的姿态编码图的尺寸和所述目标人脸图像的姿态编码图的尺寸相同;
将所述待输入信号输入人脸旋转图像生成模型得到人脸旋转图像。


根据权利要求1所述的方法,其特征在于,所述根据所述人脸图像中的两个或两个以上关键点对所述人脸图像进行姿态编码,得到所述人脸图像的姿态编码图包括:
利用关键点检测算法对所述人脸图像进行检测,得到所述人脸图像的N个关键点分别对应的位置坐标,N为大于1的整数;
构造与所述人脸图像尺寸相同的N张第一图像,所述N张第一图像与所述N个关键点一一对应;
分别以所述N个关键点中的每个关键点为中心,对与所述每个关键点一一对应的第一图像进行高斯模糊处理,得到N张第一高斯模糊图,所述N张第一高斯模糊图为所述人脸图像的姿态编码图。


根据权利要求1或2所述的方法,其特征在于,根据目标人脸图像中的两个或两个以上关键点对所述目标人脸图像进行姿态编码,得到所述目标人脸图像的姿态编码图包括:
利用关键点检测算法对所述目标人脸图像进行检测,得到所述目标人脸图像的M个关键点分别对应的位置坐标,M为大于1的整数;
构造与所述目标人脸图像尺寸相同的M张第二图像,所述M张第二图像与所述M个关键点一一对应;
分别以所述M个关键点中的每个关键点为中心,对与所述每个关键点一一对应的第二图像进行高斯模糊处理,得到M张第二高斯模糊图,所述M张第二高斯模糊图为所述目标人脸图像的姿态编码图。


根据权利要求1至3任一项所述的方法,其特征在于,所述目标人脸图像是根据所述多张第一训练图片得到的,包括:
所述目标人脸图像是根据所述多张第一训练图片的姿态编码图的平均值得到的。


根据权利要求1至4任一项所述的方法,其特征在于,所述人脸旋转图像生成模型是根据训练生成式对抗网络得到的,所述生成式对抗网络包括至少一个人脸生成网络以及至少两个判别网络,所述至少两个判别网络形成耦合对抗,用于产生对抗损失,所述对抗损失用于更新所述至少一个人脸生成网络以及所述至少两个判别网络,所述更新后的至少一个人脸生成网络为所述人脸旋转图像生成模型。


一种生成式对抗网络的训练方法,其特征在于,所述生成式对抗网络包括人脸生成网络,以及多个耦合对抗的判别网络,所述耦合对抗的判别网络至少包括第一判别网络和第二判别网络,所述方法包括:
接收人脸图像,以及人脸旋转图像;所述人脸图像和所述人脸旋转图像为同一张人脸旋转前和旋转后的图像;
根据所述人脸图像中的两个或两个以上关键点对所述人脸图像进行姿态编码,得到所述人脸图像的姿态编码图;
根据所述人脸旋转图像中的两个或两个以上关键点对所述人脸旋转图像进行姿态编码,得到所述人脸旋转图像的姿态编码图;
将所述人脸图像、所述人脸图像的姿态编码图以及所述人脸旋转图像的姿态编码图输入所述人脸生成网络,以生成预测人脸旋转图像;
将所述人脸图像、所述人脸旋转图像和所述预测人脸旋转图像输入所述第一判别网络以得到第一损失;
将所述人脸旋转图像、所述人脸旋转图像的姿态编码图以及所述预测人脸旋转图像输入所述第二判别网络以得到第二损失;
根据所述生成式对抗网络的总损失更新所述人脸生成网络、所述第一判别网络以及所述第二判别网络,所述生成式对抗网络的总损失根据所述第一损失和第二损失加权求和得到;
直到所述生成式对抗网络的总损失收敛,输出训练后的人脸生成网络。


根据权利要求6所述的方法,其特征在于,在所述根据所述生成式对抗网络的总损失更新所述人脸生成网络、所述第一判别网络以及所述第二判别网络之前,所述方法还包括:
根据所述人脸旋转图像及所述预测人脸旋转图像得到真实图像损失,所述真实图像损失包括像素损失、全变分损失及身份识别特征损失中的至少一个损失;对应的,所述生成式对抗网络的总损失根据所述真实图像损失中的至少一个损失、所述第一损失和第二损失加权求和得到。


根据权利要求6或7所述的方法,其特征在于,所述根据所述人脸图像中的两个或两个以上关键点对所述人脸图像进行姿态编码,得到所述人脸图像的姿态编码图,包括:
利用关键点检测算法对所述人脸图像进行检测,得到所述人脸图像的N个关键点分别对应的位置坐标,构造与所述人脸图像尺寸相同的N张第一图像,所述N张第一图像与所述N个关键点一一对应,分别以所述N个关键点中的每个关键点为中心,对与所述每个关键点一一对应的第一图像进行高斯模糊处理,得到N张第一高斯模糊图,所述N张第一高斯模糊图为所述人脸图像的姿态编码图,N为大于1的正整数。


根据权利要求6至8任一项所述的方法,其特征在于,所述根据所述人脸旋转图像中的两个或两个以上关键点对所述人脸旋转图像进行姿态编码,得到所述人脸旋转图像的姿态编码图,包括:
利用关键点检测算法对所述人脸旋转图像进行检测,得到所述人脸旋转图像的M个关键点分别对应的位置坐标,构造与所述人脸旋转图像尺寸相同的M张第二图像,所述M张第二图像与所述M个关键点一一对应,分别以所述M个关键点中的每个关键点为中心,对与所述每个关键点一一对应的第二图像进行高斯模糊处理,得到M张第二高斯模糊图,所述M张第二高斯模糊图为所述人脸旋转图像的姿态编码图,M为大于1的正整数。


根据权利要求6至9任一项所述的方法,其特征在于,所述将所述人脸图像,所述人脸旋转图像和所述预测人脸旋转图像输入所述第一判别网络得到第一损失,包括:
以所述人脸图像作为所述第一判别网络的判别条件,根据所述第一判别网络判断所述人脸旋转图像和所述预测人脸旋转图像的真假性,并根据判别结果生成所述第一损失;其中,所述第一判断网络包括二分类判别器,所述二分类判别器用于判断为真或判断为假。


根据权利要求10所述的方法,其特征在于:以所述人脸图像作为所述第一判别网络的判别条件,根据所述第一判别网络判断所述人脸旋转图像和所述预测人脸旋转图像的真假性,并根据判别结果生成所述第一损失,包括:



其中,L
ii为所述第一损失,I
a为所述人脸图像,I
b为所述人脸旋转图像,
为所述预测人脸旋转图像,
表示在所述人脸旋转图像I
b的分布H(I
b)上求期望,即所述人脸旋转图像I
b为真的概率;
表示所述第一判别网络的损失函数,
表示在所述预测人脸旋转图像
的分布
上的期望,即所述预测人脸旋转图像
为真的概率;
为以所述人脸图像为条件的所述第一判别网络,θ
ii为所述第一判别网络的参数,
为所述第一判别网络的输入。



根据权利要求6至11任一项所述的方法,其特征在于,所述将所述人脸旋转图像,所述人脸旋转图像的姿态编码图以及所述预测人脸旋转图像输入所述第二判别网络得到第二损失,包括:
以所述人脸旋转图像的姿态编码图作为所述第二判别网络的判别条件,根据所述第二判别网络判断所述人脸旋转图像和所述预测人脸旋转图像的真假性,并根据判别结果生成所述第二损失;其中,所述第二判断网络包括二分类判别器,所述二分类判别器用于判断为真或判断为假。


根据权利要求12所述的方法,其特征在于,以所述人脸旋转图像的姿态编码图作为所述第二判别网络的判别条件,根据所述第二判别网络判断所述人脸旋转图像和所述预测人脸旋转图像的真假性,并根据判别结果生成所述第二损失,包括:



其中,L
ip为所述第二损失,I
b为所述人脸旋转图像,
为所述预测人脸旋转图像,P
b为所述人脸旋转图像的姿态编码图,
表示在所述人脸旋转图像I
b的分布H(I
b)上求期望,即所述人脸旋转图像I
b为真的概率;
表示所述第二判别网络的损失函数,
表示在所述预测人脸旋转图像
的分布
上的期望,即所述预测人脸旋转图像
为真的概率;
为以所述人脸旋转图像的姿态编码图为条件的所述第二判别网络,θ
ip为所述第二判别网络的参数,
为所述第二判别网络的输入。



根据权利要求7至13任一项所述的方法,其特征在于,当所述真实图像损失包括像素损失,所述根据所述人脸旋转图像及所述预测人脸旋转图像得到真实图像损失,包括:



其中,L
pix是所述像素损失,S是尺度量,
为所述预测人脸旋转图像,I
b为所述人脸旋转图像,
表示将所述预测人脸旋转图像和所述人脸旋转图像进行缩放到S尺度量时计算像素差值的1范数损失。



根据权利要求7至14任一项所述的方法,其特征在于,当所述真实图像损失包括全变分损失,所述根据所述人脸旋转图像及所述预测人脸旋转图像得到真实图像损失,包括:



其中,L
tv是所述全变分损失,即所述预测人脸旋转图像
在横向和纵向两个方向一阶梯度绝对值的和,其中,W表示所述预测人脸旋转图像的宽,H表示所述预测人脸旋转图像的高,C表示所述预测人脸旋转图像通道数。



根据权利要求7至15任一项所述的方法,其特征在于,当所述真实图像损失包括身份识别特征损失,所述根据所述人脸旋转图像及所述预测人脸旋转图像得到真实图像损失,包括:



其中,身份识别特征用来保证所述预测人脸旋转图像和所述人脸图像之间的身份信息保持不变,L
ip表示所述身份识别特征损失,f为预先训练好的人脸识别模型,所述人脸识别模型f为深度神经网络,所述深度神经网络包括至少一个池化层和至少一个全连接层,其中,
表示所述人脸识别模型f的最后一个池化层的输出,
表示所述人脸识别模型f最后一个全连接层的输出。



一种人脸旋转图...

【专利技术属性】
技术研发人员:饶强遇冰冯柏岚胡一博吴翔赫然孙哲南
申请(专利权)人:华为技术有限公司中国科学院自动化研究所
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1