【技术实现步骤摘要】
【国外来华专利技术】人脸旋转图像的生成方法及装置
本专利技术实施例涉及计算机视觉领域,尤其涉及一种人脸旋转图像的生成方法及装置。
技术介绍
计算机视觉是各个应用领域,如制造业、检验、文档分析、医疗诊断,和军事等领域中各种智能/自主系统中不可分割的一部分,它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的,被拍摄对象的数据与信息的学问。形象地说,就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等,从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息,所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说,计算机视觉就是用各种成象系统代替视觉器官获取输入信息,再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界,具有自主适应环境的能力。人脸旋转(FaceRotation)是指对一张给定的2D人脸图像,利用计算机视觉的相关方法,如图像处理、机器学习、计算机图形学等获得该人脸旋转后的真实化的符合人脸在三维空间中几何映射原理的人脸图像。人脸旋转主要为解决人脸识别中,因人脸大角度旋转导致侧脸识别不准的问题;另外,通过人脸旋转还可以解决人脸识别模型训练中人脸数据不足的问题,即可用于人脸数据的扩充。用于解决侧脸识别问题的方法很多,人脸旋转技术是其中一个。就人脸旋转技术来说,常用的方法有:3D/2D模型和生成稀疏子空间。其中,3D/2D模型是通过将2D人脸图像映射到3D人脸模型上,估计出 ...
【技术保护点】
一种人脸旋转图像的生成方法,其特征在于,包括:/n接收人脸图像;/n根据所述人脸图像中的两个或两个以上关键点对所述人脸图像进行姿态编码,得到所述人脸图像的姿态编码图;/n根据人脸旋转角度从训练数据集中获取多张第一训练图片,所述多张第一训练图片均包含人脸,且所述多张第一训练图片中包含的人脸呈现的旋转角度均为所述人脸旋转角度;/n根据目标人脸图像中的两个或两个以上关键点对所述目标人脸图像进行姿态编码,得到所述目标人脸图像的姿态编码图;其中,所述目标人脸图像是根据所述多张第一训练图片得到的;/n根据所述人脸图像、所述人脸图像的姿态编码图和所述目标人脸图像的姿态编码图生成待输入信号,其中所述人脸图像的尺寸、所述人脸图像的姿态编码图的尺寸和所述目标人脸图像的姿态编码图的尺寸相同;/n将所述待输入信号输入人脸旋转图像生成模型得到人脸旋转图像。/n
【技术特征摘要】
【国外来华专利技术】一种人脸旋转图像的生成方法,其特征在于,包括:
接收人脸图像;
根据所述人脸图像中的两个或两个以上关键点对所述人脸图像进行姿态编码,得到所述人脸图像的姿态编码图;
根据人脸旋转角度从训练数据集中获取多张第一训练图片,所述多张第一训练图片均包含人脸,且所述多张第一训练图片中包含的人脸呈现的旋转角度均为所述人脸旋转角度;
根据目标人脸图像中的两个或两个以上关键点对所述目标人脸图像进行姿态编码,得到所述目标人脸图像的姿态编码图;其中,所述目标人脸图像是根据所述多张第一训练图片得到的;
根据所述人脸图像、所述人脸图像的姿态编码图和所述目标人脸图像的姿态编码图生成待输入信号,其中所述人脸图像的尺寸、所述人脸图像的姿态编码图的尺寸和所述目标人脸图像的姿态编码图的尺寸相同;
将所述待输入信号输入人脸旋转图像生成模型得到人脸旋转图像。
根据权利要求1所述的方法,其特征在于,所述根据所述人脸图像中的两个或两个以上关键点对所述人脸图像进行姿态编码,得到所述人脸图像的姿态编码图包括:
利用关键点检测算法对所述人脸图像进行检测,得到所述人脸图像的N个关键点分别对应的位置坐标,N为大于1的整数;
构造与所述人脸图像尺寸相同的N张第一图像,所述N张第一图像与所述N个关键点一一对应;
分别以所述N个关键点中的每个关键点为中心,对与所述每个关键点一一对应的第一图像进行高斯模糊处理,得到N张第一高斯模糊图,所述N张第一高斯模糊图为所述人脸图像的姿态编码图。
根据权利要求1或2所述的方法,其特征在于,根据目标人脸图像中的两个或两个以上关键点对所述目标人脸图像进行姿态编码,得到所述目标人脸图像的姿态编码图包括:
利用关键点检测算法对所述目标人脸图像进行检测,得到所述目标人脸图像的M个关键点分别对应的位置坐标,M为大于1的整数;
构造与所述目标人脸图像尺寸相同的M张第二图像,所述M张第二图像与所述M个关键点一一对应;
分别以所述M个关键点中的每个关键点为中心,对与所述每个关键点一一对应的第二图像进行高斯模糊处理,得到M张第二高斯模糊图,所述M张第二高斯模糊图为所述目标人脸图像的姿态编码图。
根据权利要求1至3任一项所述的方法,其特征在于,所述目标人脸图像是根据所述多张第一训练图片得到的,包括:
所述目标人脸图像是根据所述多张第一训练图片的姿态编码图的平均值得到的。
根据权利要求1至4任一项所述的方法,其特征在于,所述人脸旋转图像生成模型是根据训练生成式对抗网络得到的,所述生成式对抗网络包括至少一个人脸生成网络以及至少两个判别网络,所述至少两个判别网络形成耦合对抗,用于产生对抗损失,所述对抗损失用于更新所述至少一个人脸生成网络以及所述至少两个判别网络,所述更新后的至少一个人脸生成网络为所述人脸旋转图像生成模型。
一种生成式对抗网络的训练方法,其特征在于,所述生成式对抗网络包括人脸生成网络,以及多个耦合对抗的判别网络,所述耦合对抗的判别网络至少包括第一判别网络和第二判别网络,所述方法包括:
接收人脸图像,以及人脸旋转图像;所述人脸图像和所述人脸旋转图像为同一张人脸旋转前和旋转后的图像;
根据所述人脸图像中的两个或两个以上关键点对所述人脸图像进行姿态编码,得到所述人脸图像的姿态编码图;
根据所述人脸旋转图像中的两个或两个以上关键点对所述人脸旋转图像进行姿态编码,得到所述人脸旋转图像的姿态编码图;
将所述人脸图像、所述人脸图像的姿态编码图以及所述人脸旋转图像的姿态编码图输入所述人脸生成网络,以生成预测人脸旋转图像;
将所述人脸图像、所述人脸旋转图像和所述预测人脸旋转图像输入所述第一判别网络以得到第一损失;
将所述人脸旋转图像、所述人脸旋转图像的姿态编码图以及所述预测人脸旋转图像输入所述第二判别网络以得到第二损失;
根据所述生成式对抗网络的总损失更新所述人脸生成网络、所述第一判别网络以及所述第二判别网络,所述生成式对抗网络的总损失根据所述第一损失和第二损失加权求和得到;
直到所述生成式对抗网络的总损失收敛,输出训练后的人脸生成网络。
根据权利要求6所述的方法,其特征在于,在所述根据所述生成式对抗网络的总损失更新所述人脸生成网络、所述第一判别网络以及所述第二判别网络之前,所述方法还包括:
根据所述人脸旋转图像及所述预测人脸旋转图像得到真实图像损失,所述真实图像损失包括像素损失、全变分损失及身份识别特征损失中的至少一个损失;对应的,所述生成式对抗网络的总损失根据所述真实图像损失中的至少一个损失、所述第一损失和第二损失加权求和得到。
根据权利要求6或7所述的方法,其特征在于,所述根据所述人脸图像中的两个或两个以上关键点对所述人脸图像进行姿态编码,得到所述人脸图像的姿态编码图,包括:
利用关键点检测算法对所述人脸图像进行检测,得到所述人脸图像的N个关键点分别对应的位置坐标,构造与所述人脸图像尺寸相同的N张第一图像,所述N张第一图像与所述N个关键点一一对应,分别以所述N个关键点中的每个关键点为中心,对与所述每个关键点一一对应的第一图像进行高斯模糊处理,得到N张第一高斯模糊图,所述N张第一高斯模糊图为所述人脸图像的姿态编码图,N为大于1的正整数。
根据权利要求6至8任一项所述的方法,其特征在于,所述根据所述人脸旋转图像中的两个或两个以上关键点对所述人脸旋转图像进行姿态编码,得到所述人脸旋转图像的姿态编码图,包括:
利用关键点检测算法对所述人脸旋转图像进行检测,得到所述人脸旋转图像的M个关键点分别对应的位置坐标,构造与所述人脸旋转图像尺寸相同的M张第二图像,所述M张第二图像与所述M个关键点一一对应,分别以所述M个关键点中的每个关键点为中心,对与所述每个关键点一一对应的第二图像进行高斯模糊处理,得到M张第二高斯模糊图,所述M张第二高斯模糊图为所述人脸旋转图像的姿态编码图,M为大于1的正整数。
根据权利要求6至9任一项所述的方法,其特征在于,所述将所述人脸图像,所述人脸旋转图像和所述预测人脸旋转图像输入所述第一判别网络得到第一损失,包括:
以所述人脸图像作为所述第一判别网络的判别条件,根据所述第一判别网络判断所述人脸旋转图像和所述预测人脸旋转图像的真假性,并根据判别结果生成所述第一损失;其中,所述第一判断网络包括二分类判别器,所述二分类判别器用于判断为真或判断为假。
根据权利要求10所述的方法,其特征在于:以所述人脸图像作为所述第一判别网络的判别条件,根据所述第一判别网络判断所述人脸旋转图像和所述预测人脸旋转图像的真假性,并根据判别结果生成所述第一损失,包括:
其中,L
ii为所述第一损失,I
a为所述人脸图像,I
b为所述人脸旋转图像,
为所述预测人脸旋转图像,
表示在所述人脸旋转图像I
b的分布H(I
b)上求期望,即所述人脸旋转图像I
b为真的概率;
表示所述第一判别网络的损失函数,
表示在所述预测人脸旋转图像
的分布
上的期望,即所述预测人脸旋转图像
为真的概率;
为以所述人脸图像为条件的所述第一判别网络,θ
ii为所述第一判别网络的参数,
为所述第一判别网络的输入。
根据权利要求6至11任一项所述的方法,其特征在于,所述将所述人脸旋转图像,所述人脸旋转图像的姿态编码图以及所述预测人脸旋转图像输入所述第二判别网络得到第二损失,包括:
以所述人脸旋转图像的姿态编码图作为所述第二判别网络的判别条件,根据所述第二判别网络判断所述人脸旋转图像和所述预测人脸旋转图像的真假性,并根据判别结果生成所述第二损失;其中,所述第二判断网络包括二分类判别器,所述二分类判别器用于判断为真或判断为假。
根据权利要求12所述的方法,其特征在于,以所述人脸旋转图像的姿态编码图作为所述第二判别网络的判别条件,根据所述第二判别网络判断所述人脸旋转图像和所述预测人脸旋转图像的真假性,并根据判别结果生成所述第二损失,包括:
其中,L
ip为所述第二损失,I
b为所述人脸旋转图像,
为所述预测人脸旋转图像,P
b为所述人脸旋转图像的姿态编码图,
表示在所述人脸旋转图像I
b的分布H(I
b)上求期望,即所述人脸旋转图像I
b为真的概率;
表示所述第二判别网络的损失函数,
表示在所述预测人脸旋转图像
的分布
上的期望,即所述预测人脸旋转图像
为真的概率;
为以所述人脸旋转图像的姿态编码图为条件的所述第二判别网络,θ
ip为所述第二判别网络的参数,
为所述第二判别网络的输入。
根据权利要求7至13任一项所述的方法,其特征在于,当所述真实图像损失包括像素损失,所述根据所述人脸旋转图像及所述预测人脸旋转图像得到真实图像损失,包括:
其中,L
pix是所述像素损失,S是尺度量,
为所述预测人脸旋转图像,I
b为所述人脸旋转图像,
表示将所述预测人脸旋转图像和所述人脸旋转图像进行缩放到S尺度量时计算像素差值的1范数损失。
根据权利要求7至14任一项所述的方法,其特征在于,当所述真实图像损失包括全变分损失,所述根据所述人脸旋转图像及所述预测人脸旋转图像得到真实图像损失,包括:
其中,L
tv是所述全变分损失,即所述预测人脸旋转图像
在横向和纵向两个方向一阶梯度绝对值的和,其中,W表示所述预测人脸旋转图像的宽,H表示所述预测人脸旋转图像的高,C表示所述预测人脸旋转图像通道数。
根据权利要求7至15任一项所述的方法,其特征在于,当所述真实图像损失包括身份识别特征损失,所述根据所述人脸旋转图像及所述预测人脸旋转图像得到真实图像损失,包括:
其中,身份识别特征用来保证所述预测人脸旋转图像和所述人脸图像之间的身份信息保持不变,L
ip表示所述身份识别特征损失,f为预先训练好的人脸识别模型,所述人脸识别模型f为深度神经网络,所述深度神经网络包括至少一个池化层和至少一个全连接层,其中,
表示所述人脸识别模型f的最后一个池化层的输出,
表示所述人脸识别模型f最后一个全连接层的输出。
一种人脸旋转图...
【专利技术属性】
技术研发人员:饶强,遇冰,冯柏岚,胡一博,吴翔,赫然,孙哲南,
申请(专利权)人:华为技术有限公司,中国科学院自动化研究所,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。