一种从单幅图像生成人脸动画的方法技术

本发明专利技术公开了一种从单幅图像生成人脸动画的方法。该方法主要分为四个步骤：图像中人脸特征点生成、图像全局二维形变、人脸区域细节的优化、口腔区域纹理的生成。本发明专利技术可以根据人脸特征点变化实时地生成人脸动画，动画质量达到当前最先进的人脸图像动画技术的水平。本发明专利技术可以用在一系列应用中，如人脸图像编辑，基于单幅图像的肖像动画生成，以及视频中人脸表情的编辑。

【技术实现步骤摘要】
一种从单幅图像生成人脸动画的方法
本专利技术涉及基于人脸动画领域，尤其涉及一种对人像图片的人脸区域进行编辑的方法。
技术介绍
人脸编辑领域以Blanz及Vetter的工作作为起始(VolkerBlanzandThomasVetter.1999.Amorphablemodelforthesynthesisof3Dfaces.InProceedingsofthe26thannualconferenceonComputergraphicsandinteractivetechniques.ACMPress/Addison-WesleyPublishingCo.,187–194.)，用单张图像通过拟合参数得到图像对应的三维可形变模型及纹理。该技术为后续人脸编辑工作生成更真实结果打下基础(PiaBreuer,Kwang-InKim,WolfKienzle,BernhardScholkopf,andVolkerBlanz.2008.Automatic3Dfacereconstructionfromsingleimagesorvideo.InAutomaticFace&GestureRecognition,2008.FG’08.8thIEEEInternationalConferenceon.IEEE,1–8.)(MarcelPiotraschkeandVolkerBlanz.2016.Automated3dfacereconstructionfrommultipleimagesusingqualitymeasures.InProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.3418–3427.)。这些技术通常会因为主成分表达能力有限使编辑后的人脸丢失细节。有的工作基于一段目标人物视频或是一段驱动人物视频(UmarMohammed,SimonJDPrince,andJanKautz.2009.Visiolization:generatingnovelfacialimages.ACMTransactionsonGraphics(TOG)28,3(2009),57.)(PabloGarrido,LeviValgaerts,OleRehmsen,ThorstenThormahlen,PatrickPerez,andChristianTheobalt.2014.Automaticfacereenactment.InProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.4217–4224.)这类方式可以借助目标人物视频或驱动人物视频中人脸细节，在一定程度上缓解细节内容丢失问题，但是这类方式也存在一些缺陷。例如Face2face(JustusThies,MichaelZollh¨ofer,MarcStamminger,ChristianTheobalt,andMatthiasNie.ner.2016.Face2face:Real-timefacecaptureandreenactmentofrgbvideos.InComputerVisionandPatternRecognition(CVPR),2016IEEEConferenceon.IEEE,2387–2395.)需要目标人物视频包含充足的嘴型数据。像需要借助驱动视频来丰富生成人脸细节的工作(HadarAverbuch-Elor,DanielCohen-Or,JohannesKopf,andMichaelFCohen.2017.Bringingportraitstolife.ACMTransactionsonGraphics(TOG)36,6(2017),196.)，生成结果质量随着目标人物与驱动人物图像差别增大而下降。另外这些方式没有任何手段保证生成结果符合真实图像分布。最近，生成对抗神经网络的发展，为该领域提供新思路，比如利用几何信息作为网络训练的引导，采用对抗训练的方式，使网络生成结果符合几何信息与真实人脸图像分布(FengchunQiao,NaimingYao,ZiruiJiao,ZhihaoLi,HuiChen,andHonganWang.2018.Geometry-ContrastiveGenerativeAdversarialNetworkforFacialExpressionSynthesis.arXivpreprintarXiv:1802.01822(2018).)(LingxiaoSong,ZhiheLu,RanHe,ZhenanSun,andTieniuTan.2017.GeometryGuidedAdversarialFacialExpressionSynthesis.arXivpreprintarXiv:1712.03474(2017).)。但是这些方法一般只能处理剪裁后的人脸区域，非人脸区域无法进行处理，且生成结果质量随目标几何信息与原始图像几何信息差别增大而下降。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供了一种从单幅图像生成人脸动画的方法。本专利技术通过图像全局形变技术实现刚体及非刚体变化带来的非线性几何变化并保证人脸区域与非人脸区域的连贯性，再利用生成对抗神经网络优化形变图像的人脸区域纹理，最后利用生成对抗神经网络填充口腔区域，如此得到保留目标人物特征，符合目标特征点位置，保证人脸区域与非人脸区域连贯性，且符合真实人脸图像分布的最终结果。该方法达到最先进的肖像动画生成技术的水平，且可实现实时处理，具有很高的实用价值。本专利技术的目的是通过以下技术方案来实现的，一种从单幅图像生成人脸动画的方法，包括以下步骤：(1)图像中人脸特征点生成：计算图像中人脸与背景区域的特征点；(2)图像全局二维形变：基于步骤1得到的初始特征点，以及用户或程序指定的特征点变化，通过全局二维形变，生成符合特征点约束的形变图像；(3)人脸区域细节的优化：通过生成对抗神经网络来优化形变图像中人脸区域的纹理，所述人脸区域不包含口腔区域；(4)口腔区域纹理的生成：通过生成对抗神经网络来合成口腔区域纹理，并生成最后的人脸动画图像。进一步地，所述步骤1包括如下子步骤：(1.1)人脸区域特征点的生成：检测目标人物初始图像脸部二维特征点、人物身份系数、表情系数及刚体变换系数，通过传递驱动人物的表情系数及刚体变换系数，生成对应的三维混合形变模型，将其投影到二维平面，得到偏移后的人脸特征点。(1.2)背景区域特征点的生成：检测并追踪驱动视频中的非人脸区域特征点，并通过下式将其转化到目标图像中：其中，s表示驱动人物，t表示目标人物，是目标人物偏移后的非人脸区域特征点，是驱动人物当前第i帧对应的特征点，是目标人物初始人脸特征点与驱动人物初始人脸特征点之间的刚体变换矩阵。通过上式，可以得到目标图像的非人脸区域特征点。进一步地，所述步骤2具体为：根据偏移后的目标人物特征点与初始特征点，计算得到每个特征点的偏移值。以人脸区域特征点和背景区域特征点作为顶点，进行三角化，并对每个三角形中顶点偏移值插值得到偏移图。另外为了消本文档来自技高网...

【技术保护点】
1.一种从单幅图像生成人脸动画的方法，其特征在于，包括以下步骤：(1)图像中人脸特征点生成：计算图像中人脸与背景区域的特征点。(2)图像全局二维形变：基于步骤1得到的初始特征点，以及用户或程序指定的特征点变化，通过全局二维形变，生成符合特征点约束的形变图像。(3)人脸区域细节的优化：通过生成对抗神经网络来优化形变图像中人脸区域的纹理，所述人脸区域不包含口腔区域。(4)口腔区域纹理的生成：通过生成对抗神经网络来合成口腔区域纹理，并生成最后的人脸动画图像。

【技术特征摘要】
1.一种从单幅图像生成人脸动画的方法，其特征在于，包括以下步骤：(1)图像中人脸特征点生成：计算图像中人脸与背景区域的特征点。(2)图像全局二维形变：基于步骤1得到的初始特征点，以及用户或程序指定的特征点变化，通过全局二维形变，生成符合特征点约束的形变图像。(3)人脸区域细节的优化：通过生成对抗神经网络来优化形变图像中人脸区域的纹理，所述人脸区域不包含口腔区域。(4)口腔区域纹理的生成：通过生成对抗神经网络来合成口腔区域纹理，并生成最后的人脸动画图像。2.根据权利要求1所述的从单幅图像生成人脸动画的方法，其特征在于，所述步骤1包括如下子步骤：(1.1)人脸区域特征点的生成：检测目标人物初始图像脸部二维特征点、人物身份系数、表情系数及刚体变换系数，通过传递驱动人物的表情系数及刚体变换系数，生成对应的三维混合形变模型，将其投影到二维平面，得到偏移后的人脸特征点。(1.2)背景区域特征点的生成：检测并追踪驱动视频中的非人脸区域特征点，并通过下式将其转化到目标图像中：其中，s表示驱动人物，t表示目标人物，是目标人物偏移后的非人脸区域特征点，是驱动人物当前第i帧对应的特征点，是目标人物初始人脸特征点与驱动人物初始人脸特征点之间的刚体变换矩阵。通过上式，可以得到目标图像的非人脸区域特征点。3.根据权利要求2所述的从单幅图像生成人脸动画的方法，其特征在于，所述步骤2具体为：根据偏移后的目标人物特征点与初始特征点，计算得到每个特征点的偏移值。以人脸区域特征点和背景区域特征点作为顶点，进行三角化，并对每个三角形中顶点偏移值插值得到偏移图。另外为了消除非人脸区域偏移值不连续问题，通过高斯核对偏移图中非人脸区域进行滤波，高斯核半径随着距离人脸区域距离增大而增大，其范围在[7,32]。最后通过上述偏移图,将原始图像中相应位置的像素转移到当前图像位置，如此得到形变图像。4.根据权利要求3所述的从单幅图像生成人脸动画的方法，其特征在于，所述步骤3包括如下子步骤：(3.1)训练基于形变引导的生成对抗神经网络(wg-GAN)，具体如下：(3.1.1)训练数据：以视频为单位，对每段视频以10帧为间隔进行采样得到图像Ii，并检测其人脸特征点Pi。在{Ii|0<i<N}中选取中性表情图像I*，并得到其对应特征点P*。用P*及Pi计算得到特征点偏移Di，并通过对Pi三角化及对Di插值形变I*，得到Ii对应的形变图像Wi。另外在所有训练数据上统计人脸各部分特征点偏移的标准差，并用上述标准差对Di按部位进行归一化处理，得到归一化的并以此生成偏移图Mi,最终以(Wi,Mi,Ii)组成一组训练数据。并利用翻转与裁剪操作进行数据增广。(3.1.2)网络结构：对抗神经网络的网络结构是一种编码解码结构。将输入图像下采样两次，并让经过下采样的特征图通过4块残差模块,最后通过缩放卷积输出原始尺寸大小图像。另外网络在对应的下采样与上采样中添加跳跃式传递来保证图像结构的正确性，即含有两次跳跃式传递，因此网络结构可以表示为(C64,K7,S1,LReLU,Skip1)->(C128,K5,S2,LReLU,Skip2)->(C256,K3,S2,LReLU)->4*(RB256,K3,S1,LReLU)->(RC128,K3,R2,LReLU,Skip1)->(RC64,K3,R2,LReLU,Skip2)->(C3,K3,S1,Sigmo...

【专利技术属性】
技术研发人员：周昆，耿佳豪，
申请(专利权)人：浙江大学，杭州相芯科技有限公司，
类型：发明
国别省市：浙江,33