基于视频流的三维动态人脸表情建模方法技术

本发明专利技术公开了一种基于视频流的三维动态人脸表情建模方法，能根据输入视频恢复出具有真实感的三维人脸表情，属于计算机视觉与图形学的交叉领域。算法步骤为：１）在输入视频首帧手工标注人脸特征点；２）采用仿射矫正的光流法对特征点进行跟踪；３）基于因子分解将二维跟踪数据重建为三维数据；４）使用重建的三维数据对一般人脸模型进行适配，生成个性化人脸以及动态表情运动；５）采用特征脸技术对原始视频进行压缩；６）利用特征脸重建输入视频，并进行动态纹理映射，合成具有真实感的视觉外观。本发明专利技术提供的三维人脸表情建模方法具有较高的时间／空间效率，在人机交互、动画制作以及游戏娱乐等方面具有较高实用价值。

【技术实现步骤摘要】

本专利技术涉及计算机视觉与计算机图形学的交叉领域，尤其涉及一种。
技术介绍
个性化人脸建模以及真实感表情动画生成一直以来都是一个富有挑战性的课题，并被广泛应用于虚拟现实、电影制作、游戏娱乐等方面。自Parke在1972年的开创性工作以来，人脸及表情建模方面的研究取得了很大进展。根据所需输入数据不同，，建模方式主要分为以下几类基于捕获得到的三维样本数据建模；基于图像建模；基于视频流建模。Blanz等人通过学习三维人脸库中的统计特征，根据一幅输入人脸图像来建立个性化人脸模型，，这需要使用昂贵的激光扫描设备预先扫描建立三维人脸库，且数据量太大，计算复杂度太高。Deng等人通过捕获贴有标签的真实人脸运动来提取独立表情参数并合成表情，这同样需要较为昂贵的运动捕获设备，且必须在演员脸上做标记。文献从图像中提取三维信息重建人脸模型，Pighin使用多幅图片重建人脸模型，但必须在每幅图像上手工标记特征点，而且表情的生成也需要很多手工交互。文献使用规范化正交图像对人脸建模并使用肌肉向量进行表情驱动，缺点是肌肉向量位置难以正确设置，而且正交约束过于严格，使方法缺乏推广性。文献使用两幅正面图像对人脸建模，相机必须预先标定，而且重建的特征点比较少，仅对特征点插值生成人脸网格难以准确反映人脸局部特征。文献同样采用正交图像，通过一个逐步求精的过程优化得到人脸模型，同样存在约束条件过于严格的缺点。Li Zhang等人利用结构光，通过立体视觉方法从视频流重建人脸表情，这需要包括结构光投影仪在内的硬件设备，扫描得到的模型要进行繁琐的手工预处理，而且对环境光照要求较高。Zicheng Liu等人提出的方法很有意义，即从未标定的视频流重建三维人脸模型，此方法对输入数据没有严格要求，但角点的检测和匹配本身不够鲁棒，容易受到光照的影响，这可能导致重建工作的失败。传统的人脸动画方法主要考虑人脸模型的几何形变，纹理映射到模型顶点，因而当网格产生形变时，纹理也会随之伸展和扭曲，因此传统的纹理映射可看作是一种静态方法.然而人脸是高度非刚性表面，人脸表情不仅包含表面微小的几何形变(如皱纹)，还包含肤色和神态的改变，而单纯从几何形变的角度出发很难对这些变化进行模拟.因此从这个意义上讲传统的纹理映射方法不足以产生具有高度真实感的人脸表情。Parke F.Computer generated animation of faces.Proceedings of the ACM Annual Conference，Boston，1972451-457. Blanz V，Vetter T.A morphable model for the synthesis of 3D faces.Proceedings ofSIGGRAPH’99，Los Angeles，1999187-194. Deng Z，Bulut M，Neumann U，Narayanan S.Automatic dynamic expression synthesis forspeech animation.Proceedings of IEEE Computer Animation and Social Agents，Geneva，2004267-274. Pighin F，Hecker J，Lichinski D，Szeliski R，Salesin D.H.Synthesizing realistic facialexpressions from photographs.Proceedings of SIGGRAPH’98，Orlando，Florida，199875-84. Mei L，Bao HJ，Peng QS.Quick customization of particular human face and muscle-drivenexpression animation.Joumal of Computer-Aided Design & Computer Graphics，2001，13(12)1077-1082. Wang K，Zheng NN.3D face modeling based on SFM algorithm.Chinese Journal of Computers，2005，28(6)1048-1053. Su CY，Zhuang YT，Huang L，Wu F.Analysis-by-synthesis approach for facial modeling basedon orthogonal images.Journal of Zhejiang University(Engineering Science)，2005，39(2)175-179Li Zhang，Snavely N，Curless B，Seitz S.Spacetime faceshigh resolution capture for modelingand animation.ACM Transactions on Graphics，2004，23(3)548-558. ZC Liu，ZY Zhang，Jacobs C，Cohen M.Rapid modeling of animated faces from video images.ACM Multimedia，Los Angeles，2000475-476.
技术实现思路
本专利技术的目的在于提供一种。方法步骤为1)在输入的单目未标定视频首帧手工标注人脸特征点的位置；2)采用仿射矫正的光流法对首帧标注的特征点进行跟踪，确定这些特征点在视频序列中每帧的位置变化情况；3)采用基于因子分解的方法将二维跟踪数据恢复为三维运动数据；4)将三维运动数据的前3帧取平均值，以这个平均值适配一个一般三维人脸模型从而产生个性化三维人脸模型；5)使用其他三维运动数据驱动此个性化三维人脸模型，生成动态三维人脸表情；6)采用基于特征脸的视频压缩方法对输入视频进行压缩，以较少存储空间； 7)使用特征脸重建输入视频，并结合二维跟踪数据对动态三维人脸自动进行动态纹理映射，生成具有真实感的三维人脸表情序列。所述的人脸特征点根据MPEG4标准的人脸形状定义参数和人脸动画参数进行设置，共有40个，分布在人脸轮廓、眼睛、嘴唇边缘等位置，不仅能够较好反映人脸拓扑形状，而且能够描述人脸表情运动，当人脸保持中立表情时大体上可以看作是刚体，此时特征点定义人脸形状特征；当人脸呈现表情运动时，特征点定义人脸动画参数。仿射矫正的光流法通过计算视频帧间的仿射变换来矫正传统光流跟踪方法的准确性；传统光流跟踪的目的是搜索偏移量使得与对应特征点相关邻域的匹配误差最小给定两个相邻视频帧I1和I2，标记I1中某个特征点的位置为f＝(u，v)T，标记光流为p＝(pu，pv)T，则I2中对应特征点的位置为f+p；p可以通过最小化 得到，其中T是一个以f为中心的正方形区域；然而当图像中人脸姿态和光照发生较大变化时，人脸中鼻尖、下巴和头顶的轮廓点的跟踪效果会很差，但眼角、发际、嘴和脸颊的轮廓点的跟踪效果依然很准确，因此定义P1a和P2a是I1和I2中准确跟踪的特征点，则根本文档来自技高网...

【技术保护点】
一种基于视频流的三维动态人脸表情建模方法，其特征在于方法的步骤为：１）在输入的单目未标定视频首帧手工标注人脸特征点的位置；２）采用仿射矫正的光流法对首帧标注的特征点进行跟踪，确定这些特征点在视频序列中每帧的位置变化情况； ３）采用基于因子分解的方法将二维跟踪数据恢复为三维运动数据；４）将三维运动数据的前３帧取平均值，以这个平均值适配一个一般三维人脸模型从而产生个性化三维人脸模型；５）使用其他三维运动数据驱动此个性化三维人脸模型，生成动态三 维人脸表情；６）采用基于特征脸的视频压缩方法对输入视频进行压缩，以较少存储空间；７）使用特征脸重建输入视频，并结合二维跟踪数据对动态三维人脸自动进行动态纹理映射，生成具有真实感的三维人脸表情序列。

【技术特征摘要】

【专利技术属性】
技术研发人员：庄越挺，张剑，肖俊，王玉顺，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]