基于稠密特征对应与形态学的人脸表情合成方法技术

本发明专利技术提出一种基于稠密特征对应与形态学的真实感人脸图像表情合成方法。本发明专利技术通过对人脸图像的分解表达，可以实现图像中人脸特征的位置信息及灰度信息的有效分离，并能互不干扰的捕获在表情变化中的形状和纹理各自的差异。将这种差异映射到一个新的人脸图像上，并利用形态学方法提取来源于对准误差的黑白斑噪声区域，并使用线性插值的方式填充该区域实现滤除噪声，从而完成整个表情合成过程。实验证明，本发明专利技术可以很好的表现表情变化中的纹理差异，同时这种处理思想也更符合人们对表情变化的认识，合成出的人脸表情真实感强，此外具有计算量小和鲁棒性强的优点。

【技术实现步骤摘要】

本专利技术涉及计算机视觉及图形学
，特别是提出一种基于稠密特征对应与形态学滤波的真实感人脸图像的表情合成方法。
技术介绍
人脸表情是人类对自身脸部行为姿态的一种主观定义。心理学家研究表明，人脸能够产生大约55,000种不同的表情，其中有30多种是能够用人类自然语言区分的。人脸图像表情变换与合成是计算机视觉以及计算机图形学领域的一个重要研究分支，它在人脸图像的编码和传输、虚拟现实、人机交互、远程视频会议以及电影特技等方面都有着十分广泛的应用。由于表情合成技术涉及到对表情的理解、分类以及表情的生理特征等很多内容，同时还与人脸图像的表达以及建模紧密相关，所以一直是研究的热点。目前人脸表情计算机合成技术主要有以下四类一类是最早由Parke等人提出的基于关键帧(或称之为morphing)的方法，这种方法通过对两种不同的表情下人脸图像进行morphing等插值技术，来生成一系列的两种表情状态下的中间过渡图像。这种方法最大的不足在于需要给出同一个人的两幅不同表情的图像。如果我们只有某个人的一幅图像，要合成此人其他表情下的人脸图像则无能为力。第二类是基于参数的表情合成方法，这类方法包括经典的基于肌肉模型/伪肌肉模型的人脸表情合成。虽然这类方法可以合成出效果较好的人脸表情，但是这类方法有一个共同的困难特定人脸与模型匹配的时候需要大量繁琐的手工参与，同时参数选择非常困难，计算开销量大。第三类方法是称之为基于表情映射的方法。这种方法的思想简单，给定某个人的一幅中性脸的图像和此人的另一幅带有某种表情的图像，通过手动或自动的方式分别对两幅图像的特征点(如眼角、嘴角等)进行定位，然后将这种表情变换过程中的特征点的位置偏移量叠加到一个新的人脸图像的相应特征点上，最后利用图像变形技术合成出该新人脸的新的表情图像。这种方法简单有效，计算量小，但是最主要的问题是它只考虑了表情变换过程中人脸特征点的位置改变情况，而忽略了纹理细节的变换，比如表情变换中所产生的皱纹等。第四类是EKman根据人脸解剖学的结构特征，提出的FACS(Facial ActionCoding System)，它包括44个表情单元(Action Unit)。表情单元是表情的最小单位，每种表情都可以由其中的部分单元组合而成，表情合成的过程就是控制这些表情单元运动的过程。基于FACS的表情合成技术也常常和基于伪肌肉的参数模型或是基于控制点的面部模型相结合，来合成人脸表情。这种方法计算开销比较大，而且主观性较多，必须事先定义好各种表情单元，然后再定义常见表情的组合公式。由于忽略了很多表情变化的细节，只能近似反映每种表情的特点，合成的表情不够生动。
技术实现思路
本专利技术的目的在于克服现有人脸表情合成方法的缺点，提供一种，该方法基于对人脸图像进行稠密特征对应表达，利用形态学方法提取并滤除来源于对准误差的噪声，能够快速合成更具真实感的人脸新表情。本专利技术的技术方案是这样实现的方法步骤如下1)根据参考图像IAverage的特征线对特定人脸的中性表情A、特定表情A′和待变换人脸的中性表情B进行基于特征线的Warp变换，变形后的人脸图像称纹理矢量，变形前后两图像对应点的位移即构成形状矢量，这样得到三幅图像的矢量化表达分别为(shpA，texA)、(shpA′，texA′)和(shpB，texB)，其中shp表示形状矢量，tex表示纹理矢量； 2)计算表情变换后的新的形状矢量shpB′＝shpB+ΔShp，其中ΔShp＝shpA′-shpA；3)计算表情变换比例图R＝texA′/texA；4)为了消除比例图R中的黑白斑噪声，首先基于噪声和非噪声区域选取阈值将比例图二值化，阈值1.3-1.6用于提取白斑区域，阈值0.2-0.3用于提取黑斑区域；然后再对这些噪声区域进行形态学膨胀操作，以完整提取噪声区域过渡带；最后对噪声区域进行基于线性插值的填充，完成比例图去噪。5)计算表情变换后的新的纹理矢量texB′＝texB*R，这里的R已经完成了4)中的去噪处理；6)在(shpB′，texB′)中，形状矢量shpB′记录了图中每个像素点位移方向和距离；将纹理矢量texB′中的每像素依据shpB′进行位移，就恢复出了重构的图像B′，这也就是前向Warp的过程。所述的对噪声区域进行基于线性插值的填充，采用如下的插值公式Ry′(x,y)=R(x,y1)(1-y-y1y2-y1)+R(x,y2)·y-y1y2-y1Rx′(x,y)=R(x1,y)(1-x-x1x2-x1)+R(x2,y)·x-x1x2-x1R′(x,y)=Ry′(x,y)+Rx′(x,y)2]]>R代表滤波前的比例图，在定位了待插值点(x，y)与填充区域边缘的水平垂直交点坐标后，即可以利用R中这些点的灰度值分别进行线性插值，并平均两个方向的结果作为最终插值结果。本专利技术通过对人脸图像的分解表达，可以实现图像中人脸特征的位置信息及灰度信息的有效分离，并能互不干扰的捕获在表情变化中的形状和纹理各自的差异。将这种差异映射到一个新的人脸图像上，并利用形态学方法提取并滤除来源于对准误差的噪声，从而完成表情的合成。实验证明，本专利技术可以很好的表现表情变化中的纹理差异，同时这种思想也符合人们对表情变化的认识，合成出的人脸表情真实感大大增强，此外具有计算量小的优点。本专利技术有以下几个特点1)对人脸图像特征进行稠密特征表达，并将这种建模方法与人脸图像的表情变换相结合。采用这种表达方式不仅避免了对人脸图像进行的复杂建模，而且不存在参数选择主观因素较多的问题，使得合成的表情具有很强的真实感和表现力。2)根据表情映射的思想，将稠密特征对应与表情比例图相结合，将人脸图像分解为形状和纹理两部分矢量，在分解的同时完成特征对应，从而避免了为实现象素级稠密对应而在处理中反复使用插值操作，从而大大提高处理速度。3)采用基于形态学的方法提取并滤除来源于对准误差的噪声。在表情映射方法中，比例图是通过手工标线完成特征对准，因此对准误差无可避免，产生白斑和黑斑噪声。本专利技术基于形态学方法提取该噪声区域，并采用线性插值对噪声区域进行填充，从而提高了合成表情方法的鲁棒性。附图说明图1是基于稠密特征对应的表情合成算法流程示意图；图2是在人脸图像上手动标记的特征线图；图3是对样本图像特征线平均所得到的标准脸型图；图4是从200个样本图像中获得的平均脸图；图5是将一幅新的人脸图像进行矢量化表达的示意图。图中，(a)表示新的人脸图像；(b)表示形状矢量；(c)表示纹理矢量。具体实施例方式参照图1所示，基于稠密特征对应的表情合成算法分为离线和在线两部分，包括的各个步骤假定参考图像是IAverage，已知某特定人脸的中性(自然)表情图像为A，特定表情图像为A′，待变换人脸的中性(自然)表情图像为B，合成具有类似于A′表情的人脸图像B′。具体步骤如下1)根据参考图像IAverage的脸形对A、A′和B进行图像的分解，得到各自对应的图像表达(shpA，texA)、(shpA′，texA′)和(shpB，texB)，其中shp表示形状矢量，本文档来自技高网...

【技术保护点】
基于稠密特征对应与形态学的人脸表情合成方法，其特征在于，包括以下步骤：１）根据参考图像Ｉ↓［Ａｖｅｒａｇｅ］的特征线对特定人脸的中性表情Ａ、特定表情Ａ′和待变换人脸的中性表情Ｂ进行基于特征线的Ｗａｒｐ变换，变形后的人脸图像称纹理矢量 ，变形前后两图像对应点的位移即构成形状矢量，这样得到三幅图像的矢量化表达分别为（ｓｈｐＡ，ｔｅｘＡ）、（ｓｈｐＡ′，ｔｅｘＡ′）和（ｓｈｐＢ，ｔｅｘＢ），其中ｓｈｐ表示形状矢量，ｔｅｘ表示纹理矢量；２）计算表情变换后的新的形状矢量： ｓｈｐＢ′＝ｓｈｐＢ＋△Ｓｈｐ，其中△Ｓｈｐ＝ｓｈｐＡ′－ｓｈｐＡ；３）计算表情变换比例图：Ｒ＝ｔｅｘＡ′／ｔｅｘＡ；４）为了消除比例图Ｒ中的黑白斑噪声，首先基于噪声和非噪声区域选取阈值将比例图二值化，阈值１．３－１．６用于 提取白斑区域，阈值０．２－０．３用于提取黑斑区域；然后再对这些噪声区域进行形态学膨胀操作，以完整提取噪声区域过渡带；最后对噪声区域进行基于线性插值的填充，完成比例图去噪；５）计算表情变换后的新的纹理矢量：ｔｅｘＢ′＝ｔｅｘＢ＊Ｒ，这 里的Ｒ已经完成了４）中的去噪处理；６）在（ｓｈｐＢ′，ｔｅｘＢ′）中，形状矢量ｓｈｐＢ′记录了图中每个像素点位移方向和距离；将纹理矢量ｔｅｘＢ′中的每像素依据ｓｈｐＢ′进行位移，就恢复出了重构的图像Ｂ′，这也就是前向Ｗａｒｐ的过程。...

【技术特征摘要】

【专利技术属性】
技术研发人员：游屈波，刘跃虎，袁泽剑，刘剑毅，郑南宁，杜少毅，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：87[中国|西安]