一种基于网格变形的表情动画重定向方法及系统技术方案

本发明专利技术公开了一种基于网格变形的表情动画重定向方法及系统，其中方法包括：获取正面人脸彩色和深度图像信息；对正面人脸彩色图像进行特征点定位，确定人脸标准模型低层级顶点对应的图像坐标信息；建立彩色图像坐标系与标准人脸模型坐标系之间的对应关系，并根据低层级顶点与中间层级顶点间的Sibson局部坐标对应关系求得标准人脸模型的中间层级顶点对应的二维图像坐标；获得中间层级顶点在模型坐标系下的三维位置信息；以中间层级顶点作为网格变形的控制顶点对标准人脸模型进行变形，生成特征化的三维人脸模型；通过纹理映射，完成三维人脸模型的构建。本发明专利技术在提高建模效率的同时通过创新提出的网格变形方法确保了所模拟的人脸的真实感。

【技术实现步骤摘要】
一种基于网格变形的表情动画重定向方法及系统
本专利技术涉及表情仿真
，具体涉及一种基于网格变形的表情动画重定向方法及系统。
技术介绍
三维人脸建模技术一直是计算机图形学与计算机视觉领域的热门研究课题，被广泛应用于游戏娱乐、影视动画、公安安全、医疗技术等多个领域，因此如何合成具有高度真实感的三维人脸是研究者不断追求的目标。近些年，Kinect深度相机由于建模成本低廉被广泛应用于三维人脸建模领域，但正是因为Kinect深度相机受限于自身廉价的深度成像原理，通常分辨率较低，建模误差较大。为了解决这个问题，有学者提出了基于Kinect相机的建模改进方法，通过快速地整合多帧图像完成三维人脸的重建，但该改进方法需要比较强大的显卡支持，对计算量的要求过大。也有学者提出还是使用单个Kinect相机对正面人脸进行图像采集，并通过脸部特征点的位置将标准的人脸模型与相应的深度图像对齐，然后采用非刚性配准和改进的高斯牛顿算法对标准人脸进行优化变形，使其与深度图像最佳匹配以完成人脸建模工作。但该方法由于点云数据量较大，优化变形过程计算复杂，在建模效率上无法得到有效保证。
技术实现思路
本专利技术的目的在于提供一种基于网格变形的表情动画重定向方法及系统，以解决上述技术问题。为达此目的，本专利技术采用以下技术方案：提供一种基于网格变形的表情动画重定向方法，包括：获取正面人脸彩色和深度图像信息；对正面人脸彩色图像进行特征点定位，确定人脸标准模型低层级顶点对应的图像坐标信息；<br>建立彩色图像坐标系与标准人脸模型坐标系之间的对应关系，并根据所述低层级顶点与中间层级顶点间的Sibson局部坐标对应关系求得所述标准人脸模型的所述中间层级顶点对应的二维图像坐标；通过正面人脸的深度图像信息以及彩色图像坐标系与标准人脸模型坐标系间的对应关系，获得所述中间层级顶点在模型坐标系下的三维位置信息；以所述中间层级顶点作为网格变形的控制顶点对所述标准人脸模型进行变形，生成特征化的三维人脸模型；通过纹理映射，最终完成真实感的三维人脸模型的构建。作为本专利技术的一种优选方案，通过Kinect深度相机获取正面人脸彩色和深度图像信息。作为本专利技术的一种优选方案，通过STASM特征点定位算法对正面人脸彩色图像进行特征点定位。作为本专利技术的一种优选方案，所述标准人脸模型由347个顶点和630个三角面组成。作为本专利技术的一种优选方案，对所述标准人脸模型进行网格变形的方法为：将所述三角面视为一三角网格模型，将所述三角网格模型表示为M＝(E,V)，E为所述三角面的边的集合；V＝(v1,…,vn)为所述三角网格模型中所有顶点的三维位置信息；n为所述三角网格模型中的顶点的数量；根据下式(1)计算所述三角网格模型中的所有顶点的变形坐标：公式(1)中，δi表示所述三角网格模型中的顶点i经网格变形后的变形坐标；表示所述三角网格模型中的顶点vi经网格变形后的在X轴向上的变形坐标；表示所述三角网格模型中的顶点vi经网格变形后的在Y轴向上的变形坐标；表示所述三角网格模型中的顶点vi经网格变形后的在Z轴向上的变形坐标；v表示顶点vi在未变形前的原始三维位置信息；di＝|N(i)|为顶点vi的度，即vi的邻接顶点的数量；N(i)＝{j|(i,j)∈E}为顶点vi的所有邻接顶点的集合；设有矩阵L，使得LV＝Δ，Δ表示所述三角网格模型中的所有顶点的变形坐标组合的矩阵；用网格的邻接矩阵A表示所述三角网格模型中的各顶点的连接关系，所述三角网格模型中各顶点的连接关系通过下式(2)表达：当顶点vi和vj之间有边直接相连时，Aij＝1；当顶点vi和vj之间不直接相连时，Aij＝0；用对角矩阵D＝diag(d1,…,dn)表示所述三角网格模型的度矩阵，di为D对角线上的元素Dij，所有非对角线上的元素Dij＝0(i≠j)；通过邻接矩阵A和对角矩阵D计算变形转换矩阵L，变形转换矩阵L通过下式(3)计算而得：L＝I-D-1A公式(3)公式(3)中，I为单位矩阵；L满足：确定网格变形的约束顶点，并以所述三角网格模型中的各所述约束顶点的位置为约束条件，在各所述约束顶点的位置发生变化时，通过公式LV＝Δ求得所述三角网格模型的所有顶点经网格变形后的变形坐标。本专利技术还提供了一种基于网格变形的表情动画重定向系统，可实现所述的表情动画重定向方法，该系统包括：人脸图像信息获取模块，用于获取正面人脸彩色和深度图像信息；标准人脸模型低层级顶点确定模块，连接所述人脸图像信息获取模块，用于对正面人脸彩色图像进行特征点定位，确定标准人脸模型的低层级顶点对应的图像坐标信息；坐标系对应关系建立模块，用于建立人脸彩色图像坐标系与标准人脸模型坐标系之间的对应关系；中间层级顶点二维图像坐标确定模块，连接所述坐标系对应关系建立模块，用于基于所建立的彩色图像坐标系与标准人脸模型坐标系之间的对应关系，并根据所述低层级顶点与中间层级顶点间的Sibson局部坐标对应关系求得所述标准人脸模型的所述中间层级顶点对应的二维图像坐标；中间层级顶点三维位置信息计算模块，分别连接所述人脸图像信息获取模块和所述坐标系对应关系建立模块，用于通过正面人脸的深度图像信息以及所确定的彩色图像坐标系与标准人脸模型坐标系间的对应关系，获得中间层级顶点在模型坐标系下的三维位置信息；标准人脸模型变形模块，连接所述中间层级顶点三维位置信息计算模块，用于以所述中间层级顶点作为网格变形的控制顶点对所述标准人脸模型进行变形，生成特征化的三维人脸模型；三维人脸模型构建模块，连接所述标准人脸模型变形模块，用于通过纹理映射，完成对所述三维人脸模型的构建。作为本专利技术的一种优选方案，通过Kinect深度相机获取正面人脸彩色和深度图像信息。作为本专利技术的一种优选方案，通过STASM特征点定位算法对正面人脸彩色图像进行特征点定位。作为本专利技术的一种优选方案，所述标准人脸模型由347个顶点和630个三角面组成。作为本专利技术的一种优选方案，对所述标准人脸模型进行网格变形的方法为：将所述三角面视为一三角网格模型，将所述三角网格模型表示为M＝(E,V)，E为所述三角面的边的集合；V＝(v1,…,vn)为所述三角网格模型中所有顶点的三维位置信息；n为所述三角网格模型中的顶点的数量；根据下式(1)计算所述三角网格模型中的所有顶点的变形坐标：公式(1)中，δi表示所述三角网格模型中的顶点i经网格变形后的变形坐标；表示所述三角网格模型中的顶点vi经网格变形后的在X轴向上的变形坐标；表示所述三角网格模型中的顶点vi经网格变形后的在Y轴向上的变形坐标；表示所述三角网格模型中的顶点vi经网格变形后的在Z轴本文档来自技高网...

【技术保护点】
1.一种基于网格变形的表情动画重定向方法，其特征在于，包括：/n获取正面人脸彩色和深度图像信息；/n对正面人脸彩色图像进行特征点定位，确定人脸标准模型低层级顶点对应的图像坐标信息；/n建立彩色图像坐标系与标准人脸模型坐标系之间的对应关系，并根据所述低层级顶点与中间层级顶点间的Sibson局部坐标对应关系求得所述标准人脸模型的所述中间层级顶点对应的二维图像坐标；/n通过正面人脸的深度图像信息以及彩色图像坐标系与标准人脸模型坐标系间的对应关系，获得所述中间层级顶点在模型坐标系下的三维位置信息；/n以所述中间层级顶点作为网格变形的控制顶点对所述标准人脸模型进行变形，生成特征化的三维人脸模型；/n通过纹理映射，最终完成真实感的三维人脸模型的构建。/n

【技术特征摘要】
1.一种基于网格变形的表情动画重定向方法，其特征在于，包括：
获取正面人脸彩色和深度图像信息；
对正面人脸彩色图像进行特征点定位，确定人脸标准模型低层级顶点对应的图像坐标信息；
建立彩色图像坐标系与标准人脸模型坐标系之间的对应关系，并根据所述低层级顶点与中间层级顶点间的Sibson局部坐标对应关系求得所述标准人脸模型的所述中间层级顶点对应的二维图像坐标；
通过正面人脸的深度图像信息以及彩色图像坐标系与标准人脸模型坐标系间的对应关系，获得所述中间层级顶点在模型坐标系下的三维位置信息；
以所述中间层级顶点作为网格变形的控制顶点对所述标准人脸模型进行变形，生成特征化的三维人脸模型；
通过纹理映射，最终完成真实感的三维人脸模型的构建。


2.根据权利要求1所述的基于网格变形的表情动画重定向方法，其特征在于，通过Kinect深度相机获取正面人脸彩色和深度图像信息。


3.根据权利要求1所述的基于网格变形的表情动画重定向方法，其特征在于，通过STASM特征点定位算法对正面人脸彩色图像进行特征点定位。


4.根据权利要求1所述的基于网格变形的表情动画重定向方法，其特征在于，所述标准人脸模型由347个顶点和630个三角面组成。


5.根据权利要求4所述的基于网格变形的表情动画重定向方法，其特征在于，对所述标准人脸模型进行网格变形的方法为：
将所述三角面视为一三角网格模型，将所述三角网格模型表示为M＝(E，V)，
E为所述三角面的边的集合；
V＝(v1，…，vn)为所述三角网格模型中所有顶点的三维位置信息；
n为所述三角网格模型中的顶点的数量；
根据下式(1)计算所述三角网格模型中的所有顶点的变形坐标：



公式(1)中，δi表示所述三角网格模型中的顶点i经网格变形后的变形坐标；

表示所述三角网格模型中的顶点vi经网格变形后的在X轴向上的变形坐标；

表示所述三角网格模型中的顶点vi经网格变形后的在Y轴向上的变形坐标；

表示所述三角网格模型中的顶点vi经网格变形后的在Z轴向上的变形坐标；
v表示顶点vi在未变形前的原始三维位置信息；
di＝|N(i)|为顶点vi的度，即vi的邻接顶点的数量；
N(i)＝{j|(i，j)∈E}为顶点vi的所有邻接顶点的集合；
设有矩阵L，使得LV＝Δ，Δ表示所述三角网格模型中的所有顶点的变形坐标组合的矩阵；
用网格的邻接矩阵A表示所述三角网格模型中的各顶点的连接关系，所述三角网格模型中各顶点的连接关系通过下式(2)表达：



当顶点vi和vj之间有边直接相连时，Aij＝1；
当顶点vi和vj之间不直接相连时，Aij＝0；
用对角矩阵D＝diag(d1，…，dn)表示所述三角网格模型的度矩阵，di为D对角线上的元素Dij，所有非对角线上的元素Dij＝0(i≠j)；
通过邻接矩阵A和对角矩阵D计算变形转换矩阵L，变形转换矩阵L通过下式(3)计算而得：
L＝I-D-1A公式(3)
公式(3)中，I为单位矩阵；
L满足：



确定网格变形的约束顶点，并以所述三角网格模型中的各所述约束顶点的位置为约束条件，在各所述约束顶点的位置发生变化时，通过公式LV＝Δ求得所述三角网格模型的所有顶点经网格变形后的变形坐标。


6.一种基于网格变形的表情动画重定向系统，可实现如权1～5任意一项所述的表情动画重定向方法，其特征在于，包括：
人脸图像信息获取模块，用于获取正面人脸彩色和深度图像信息；
标准人脸模型低层级顶点确定模块，连接所述人脸图像信息获取模块，用于对正面人...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：北京中科深智科技有限公司，
类型：发明
国别省市：北京;11