一种基于TOF深度相机的面部表情捕捉方法技术

本发明专利技术提供了一种基于TOF深度相机的面部表情捕捉方法，其包括：第一步，使用TOF深度相机对真实人物进行面部表情捕捉；第二步，处理捕捉的面部表情数据，并生成面部表情捕捉文件；第三步，构建三维虚拟人物几何模型，导入面部表情捕捉文件，驱动模型。该方法无需手动标记Marker，直接使用图像识别的方法识别并记录面部关键点的运动数据。其捕获的数据是人脸的真实运动数据，动作连贯逼真，表情细腻丰富，而且此方法获取到的面部表情捕捉文件可以重复使用，节约了成本。

A facial expression capture method based on TOF depth camera

The invention provides a method of TOF depth camera based facial expression capture includes: the first step, the real people of capturing facial expressions using TOF depth camera; the second step, facial expression data capture, and generate the facial capture file; the third step to construct 3D virtual characters into geometric model, facial expression capture file, driver model. The method does not need to manually mark Marker, and uses the method of image recognition to recognize and record the movement data of facial key points directly. The captured data is the real motion data of the human face, the action is coherent and realistic, the expression is delicate and rich, and the facial expression capture file obtained by the method can be reused, and the cost is saved.

【技术实现步骤摘要】
一种基于TOF深度相机的面部表情捕捉方法
本专利技术涉及计算机视觉及计算机图形学
，尤其涉及一种利用单个TOF深度相机捕捉人脸面部的表情动作并存储为特定的数据格式用于动漫模型等的面部表情捕捉方法。
技术介绍
近年来，随着计算机图形学的发展，计算机动画技术合成人的面部表情动画是当前动画学科研究的一个重点之一，它使得动画制作者能够以演员的表情直接驱动画形象模型，受到了动画制作者们更多的关注。面部表情捕捉能够实时地检测、记录表演者的表情，转化为数字化的“抽象表情”，以便动画软件将它“赋予”模型，使模型具有和表演者一样的表情，并生成最终的表情动画序列。目前，人脸表情动画总体上可分为基于几何、基于图像、基于运动跟踪的研究方法。其中基于几何的研究方法主要包括关键帧插值法、参数化方法、肌肉模型法等；基于图像的方法主要包括：图像变形、动态纹理映射、面色变化的表情等。在基于几何的研究方法中，关键帧插值法首先在两个不同的时刻建立几何模型，然后在这两个模型之间进行插值得到中间时刻的模型，从而获得人脸表情动画，这是一种最传统的、最原始的人脸动画方法，同时也是一种标准的人脸动画方法，但它的不足之处是需要很大的工作量。参数化方法是由Parke首次应用于人脸动画(ParkeFI.AParametericModelforHumanFaces[D].SaltLakeCity：UniversityofUtah，1974)，嘴唇说话时的动作就适合用这种方法，这种方法的不足是产生的人脸表情不够自然，并且在设置参数值时需要大量的手工调整。肌肉模型法是通过一组构成肌肉模型的弹性肌肉的收缩来控制人脸表面网格变化进而模拟人脸表情的。在基于图像的方法中，图像变形一种是在两个图像之间手工操作对应特征线段来实现2D变形；另一种是通过变形的3D模型映射到2D的参数空间来实现3D模型变形以及通过将几何模型的3D变换和2D变形相结合，利用3D几何插值，并在对应纹理图像间进行图像的变形操作来获得真实的人脸表情动画。除此之外，还有基于Bezier特征曲线和基于径向基神经网络的图像变形等算法。动态纹理映射依赖视点的纹理映射，它每次允许使用不同的纹理图，通过模型的反复绘制来对当前视点的调和权值进行动态的调整，不足是需要的计算和内存量大，而多纹理融合如果独立于视点的话，由于记录和采样存在误差常常使纹理变得模糊。目前，应用最广的是基于运动跟踪方法，运动跟踪方法主要是利用运动捕捉系统来进行表情捕捉，它主要是利用已有的捕获数据将源模型的人脸表情迁移到目标模型上，从而实现人脸的面部表情捕获，获得逼真的面部表情。现有的运动捕捉技术根据捕捉设备和原理不同主要分为四大类：机械式、声学式、电学式以及光学式运动捕捉，其中，光学运动捕捉方式具有获取数据便捷、采样精度高、频率高、使用范围广等优点，它采集的数据是以帧为单位的序列标识点(Marker)点集数据，在表演者的脸部关键点贴上Marker，视觉系统将识别和处理这些Maker，就可以实现表情捕捉。本专利技术采用的是基于运动跟踪的方法，不同于传统的光学式的捕捉方法。本专利技术在表情捕捉过程中无需手动标记Marker，直接使用图像识别的方法识别并记录面部关键点的运动数据。它主要是利用已有的捕获数据将源模型的人脸表情迁移到目标模型上，从而实现人脸的面部表情捕获，获得逼真的面部表情。
技术实现思路
针对目前动漫、电影等产业对面部表情捕获的需求，本申请提供一种基于TOF深度相机的面部表情捕捉方法，无需手动标记Marker，直接使用图像识别的方法识别并记录面部关键点的运动数据。其捕获的数据是人脸的真实运动数据，动作连贯逼真，表情细腻丰富，而且此方法获取到的面部表情捕捉文件可以重复使用，节约了成本。为解决上述技术问题，本专利技术提供了一种基于TOF深度相机的面部表情捕捉方法，其包括：第一步，利用TOF深度相机采集深度图像和彩色图像，采用AAM(ActiveAppearancesModels)算法定位面部特征点，并计算获取面部表情数据；第二步，处理捕捉面部表情数据，生成面部表情捕捉文件；第三步，构建三维虚拟人物几何模型，导入面部表情捕捉文件，驱动模型。其中，在第一步中采用AAM算法标定真实人物的面部特征点，在头部姿态各异的情况下，我们也能够对面部特征点进行精确的定位，从而对真实人物进行面部表情捕捉。其中，所述第一步进一步具体包括：a、利用TOF深度相机获取人脸彩色图像和深度图像；b、建立用于头部姿态判断的随机回归森林模型；c、训练并建立AAM算法的视角模型；d、利用AAM算法定位面部特征点；e、获取面部特征点的三维坐标。其中，第a步具体为连接TOF深度相机，接通电源，TOF深度相机的数据控制处理单元发出开启指令，其体感相机开启，将彩色数据流和深度数据流传送到数据控制与处理单元，数据控制与处理单元将彩色数据流转换成彩色图像，将深度数据流转换成深度图像。其中，第b步具体为利用TOF深度相机获取不同的头部姿态相对应的深度图像，然后按照头部姿态的位置将获取到的深度图像分为多个不同的分类训练集，使用脸部近似平面的法向来表示不同的头部姿态，从而建立头部姿态判断的随机回归森林模型。本专利技术在原有的AAM算法的基础上进行扩展，针对在对面部特征点进行定位时不同的头部姿态，分别建立相对应的AAM视角模型，每个AAM视角模型又分为形状模型和纹理模型两部分。其中，所述第d步进一步具体为输入新的图像，使用步骤b建立的头部姿态判断的随机回归森林模型，对给出的新的深度图像判断其中的头部位置和脸部朝向，根据得到的头部姿态信息从c步建立的AAM视角模型中选择与之最接近的AAM视角模型。利用选中的AAM模型对当前的输入图像进行面部特征点的定位。其中，所述第e步进一步具体为确定面部特征点的位置后，计算并获取人脸面部特征点的坐标信息，TOF深度相机的坐标系是以其自身为坐标原点，正前方为Z轴方向，向左为X轴的正方向，向上为Y轴的正方向。本专利技术的有益效果：本申请提供一种基于TOF深度相机的面部表情捕捉方法，该方法捕获的数据是现实世界人脸的真实的运动数据，动作连贯真实，表情细腻丰富，而且此方法获取到的面部表情捕捉文件可以重复使用，节约了成本。附图说明图1为TOF深度相机获取到的彩色图像；图2为TOF深度相机获取到的深度图像；图3为手动标记的训练样本；图4为脸部的特征点分布及名称；图5为表情捕捉文件导入人脸模型的效果图；图6为建立头部姿态判断模型所用的深度图像块。具体实施方式本专利技术提供了一种基于TOF深度相机的面部表情捕捉方法，其包括：第一步，利用TOF深度相机采集深度图像和彩色图像，采用AAM(ActiveAppearancesModels)算法定位面部特征点，并计算获取面部表情数据；第二步，处理捕捉面部表情数据，生成面部表情捕捉文件；第三步，构建三维虚拟人物几何模型，导入面部表情捕捉文件，驱动模型。利用TOF深度相机捕获到的数据驱动三维虚拟人物几何模型做出与表演者一致的表情，需要确定面部特征点的位置信息，这也是实现人脸面部表情捕捉的关键。如何确定和提取特征点信息对捕捉到的人脸面部表情的真实度起到了决定性的作用。面部特征信息很容易受到光照和姿态的影响，TOF深度相机可以同时提供深度图像、RGB彩色图像本文档来自技高网...

【技术保护点】
一种基于TOF深度相机的面部表情捕捉方法，其特征在于，包括：第一步，使用TOF深度相机对真实人物进行面部表情捕捉；第二步，处理捕捉的面部表情数据，并生成面部表情捕捉文件；第三步，构建三维虚拟人物几何模型，导入面部表情捕捉文件，驱动模型。

【技术特征摘要】
1.一种基于TOF深度相机的面部表情捕捉方法，其特征在于，包括：第一步，使用TOF深度相机对真实人物进行面部表情捕捉；第二步，处理捕捉的面部表情数据，并生成面部表情捕捉文件；第三步，构建三维虚拟人物几何模型，导入面部表情捕捉文件，驱动模型。2.如权利要求1所述的基于TOF深度相机的面部表情捕捉方法，其特征在于：在第一步中采用AAM算法标定真实人物的面部特征点，使头部姿态各异的情况下我们也能够对面部特征点进行精确的定位，从而对真实人物进行面部表情捕捉。3.如权利要求1或2所述的基于TOF深度相机的面部表情捕捉方法，其特征在于：所述第一步进一步具体包括，a、利用TOF深度相机获取人脸彩色图像和深度图像；b、建立头部姿态判断模型；c、训练并建立AAM算法的模型；d、利用AAM算法定位面部特征点；e、获取面部特征点的三维坐标。4.如权利要求1至3所述的基于TOF深度相机的面部表情捕捉方法，其特征在于：第a步具体为利用TOF深度相机获取三维人脸的彩色数据流与深度数据流，并将彩色数据流转换成彩色图像，将深度数据流转换成深度图像。5.如权利要求1至4所述的基于TOF深度相机的面部表情捕捉方法，其特征在于：第b步具体为利用TOF深度相机获取不同的头部姿态相对应的深度图像，然后按照头部姿态的位置将获取到的深度图像分为多个不同的分类训练集，使用脸部近视平面的法向量来表示不同的头部姿态...

【专利技术属性】
技术研发人员：张维忠，袁翠梅，黄松，周绍致，王青林，
申请(专利权)人：张维忠，
类型：发明
国别省市：山东,37