一种基于深度学习的面部无标记运动捕捉方法技术

本发明专利技术公开了一种基于深度学习的面部无标记运动捕捉方法，包括以下步骤：包括：第一步，使用深度相机对真实人物进行面部表情捕捉；第二步，处理捕捉的面部表情数据，并生成面部表情捕捉文件；第三步，构建三维虚拟人物几何模型，导入面部表情捕捉文件，驱动模型。该方法无需手动标记Marker，直接使用图像识别的方法识别并记录面部关键点的运动数据。其捕获的数据是人脸的真实运动数据，动作连贯逼真，表情细腻丰富，而且此方法获取到的面部表情捕捉文件可以重复使用，节约了成本。

A Face Unmarked Motion Capture Method Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的面部无标记运动捕捉方法
本专利技术涉及计算机视觉及计算机图形学
，特别涉及一种基于深度学习的面部无标记运动捕捉方法。
技术介绍
近年来，随着计算机图形学的发展，计算机动画技术合成人的面部表情动画是当前动画学科研究的一个重点之一，它使得动画制作者能够以演员的表情直接驱动画形象模型，受到了动画制作者们更多的关注。面部表情捕捉能够实时地检测、记录表演者的表情，转化为数字化的“抽象表情”，以便动画软件将它“赋予”模型，使模型具有和表演者一样的表情，并生成最终的表情动画序列。目前，人脸表情动画总体上可分为基于几何、基于图像、基于运动跟踪的研究方法。其中基于几何的研究方法主要包括关键帧插值法、参数化方法、肌肉模型法等；基于图像的方法主要包括：图像变形、动态纹理映射、面色变化的表情等。在基于几何的研究方法中，关键帧插值法首先在两个不同的时刻建立几何模型，然后在这两个模型之间进行插值得到中间时刻的模型，从而获得人脸表情动画，这是一种最传统的、最原始的人脸动画方法，同时也是一种标准的人脸动画方法，但它的不足之处是需要很大的工作量。参数化方法是由Parke首次应用于人脸动画，嘴唇本文档来自技高网...

【技术保护点】
1.一种基于深度学习的面部无标记运动捕捉方法，其特征在于，包括以下步骤：S1.使用深度相机对真实人物进行面部表情捕捉；步骤S1中具体的包括：利用深度相机获取人脸彩色图像和深度图像；建立头部姿态判断模型；训练并建立AAM算法的模型；利用AAM算法定位面部特征点；获取面部特征点的三维坐标；S2.处理捕捉的面部表情，并生成面部表情捕捉文件；S3.构建三维虚拟人物几何模型，导入面部表情捕捉文件，驱动模型。

【技术特征摘要】
1.一种基于深度学习的面部无标记运动捕捉方法，其特征在于，包括以下步骤：S1.使用深度相机对真实人物进行面部表情捕捉；步骤S1中具体的包括：利用深度相机获取人脸彩色图像和深度图像；建立头部姿态判断模型；训练并建立AAM算法的模型；利用AAM算法定位面部特征点；获取面部特征点的三维坐标；S2.处理捕捉的面部表情，并生成面部表情捕捉文件；S3.构建三维虚拟人物几何模型，导入面部表情捕捉文件，驱动模型。2.根据权利要求1所述的一种基于深度学习的面部无标记运动捕捉方法，其特征在于：步骤S1中采用AAM算法标定真实人物的面部特征点，使头部姿态各异的情况下我们也能够对面部特征点进行精确的定位，从而对真实人物进行面部表情捕捉。3.根据权利要求1所述的一种基于深度学习的面部无标记运动捕捉方法，其特征在于：所述步骤1中具体为利用深度相机获取三维人脸的彩色数据流与深度数据流，并将彩色数据流转换成彩色图像，将深度数据流转换成深度图像。4.根据权利要求1所述的一种基于深度学习的面部无标记运动捕捉方法，其特征在于：所述步骤2中具体为利用深度相机获取不同的头部姿态相对应的深度图像，然后按照头部姿态的位置将获取到的深度图像分为多个不同的分类训练集，使用脸部近视平面的法向量来表示不同的头部姿态，从而建立头部姿态判断模型。5.根据权利要求1所述...

【专利技术属性】
技术研发人员：池前程，李鑫，
申请(专利权)人：武汉奥贝赛维数码科技有限公司，
类型：发明
国别省市：湖北,42