一种实时面部表情捕捉方法技术

本发明专利技术公开了一种实时面部表情捕捉方法，包括以下步骤：分别构建三维人脸数据库和人脸图像数据库；针对三维人脸数据库，计算三维人脸数据库中每个人的Blendshapes；对三维人脸数据库进行重建，重构出三维人脸形状模型作为训练数据集；对训练数据集进行训练，得到一个模型回归器；利用模型回归器，对视频序列中的图像计算得到相应的矢量参数，从而计算出图像的特征点；对矢量参数进行归一化处理，使矢量参数满足条件约束；根据归一化后的矢量参数实时重建三维面部模型。本发明专利技术的一种实时面部表情捕捉方法硬件成本低，不限用户使用，实时构建出用户的三维人脸模型。建出用户的三维人脸模型。建出用户的三维人脸模型。

【技术实现步骤摘要】
一种实时面部表情捕捉方法


[0001]本专利技术涉及计算机视觉处理领域，尤其涉及一种实时面部表情捕捉方法。

技术介绍

[0002]面部表情捕捉在计算机图形学和视觉领域已经发展了很长一段时间了，在影视和游戏领域提出了两种主流的方法：基于光学定位系统的带标记点的方式[Bickel et al.2007；Huang et al.2011]和使用/不使用深度相机的无标记点方式[Zhang et al.2004；M et al.2008；Weise et al.2009]，还有使用多个相机的多视图立体重构系统[Bradley et al.2010；Beeler et al.2010；Beeler et al.2011；Valgaets et al.2012]。最近在使用深度相机研究表情捕捉方面做得比较好的有[Weise et al.2011；Chen et al.2013；Bouaziz et al.2013；Li et al.2015；Hsieh et al.2015；Liu et al.2015]。由于使用深度相机成本比较高，推广性不高，后期出现了很本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时面部表情捕捉方法，其特征在于，包括以下步骤：分别构建三维人脸数据库和人脸图像数据库；针对所述三维人脸数据库，计算所述三维人脸数据库中每个人的52个标准表情对应的Blendshapes；对所述三维人脸数据库进行重建，重构出三维人脸形状模型作为训练数据集；对所述训练数据集进行训练，得到一个模型回归器；使用摄像头采集实时视频，利用所述模型回归器，对摄像头采集到的视频序列中的图像计算得到相应的矢量参数，从而计算出所述视频序列中的图像的特征点；对所述矢量参数进行归一化处理，使所述矢量参数满足条件约束；根据归一化后的所述矢量参数实时重建三维面部模型；最后将归一化后的所述矢量参数赋值给动画模型的Blendshapes来实时驱动动画显示，并替换当前的人脸图像。2.如权利要求1所述的一种实时面部表情捕捉方法，其特征在于，分别构建三维人脸数据库和人脸图像数据库，具体包括：通过Kinect摄像机录制若干人数的人脸深度信息，并根据每个人标准的52个表情模型变形出每个人的人脸表情模型作为三维人脸数据库；使用FaceWarehouse、LFW、UDP三套人脸图像数据库，并且对所述人脸图像数据库进行手动标注面部特征点；然后找出所述面部特征点在所述表情模型中所赌赢的顶点，并记录在文件中。3.如权利要求2所述的一种实时面部表情捕捉方法，其特征在于，针对所述三维人脸数据库，计算所述三维人脸数据库中每个人的Blendshapes，具体包括：使用录制的三维人脸数据库构建一个三维张量空间，通过奇异值分解将若干个用户模型修剪为多个最不相关模型，并计算得到网络模型；使用两步迭代优化的方式来计算不同用户的Blendshapes。4.如权利要求3所述的一种实时面部表情捕捉方法，其特征在于，对所述三维人脸数据库进行重建，重构出三维人脸形状模型作为训练数据集包括重建三维人脸和相机校准，具体包括：根据计算得到的Blendshapes和相机的投影矩阵，计算所述人脸图像数据库的三维人脸特征点的重投影误差函数；设定限制优化参数，并通过优...

【专利技术属性】
技术研发人员：张群，张海威，
申请(专利权)人：上海青瞳视觉科技有限公司，
类型：发明
国别省市：