一种人脸面部表情捕捉系统及方法技术方案

本发明专利技术提供一种人脸面部表情捕捉系统和方法，该系统包括至少一个面部表情捕捉装置，面部特征点检测器，面部目标点跟踪器，面部模板更新器，面部特征点定位器，自定位计算器，面部表情编辑器以及面部表情解算器。采用本发明专利技术提供的面部表情捕捉方法最少需要两个光学相机即可实现人脸面部区域的定位和面部表情的精细解算，适用性强，解算精度高，极大提升了面部表情捕捉技术的实用性、便捷性、稳定性和准确性。确性。确性。

【技术实现步骤摘要】
一种人脸面部表情捕捉系统及方法


[0001]本专利技术涉及人体动作捕捉
，具体涉及一种人脸面部表情捕捉系统和方法。

技术介绍

[0002]面部表情捕捉是动作捕捉技术的一部分，指使用机械装置、相机等设备记录人类面部表情和动作，将之转换为一系列参数数据的工程。与动作捕捉由关节点、较为稳定的人体动作相比，面部表情更为细微复杂，因此对数据精度要求更高。目前几乎所有的面部表情捕捉设备都基于光学，从数据来源上可以分为两大类——基于二维数据和基于三维数据。
[0003]基于二维数据的方式是使用光学镜头捕捉面部二维数据及其变化，通过算法标记，处理捕捉到的数据，理解人的面部表情，这类方法的优点是成本低、易获取、使用方便，缺点是捕捉精度较低。基于三维数据的方式是在光学镜头获取二维数据的同时，通过一定的手段或设备，获取画面的深度。
[0004]基于三维数据的方式主要有两种方法，一是相机阵列方法，阵列以一定间距和规则摆放相机，为面部表情捕捉设计的相机阵列通常呈环形，演员需要居于中心点进行拍摄，目的是通过不同视角获得不同图像，进而获取人脸面部表情的三维数据。相机阵列的优点是精度高、效果好，缺点是拍摄难度大、设备成本高，演员不能移动，无法在演出的同时使用；二是结构光方法，在光学镜头外配合红外镜头，有时也需要泛光照明灯、泛光感应元件等辅助设备来获取人脸的深度信息，另外较为常用的方法是在面部绘制或者粘贴标记点，帮助进行定位并根据这些点的变化反推面部表情。
[0005]在人脸拍摄条件上，可分为有标记点和无标记点两种方式。
[0006]基于标记点的面部表情捕捉系统较为常见，标记点数量由配套的设备及系统决定，设备通常为头戴式，可以与人体动作姿态捕捉系统配合使用，演员的表演过程不受影响，依拍摄场景、实现方式不同，有时也会改由他人辅助手持拍摄。无标记点的面部表情捕捉系统通常依靠鼻孔、眼角、唇部、酒窝等标志性位置确定脸部的表情，这种方法最早由CMU、IBM、曼彻斯特大学等机构通过使用主观表现模型(AAM)、主成分分析(PCA)等模型及技术实现，近年来基于深度学习的面部重建方法也层出不穷。
[0007]无标记点系统适用性强，设备成本低，但是因为系统精度较低，目前大多数还只能应用在娱乐消费级别；标记点系统通常设备较复杂，并且需要较多的人工操作，但是因其系统精度高，在影视工业化、虚拟人物等领域仍是比较首选的解决方案。

技术实现思路

[0008]本专利技术的目的在于提供一种人脸面部表情捕捉系统和方法，以解决现有技术中对人脸面部表情捕捉标记点误匹配、匹配丢失以及人工操作较多的技术问题。
[0009]为实现上述目的，本专利技术提供了以下技术方案：
[0010]本专利技术提供的.一种人脸面部表情捕捉系统，包括：
[0011]人脸面部表情捕捉装置，所述人脸面部表情捕捉装置用于采集人脸面部的二维标记点、关键点以及人脸视频信息；
[0012]面部特征点检测模块，用于对所述标记点与特征点进行检测，得到二维标记点特征点集和二维关键点特征点集；
[0013]面部目标点跟踪模块，用于确定、校验以及修正所述标记点特征点集在不同时刻的特定物理含义，进而得到具有准确物理含义的标记点跟踪特征点集；
[0014]面部模板更新模块，用于生成不同时刻的面部二维动态模板集和不同时刻的面部三维动态模板集；
[0015]自定位计算器，用于所述人脸面部表情捕捉装置的定位计算，即计算所述人脸面部表情捕捉转装置在第二坐标系下的空间三维坐标以及姿态角；
[0016]面部特征点定位模块，用于计算、校验以及修正所述标记点跟踪特征点集中各点以及所述关键点特征点集中各点在第一坐标系下的三维坐标，进而生成面部标记点跟踪特征点集的三维特征点集与面部关键点特征点集中各点在第一坐标系下的三维坐标；
[0017]面部表情编辑器，用于对所述人脸面部表情捕捉装置采集到的人脸视频信息进行面部基本表情集属性的编辑和标记，进而得到所述人脸面部表情捕捉装置采集到的特定人脸的基本表情属性集合；
[0018]面部表情解算器，用于将所述标记点跟踪特征点集的三维特征点集与面部关键点特征点集中各点在第一坐标系下的三维坐标从第一坐标系转换到第二坐标系中，再根据所述面部表情编辑器中得到的基本表情属性集合，对特定人脸的表情进行结算，进而得到表情权重参数。
[0019]作为可选的实施方式，所述人脸面部表情捕捉装置包括至少两个图像采集传感器，所述图像采集传感器用于采集人脸面部的二维标记点、关键点以及人脸视频信息；
[0020]所述面部特征点检测模块包括至少一个面部标记点检测器与至少一个面部关键点检测器，所述面部标记点检测器用于对所述图像采集传感器采集的人脸视频信息中人脸面部区域的点状标记点进行检测，进而得到人脸面部的二维标记点特征点集，其中对所述点状标记点均做Mask处理；所述面部关键点检测器用于对所述图像采集传感器采集的人脸视频信息中人脸面部区域的关键点进行检测，进而得到人脸面部的二维关键点特征点集；
[0021]所述面部目标点跟踪模块，包括至少一个面部标记点跟踪器和至少一个标记点跟踪校验修正器；所述面部标记点跟踪器用于对所述面部标记点检测器得到的二维标记点特征点集进行跟踪，确定人脸不同时刻的二维标记点特征点集的特定物理含义；所述标记点跟踪校验修正器用于对所述二维标记点特征点集的特定物理含义进行校验和修正，进而得到具有准确物理含义的二维标记点跟踪特征点集；
[0022]所述面部模板更新模块，包括至少一个面部二维模板更新器和至少一个面部三维模板更新器，所述面部二维模板更新器对面部二维模板进行动态更新，生成不同时刻的面部二维动态模板集，所述面部三维模板更新器对面部三维模板进行动态更新，生成不同时刻的面部三维动态模板集；
[0023]所述面部特征点定位模块，包括至少一个面部标记点定位器、至少一个面部关键点定位器以及至少一个面部标记点定位校验修正器；所述面部标记点定位器用于计算所述标记点跟踪特征点集中各点在第一坐标系下的三维坐标，所述面部关键点定位器用于计算
所述关键点特征点集中各点在第一坐标系下的三维坐标，进而得到面部关键点特征点集中各点在第一坐标系下的三维坐标；所述面部标记点定位校验修正器用于对所述面部标记点定位器经计算得到的标记点跟踪特征点集中各点在第一坐标系下三维坐标的校验和修正，进而生成面部标记点跟踪特征点集的三维特征点集。
[0024]作为可选的实施方式，所述人脸面部表情捕捉装置还包括光源、惯性传感器、深度图像传感器、用于数据交换的无线通信装置以及用于进行分析计算的单个或多个电子芯片处理器；
[0025]作为可选的实施方式，所述光源用于辅助所述图像采集传感器进行图像采集；所述惯性传感器以及深度图像传感器用于辅助所述人脸面部表情捕捉装置进行自定位。
[0026]一种人脸面部表情捕捉方法，包括以下步骤：
[0027]S1、通过所述人脸面部表情捕捉装置内不少于两个设置的图像采集传感器采集至少两本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸面部表情捕捉系统，其特征在于，包括：人脸面部表情捕捉装置(10)，所述人脸面部表情捕捉装置(10)用于采集人脸面部的二维标记点、关键点以及人脸视频信息；面部特征点检测模块(20)，用于对所述标记点与特征点进行检测，得到二维标记点特征点集和二维关键点特征点集；面部目标点跟踪模块(30)，用于确定、校验以及修正所述标记点特征点集在不同时刻的特定物理含义，进而得到具有准确物理含义的标记点跟踪特征点集；面部模板更新模块(40)，用于生成不同时刻的面部二维动态模板集和不同时刻的面部三维动态模板集；自定位计算器(50)，用于所述人脸面部表情捕捉装置(10)的定位计算，即计算所述人脸面部表情捕捉转装置(10)在第二坐标系下的空间三维坐标以及姿态角；面部特征点定位模块(60)，用于计算、校验以及修正所述标记点跟踪特征点集中各点以及所述关键点特征点集中各点在第一坐标系下的三维坐标，进而生成面部标记点跟踪特征点集的三维特征点集与面部关键点特征点集中各点在第一坐标系下的三维坐标；面部表情编辑器(70)，用于对所述人脸面部表情捕捉装置(10)采集到的人脸视频信息进行面部基本表情集属性的编辑和标记，进而得到所述人脸面部表情捕捉装置(10)采集到的特定人脸的基本表情属性集合；面部表情解算器(80)，用于将所述标记点跟踪特征点集的三维特征点集与面部关键点特征点集中各点在第一坐标系下的三维坐标从第一坐标系转换到第二坐标系中，再根据所述面部表情编辑器(70)中得到的基本表情属性集合，对特定人脸的表情进行结算，进而得到表情权重参数。2.根据权利要求1所述的人脸面部表情捕捉系统，其特征在于，所述人脸面部表情捕捉装置(10)包括至少两个图像采集传感器(11)，所述图像采集传感器(11)用于采集人脸面部的二维标记点、关键点以及人脸视频信息；所述面部特征点检测模块(20)包括至少一个面部标记点检测器(21)与至少一个面部关键点检测器(22)，所述面部标记点检测器(21)用于对所述图像采集传感器(11)采集的人脸视频信息中人脸面部区域的点状标记点进行检测，进而得到人脸面部的二维标记点特征点集，其中对所述点状标记点均做Mask处理；所述面部关键点检测器(22)用于对所述图像采集传感器(11)采集的人脸视频信息中人脸面部区域的关键点进行检测，进而得到人脸面部的二维关键点特征点集；所述面部目标点跟踪模块(30)，包括至少一个面部标记点跟踪器(31)和至少一个标记点跟踪校验修正器(32)；所述面部标记点跟踪器(31)用于对所述面部标记点检测器(21)得到的二维标记点特征点集进行跟踪，确定人脸不同时刻的二维标记点特征点集的特定物理含义；所述标记点跟踪校验修正器(32)用于对所述二维标记点特征点集的特定物理含义进行校验和修正，进而得到具有准确物理含义的二维标记点跟踪特征点集；所述面部模板更新模块(40)，包括至少一个面部二维模板更新器(41)和至少一个面部三维模板更新器(42)，所述面部二维模板更新器(41)对面部二维模板进行动态更新，生成不同时刻的面部二维动态模板集，所述面部三维模板更新器(42)对面部三维模板进行动态更新，生成不同时刻的面部三维动态模板集；
所述面部特征点定位模块(60)，包括至少一个面部标记点定位器(61)、至少一个面部关键点定位器(62)以及至少一个面部标记点定位校验修正器(63)；所述面部标记点定位器(61)用于计算所述标记点跟踪特征点集中各点在第一坐标系下的三维坐标，所述面部关键点定位器(62)用于计算所述关键点特征点集中各点在第一坐标系下的三维坐标，进而得到面部关键点特征点集中各点在第一坐标系下的三维坐标；所述面部标记点定位校验修正器(63)用于对所述面部标记点定位器(61)经计算得到的标记点跟踪特征点集中各点在第一坐标系下三维坐标的校验和修正，进而生成面部标记点跟踪特征点集的三维特征点集。3.根据权利要求2所述的人脸面部表情捕捉系统，其特征在于，所述人脸面部表情捕捉装置(10)还包括光源、惯性传感器、深度图像传感器、用于数据交换的...

【专利技术属性】
技术研发人员：杜华，王语堂，岳宗，赵朋飞，
申请(专利权)人：兰州未来新影文化科技集团有限责任公司，
类型：发明
国别省市：