面部动画映射系统及方法技术方案

本申请实施例提供了一种面部动画映射系统及方法，包括建立包含有第一关键点数据的虚拟面部模型，并通过扫描客体的面部结构而生成包含第二关键点数据的面部结构网格模型，通过将第一与第二关键点数据对应关联以生成映射表，从而将实时捕捉的所述客体的面部表情数据转换为表情驱动数据而驱动虚拟面部模型执行相应的表情变化，实现客体与虚拟模型之间高精度的表情映射效果，并可实现不同物种、不同性别或不同脸型之间的表情映射。

【技术实现步骤摘要】
面部动画映射系统及方法
本申请实施例涉及表情捕捉处理技术，尤其涉及面部动画映射系统及方法。
技术介绍
面部动画的制作方式通常是利用传感器识别并跟踪客体面部中各特征点的移动位置和移动方位，并于虚拟面部模型上进行实时动画映射而达成，当客体的面部表情发生变化时，投射将会通过实时捕捉的面部表情数据而控制虚拟面部模型进行相应的作动。然而，如何实现客体与虚拟模型之间动态高精度的面部表情映射，以及实现不同性别、不同脸型、乃至不同物种之间的面部表情映射，即为本案待解决的技术课题。
技术实现思路
有鉴于此，本专利技术实施例所解决的技术问题之一在于提供一种面部动画映射系统及方法，可实现客体与虚拟模型之间高精度的面部表情映射。本专利技术实施例的另一目的在于提供一种面部动画映射系统及方法，可以实现不同脸型、不同性别乃至不同物种的客体与虚拟模型之间的面部表情映射。本申请实施例提供了一种面部动画映射系统，其特征在于，包括数据采集装置与数据处理装置，其中，数据采集装置用于扫描客体的面部结构以生成面部结构数据，或用于实时捕捉所述客体的面部表情以生成面部表情数据；数据处理装置包括模型数据库，其用于储存虚拟面部模型，所述虚拟面部模型包括多个第一关键点数据；模型建立模块，其依据所述面部结构数据建立面部结构网格模型；模型关联模块，其分析所述面部结构网格模型中的特征点，以生成第二关键点数据，并将所述第一与所述第二关键点数据对应关联以建立映射表；以及表情映射模块，其依据所述映射表，将所述面部表情数据转换为表情驱动数据，利用所述表情驱动数据驱动所述虚拟面部模型执行相应的动作，以将所述客体的面部表情实时映射至所述虚拟面部模型，从而生成面部动画。可选地，在本申请的任一实施例中，所述数据采集装置通过扫描所述客体的面部特征部位，以生成所述面部结构数据，所述面部特征部位包括所述面部的五官部位及非五官部位中的至少其一，其中所述非五官部位包括额头部位与脸颊部位中的至少其一。可选地，在本申请的任一实施例中，所述模型建立模块所生成的所述面部结构网格模型为2D或3D面部模型，且所述模型建立模块还包括模型修正单元，其用于针对所生成的面部结构网格模型进行细化与修正处理，其具有包括针对面部结构网格模型中出现缺失的区域进行网格面片的填充处理，以及针对面部结构网格模型中出现错误的区域进行剔除及重组处理。可选地，在本申请的任一实施例中，所述模型关联模块还包括特征定义单元，其用于将所述面部结构网格模型划分为多个特征区域，并定义所述特征区域中包含的所述第二关键点数据；以及特征映射单元，其用于将各所述第二关键点数据与各所述第一关键点数据对应关联，以建立所述映射表。可选地，在本申请的任一实施例中，所述特征定义单元还包括肌肉特征划分子单元，其根据所述面部结构网格模型的面部肌肉分布特征，将所述面部结构网格模型划分为多个面部肌肉特征区域，并分析所述面部肌肉特征区域中所包含的面部肌肉特征，以生成包含所述面部肌肉特征的所述第二关键点数据；以及五官特征划分子单元，其根据所述面部结构网格模型的五官特征，将所述面部结构网格模型划分为多个五官特征区域，并分析所述五官特征区域中所包含的五官器官特征，以生成包含所述五官器官特征的所述第二关键点数据。可选地，在本申请的任一实施例中，所述虚拟面部模型对应于生物面部模型或非生物模型，当所述虚拟面部模型对应于生物面部模型时，所述第一关键点数据包含所述虚拟面部模型的面部肌肉特征及/或五官器官特征，当所述虚拟面部模型对应于非生物模型时，所述第一关键点数据可通过手动输入而设定。可选地，在本申请的任一实施例中，所述特征映射单元用于将包含所述客体的所述面部肌肉特征的所述第二关键点数据与包含所述虚拟面部模型的面部肌肉特征的第一关键点数据对应关联，或将包含所述客体的所述五官器官特征的所述第二关键点数据与包含所述虚拟面部模型的五官器官特征的第一关键点数据对应关联，或将包含所述客体的所述面部肌肉特征的所述第二关键点数据与包含所述虚拟面部模型的五官器官特征的第一关键点数据对应关联，或将包含所述客体的所述五官器官特征的所述第二关键点数据与包含所述虚拟面部模型的面部肌肉特征的第一关键点数据对应关联。可选地，在本申请的任一实施例中，所述第一关键点数据与所述第二关键点数据之间的映射关系为一对多映射关系，多对一映射关系，或多对多映射关系，所述面部结构网格模型与所述虚拟面部模型之间的映射关系为一对多映射关系，多对一映射关系，或多对多映射关系。可选地，在本申请的任一实施例中，所述模型关联模块还包括特征修正单元，用于提供以手动方式针对所述特征定义单元所定义的所述第二关键点数据进行修正。可选地，在本申请的任一实施例中，所述特征定义单元还包括物种分析子单元，其用于分析所述面部结构网格模型的物种类型，据以选择所述肌肉特征划分子单元或所述五官特征划分子单元中的一者对所述面部结构网格模型进行特征区域的划分。可选地，在本申请的任一实施例中，所述表情映射模块还包括根据所述数据采集装置所生成的多个连续的面部表情数据，分析各所述面部表情数据中的第二关键点数据的位置坐标，以计算所述第二关键点数据于单位时间内的移动距离以及移动方向，据以将所述面部表情数据转换为所述表情驱动数据。可选地，在本申请的任一实施例中，所述表情映射模块还包括依据所述物种分析子单元的分析结果，当判断所述面部结构网格模型与所述虚拟面部模型属于不同物种类型时，依据两者之间的面部特征的主要差异，而针对所计算的所述第二关键点数据于单位时间内的移动距离以及移动方向进行修正。本申请的另一实施例还提供一种面部动画映射方法，其特征在于，包括：建立虚拟面部模型，所述虚拟面部模型包括多个第一关键点数据；扫描客体的面部结构以生成面部结构数据；依据所述面部结构数据建立面部结构网格模型，并分析所述面部结构网格模型中的特征点，以生成第二关键点数据；关联所述第一关键点数据与所述第二关键点数据，以建立映射表；实时捕捉所述客体的面部表情以生成面部表情数据；以及依据所述映射表，将所述面部表情数据转换为表情驱动数据，利用所述表情驱动数据驱动所述虚拟面部模型执行相应的动作，以将所述客体的面部表情实时映射至所述虚拟面部模型从而生成面部动画。可选地，在本申请的任一实施例中，所述方法借由数据采集装置以扫描客体的面部结构以生成面部结构数据或实时捕捉所述客体的面部表情以生成面部表情数据，且所述数据采集装置为摄像机、录像机或红外传感器。可选地，在本申请的任一实施例中，所述方法还包括扫描所述客体的面部特征部位，以生成所述面部结构数据，所述面部特征部位包括所述面部的五官部位及非五官部位中的至少一者。可选地，在本申请的任一实施例中，所述方法还包括依据所述面部结构数据建立2D或3D的面部结构网格模型，并针对所述面部结构网格模型进行细化与修正处理，包括针对面部结构网格模型中出现缺失的区域进行网格面片的填充处理，以及针对面部结构网格模型中出现错误的区域进行剔除及重组处理。可选地，在本申请的任一实施例中，所述方法还包括根据所述面部结构网格模型的面部肌肉分布特征，将所述面部结构网格模型划分为多个面部肌肉特征区域，并分析所述面部肌肉特征区域中所包含的面部肌肉特征，以生成包含所述面部肌肉特征的所述第二关键点数据；或者根据本文档来自技高网...

【技术保护点】
一种面部动画映射系统，其特征在于，包括：数据采集装置，其用于扫描客体的面部结构以生成面部结构数据，或用于实时捕捉所述客体的面部表情以生成面部表情数据；以及数据处理装置，其包括：模型数据库，其用于储存虚拟面部模型，所述虚拟面部模型包括多个第一关键点数据；模型建立模块，其依据所述面部结构数据建立面部结构网格模型；模型关联模块，其分析所述面部结构网格模型中的特征点，以生成第二关键点数据，并将所述第一关键点数据与所述第二关键点数据对应关联以建立映射表；以及表情映射模块，其依据所述映射表，将所述面部表情数据转换为表情驱动数据，利用所述表情驱动数据驱动所述虚拟面部模型执行相应的动作，以将所述客体的面部表情实时映射至所述虚拟面部模型，从而生成面部动画。

【技术特征摘要】
1.一种面部动画映射系统，其特征在于，包括：数据采集装置，其用于扫描客体的面部结构以生成面部结构数据，或用于实时捕捉所述客体的面部表情以生成面部表情数据；以及数据处理装置，其包括：模型数据库，其用于储存虚拟面部模型，所述虚拟面部模型包括多个第一关键点数据；模型建立模块，其依据所述面部结构数据建立面部结构网格模型；模型关联模块，其分析所述面部结构网格模型中的特征点，以生成第二关键点数据，并将所述第一关键点数据与所述第二关键点数据对应关联以建立映射表；以及表情映射模块，其依据所述映射表，将所述面部表情数据转换为表情驱动数据，利用所述表情驱动数据驱动所述虚拟面部模型执行相应的动作，以将所述客体的面部表情实时映射至所述虚拟面部模型，从而生成面部动画。2.根据权利要求1所述的面部动画映射系统，其特征在于，所述数据采集装置通过扫描所述客体的面部特征部位，以生成所述面部结构数据，所述面部特征部位包括所述面部的五官部位及非五官部位中的至少其一，其中所述非五官部位包括额头部位与脸颊部位中的至少其一。3.根据权利要求1所述的面部动画映射系统，其特征在于，所述模型建立模块所生成的所述面部结构网格模型为2D或3D面部模型，且所述模型建立模块还包括模型修正单元，其用于针对所生成的面部结构网格模型进行细化与修正处理，其具有包括针对面部结构网格模型中出现缺失的区域进行网格面片的填充处理，以及针对面部结构网格模型中出现错误的区域进行剔除及重组处理。4.根据权利要求1所述的面部动画映射系统，其特征在于，所述模型关联模块还包括：特征定义单元，其用于将所述面部结构网格模型划分为多个特征区域，并定义所述特征区域中包含的所述第二关键点数据；以及特征映射单元，其用于将各所述第二关键点数据与各所述第一关键点数据对应关联，以建立所述映射表。5.根据权利要求4所述的面部动画映射系统，其特征在于，所述特征定义单元还包括：肌肉特征划分子单元，其根据所述面部结构网格模型的面部肌肉分布特征，将所述面部结构网格模型划分为多个面部肌肉特征区域，并分析所述面部肌肉特征区域中所包含的面部肌肉特征，以生成包含所述面部肌肉特征的所述第二关键点数据；以及五官特征划分子单元，其根据所述面部结构网格模型的五官特征，将所述面部结构网格模型划分为多个五官特征区域，并分析所述五官特征区域中所包含的五官器官特征，以生成包含所述五官器官特征的所述第二关键点数据。6.根据权利要求5所述的面部动画映射系统，其特征在于，所述虚拟面部模型对应于生物面部模型或非生物模型，当所述虚拟面部模型对应于生物面部模型时，所述第一关键点数据包含所述虚拟面部模型的面部肌肉特征及/或五官器官特征，当所述虚拟面部模型对应于非生物模型时，所述第一关键点数据可通过手动输入而设定。7.根据权利要求6所述的面部动画映射系统，其特征在于，所述特征映射单元用于将包含所述客体的所述面部肌肉特征的所述第二关键点数据与包含所述虚拟面部模型的面部肌肉特征的第一关键点数据对应关联，或将包含所述客体的所述五官器官特征的所述第二关键点数据与包含所述虚拟面部模型的五官器官特征的第一关键点数据对应关联，或将包含所述客体的所述面部肌肉特征的所述第二关键点数据与包含所述虚拟面部模型的五官器官特征的第一关键点数据对应关联，或将包含所述客体的所述五官器官特征的所述第二关键点数据与包含所述虚拟面部模型的面部肌肉特征的第一关键点数据对应关联。8.根据权利要求7所述的面部动画映射系统，其特征在于，所述第一关键点数据与所述第二关键点数据之间的映射关系为一对多映射关系，多对一映射关系，或多对多映射关系，所述面部结构网格模型与所述虚拟面部模型之间的映射关系为一对多映射关系，多对一映射关系，或多对多映射关系。9.根据权利要求8所述的面部动画映射系统，其特征在于，所述模型关联模块还包括特征修正单元，用于提供以手动方式针对所述特征定义单元所定义的所述第二关键点数据进行修正。10.根据权利要求5所述的面部动画映射系统，其特征在于，所述特征定义单元还包括物种分析子单元，其用于分析所述面部结构网格模型的物种类型，据以选择所述肌肉特征划分子单元或所述五官特征划分子单元中的一者对所述面部结构网格模型进行特征区域的划分。11.根据权利要求10所述的面部动画映射系统，其特征在于，所述表情映射模块还包括根据所述数据采集装置所生成的多个连续的面部表情数据，分析各所述面部表情数据中的第二关键点数据的位置坐标，以计算所述第二关键点数据于单位时间内的移动距离以及移动方向，据以将所述面部表情数据转换为所述表...

【专利技术属性】
技术研发人员：刘岩，曹介白，
申请(专利权)人：北京蜜枝科技有限公司，
类型：发明
国别省市：北京,11