面部动态捕捉驱动方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术提供一种面部动态捕捉驱动方法、装置、电子设备及可读存储介质，包括：接收第一输入，所述第一输入包括面部形态键信息和面部绑定关键骨骼信息；响应于所述第一输入，生成面部动态捕捉驱动模型；接收第二输入，所述第二输入为若干帧包含面部特征的图像信息；响应于所述第二输入，将所述包含面部特征的图像信息导入所述面部动态捕捉驱动模型中，生成并显示面部动态捕捉驱动结果。面部动态捕捉驱动结果。面部动态捕捉驱动结果。

【技术实现步骤摘要】
面部动态捕捉驱动方法、装置、电子设备及可读存储介质


[0001]本专利技术涉及面部动作捕捉
，尤其涉及一种面部动态捕捉驱动方法、装置、电子设备及可读存储介质。

技术介绍

[0002]在数字人面部驱动的
中，现有技术中的一种手段是通过训练ResNet50网络模块来预测3DMM模型的人脸形状参数和表情参数等驱动数字人的面部，但该方法最大的局限在于非耗费大量资源专门构建的3DMM模型精度一般，在表情细粒度刻画上会欠缺，预测的表情参数在同新建模的数字人模型或其它软件上存在通路问题，难以广泛应用。另一种手段是将划分的人脸区域和UE中控制器相对应，通过训练网络来预测控制器参数，输入UE产生局部网格变化，以实现驱动，不过人脸区域划分复杂，并需要控制器作用精准，对UE也有较强依赖，其扩展性和通用性受到很大限制。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供了一种面部动态捕捉驱动方法，以解决面部动态捕捉驱动精度差和通用性不优的问题。
[0004]根据本专利技术的第一方面，提供了一种面部动态捕捉驱动方法，包括：
[0005]接收第一输入，所述第一输入包括面部形态键信息和面部绑定关键骨骼信息；
[0006]响应于所述第一输入，生成面部动态捕捉驱动模型；
[0007]接收第二输入，所述第二输入为若干帧包含面部特征的图像信息；
[0008]响应于所述第二输入，将所述包含面部特征的图像信息导入所述面部动态捕捉驱动模型中，生成并显示面部动态捕捉驱动结果。
[0009]可选地，所述响应于所述第二输入，将所述包含面部特征的图像信息导入所述面部动态捕捉驱动模型中，生成并显示面部动态捕捉驱动结果，包括：
[0010]接收所述面部动态捕捉模型分析所述包含面部特征的图像信息的形态键值和关键骨骼控制参数；
[0011]响应于所述形态键值和所述关键骨骼控制参数，生成并显示面部动态捕捉驱动结果。
[0012]可选地，所述响应于所述形态键值和所述关键骨骼控制参数，生成并显示面部动态捕捉驱动结果，包括：
[0013]根据所述第一输入构建数字人模型；
[0014]响应于所述形态键值和所述关键骨骼控制参数，控制驱动显示所述数字人模型。
[0015]可选地，所述接收第二输入前，还包括：
[0016]接收若干个图像帧数据；
[0017]将若干个所述图像帧数据输入所述面部动态捕捉驱动模型，对所述面部动态捕捉驱动模型进行训练。
[0018]可选地，所述将若干个所述图像帧数据输入所述面部动态捕捉驱动模型，对所述面部动态捕捉驱动模型进行训练后，还包括：
[0019]计算所述面部动态捕捉驱动模型与所述第二输入之间的损失数据，所述损失数据包括但不仅限于2D损失、3D损失和微表情损失；
[0020]响应于所述损失数据，消除所述形态键值、所述关键骨骼控制参数与所述面部动态捕捉驱动模型之间的误差。
[0021]可选地，所述接收第二输入前，还包括：
[0022]采用图像采集设备获取所述第二输入，所述第二输入为包含面部特征的2D图像信息或3D图像信息。
[0023]可选地，所述采用图像采集设备获取所述第二输入后，还包括：
[0024]采用人脸检测器检测所述第二输入的人脸关键点和人脸框，并按照检测结果修正所述第二输入。
[0025]根据本专利技术的第二方面，提供了一种面部动态捕捉驱动装置，包括：
[0026]第一接收模块，用于接收第一输入，所述第一输入包括面部形态键信息和面部绑定关键骨骼信息；
[0027]生成模块，响应于所述第一输入，生成面部动态捕捉驱动模型；
[0028]第二接收模块，用于接收第二输入，所述第二输入为若干帧包含面部特征的图像信息；
[0029]显示模块，响应于所述第二输入，将所述包含面部特征的图像信息导入所述面部动态捕捉驱动模型中，生成并显示面部动态捕捉驱动结果。
[0030]根据本专利技术的第三方面，提供了一种电子设备，包括：
[0031]处理器；以及
[0032]存储程序的存储器，
[0033]其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据本专利技术第一方面中任一项所述的方法。
[0034]根据本专利技术的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据本专利技术第一方面中任一项所述的方法。
[0035]本专利技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0036]采用面部形态键信息和面部绑定关键骨骼信息进行面部动态捕捉驱动模型的生成，使得数字人与图像帧数据的精准匹配，且图像帧数据作为面部动态捕捉驱动模型的输入，分析获得形态键值和关键骨骼参数，精准实现与数字人的面部匹配和数字人的面部驱动，驱动方式精准且可靠，不仅可无偏差迁移到不同的数字人模型上进行驱动展示，还具有较强的通用性，而且能够实时驱动，可以克服复杂场景环境的影响。
[0037]上述简要说明仅是对本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下举例详细描述本专利技术的具体实施方式。
附图说明
[0038]在下面结合附图对于示例性实施例的描述中，本专利技术的更多细节、特征和优点被
公开，在附图中：
[0039]图1示出了根据本专利技术示例性实施例的可以在其中实施本文描述的各种方法的示例系统的示意图；
[0040]图2示出了根据本专利技术示例性实施例的面部动态捕捉驱动方法的流程图；
[0041]图3示出了根据本专利技术示例性实施例的面部形态键信息和面部绑定关键骨骼信息的示意图；
[0042]图4示出了根据本专利技术示例性实施例的面部骨骼绑定及其权重举例示意图；
[0043]图5示出了根据本专利技术示例性实施例的模型及训练框架示意图；
[0044]图6示出了根据本专利技术示例性实施例的三类动作数据采集图；
[0045]图7示出了根据本专利技术示例性实施例的面部动态捕捉驱动装置的示意性框图；
[0046]图8示出了能够用于实现本专利技术的实施例的示例性电子设备的结构框图。
具体实施方式
[0047]下面将参照附图更详细地描述本专利技术的实施例。虽然附图中显示了本专利技术的某些实施例，然而应当理解的是，本专利技术可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本专利技术。应当理解的是，本专利技术的附图及实施例仅用于示例性作用，并非用于限制本专利技术的保护范围。
[0048]应当理解，本专利技术的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本专利技术的范围在此方面不受限制。
[0049]本文使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面部动态捕捉驱动方法，其特征在于，包括：接收第一输入，所述第一输入包括面部形态键信息和面部绑定关键骨骼信息；响应于所述第一输入，生成面部动态捕捉驱动模型；接收第二输入，所述第二输入为若干帧包含面部特征的图像信息；响应于所述第二输入，将所述包含面部特征的图像信息导入所述面部动态捕捉驱动模型中，生成并显示面部动态捕捉驱动结果。2.根据权利要求1所述的面部动态捕捉驱动方法，其特征在于，所述响应于所述第二输入，将所述包含面部特征的图像信息导入所述面部动态捕捉驱动模型中，生成并显示面部动态捕捉驱动结果，包括：接收所述面部动态捕捉模型分析所述包含面部特征的图像信息的形态键值和关键骨骼控制参数；响应于所述形态键值和所述关键骨骼控制参数，生成并显示面部动态捕捉驱动结果。3.根据权利要求2所述的面部动态捕捉驱动方法，其特征在于，所述响应于所述形态键值和所述关键骨骼控制参数，生成并显示面部动态捕捉驱动结果，包括：根据所述第一输入构建数字人模型；响应于所述形态键值和所述关键骨骼控制参数，控制驱动显示所述数字人模型。4.根据权利要求1所述的面部动态捕捉驱动方法，其特征在于，所述接收第二输入前，还包括：接收若干个图像帧数据；将若干个所述图像帧数据输入所述面部动态捕捉驱动模型，对所述面部动态捕捉驱动模型进行训练。5.根据权利要求4所述的面部动态捕捉驱动方法，其特征在于，所述将若干个所述图像帧数据输入所述面部动态捕捉驱动模型，对所述面部动态捕捉驱动模型进行训练后，还包括：计算所述面部动态捕捉驱动模型与所述...

【专利技术属性】
技术研发人员：王远强，杨青，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：