一种基于虚拟引擎的人脸细微表情捕捉方法及装置制造方法及图纸

本发明专利技术提供的一种基于虚拟引擎的人脸细微表情捕捉方法及装置，基于人类人脸的可变生物特征，将人脸划分为若干个人脸局部表情区域，在虚拟引擎中构建控制器，构建神经网络，将预划分的人脸图像规定区域输入到神经网络中进行训练和验证，将真实人脸表情图像进行预划分，输入到训练好的神经网络中，通过神经网络运算得到控制器权重值，将控制器权重值输入到虚拟引擎对应的控制器中，产生局部网格变化，从而在虚拟引擎中渲染出人脸的细微表情。本发明专利技术无需对人脸进行标记，且采用人脸区域划分的方法，增强了算法对人脸不同区域的控制器参数预测的抗干扰能力，有效的提高了人脸生动细微表情的鲁棒性，进而提高还原人脸生动的细微表情的准确性。情的准确性。情的准确性。

【技术实现步骤摘要】
一种基于虚拟引擎的人脸细微表情捕捉方法及装置


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种基于虚拟引擎的人脸细微表情捕捉方法及装置。

技术介绍

[0002]随着CG虚拟人在动画，电影，沉浸交互，VR/AR等领域的广泛应用，如何用技术实时呈现生动细腻的虚拟人表情变化显得尤为重要。其中，面部表情捕捉就是关键技术手段的一种，通常通过视觉传感器和智能算法用于捕捉真人表演者的表情变化并赋予到虚拟引擎中的虚拟数字人面部进行呈现。
[0003]现有的专业面部表情捕捉方法为了能精确捕捉细微表情变化，通常需在真人表演者脸上进行特征点标记，再用专业工具绑定虚拟人脸和真人脸的关系，因此应用较为专业复杂，多用于动画大电影中。目前市场上使用更多的一种技术是通过普通视觉传感器捕捉人脸表情，无需在人脸上进行标记，通过计算输出含有n个基础表情的blendshape权重参数值，用于虚拟引擎中虚拟数字人人脸的表情呈现，例如国外知名面捕工具Faceware和苹果公司提供的ARFace都是属于此列。虽然使用简单易方便普及，但是受限于blendshape这种通过n个表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟引擎的人脸细微表情捕捉方法，其特征在于，包括：基于人类人脸的可变生物特征，将人脸划分为若干个人脸局部表情区域；在虚拟引擎中构建与所述人脸局部表情区域一一对应的控制器，以驱动人脸局部区域的变化；构建神经网络，将预划分的样本图像区域输入到所述神经网络中进行训练和验证；将真实人脸表情的待测图像进行预划分，输入到训练完成的所述神经网络中，输出所述控制器的数值；将所述控制器数值输入到所述虚拟引擎对应的控制器中，产生局部网格变化，从而在虚拟引擎中渲染出人脸的细微表情。2.根据权利要求1所述的人脸细微表情捕捉方法，其特征在于，所述将预划分的样本图像区域输入到所述神经网络中进行训练和验证，包括：将人脸图像输入Dlib检测人脸关键点，将人脸划分为多个部分；基于一张人脸图像生成多张图片，且每张图片分别与所述人脸划分部分相对应，其中，每张图片保留所述划分部分的图像，其他部分用黑色代替；构建神经网络，生成与所述人脸划分部分相对应的控制器数值标签；将所述生成的图像和标签输入到所述神经网络中进行训练和验证。3.根据权利要求2所述的人脸细微表情捕捉方法，其特征在于，所述生成与所述人脸划分部分相对应的控制器数值标签，包括：对所述控制器控制的待测图像具体位置进行赋值；其中，将属于对应划分的部分数值进行保留，不属于对应划分的部分数值置0。4.根据权利要求1所述的人脸细微表情捕捉方法，其特征在于，基于人类人脸的可变生物特征，将人脸划分为若干个人脸局部表情区域，包括：基于人类人脸的可变生物特征，将人脸划分为161个人脸局部表情区域，即人脸的每一个表情都是由这161个局部位置的变化组成的；其中，所述局部位置产生的变化区域分为单一变化区域、双向变化区域以及复杂变化。5.根据权利要求4所述的人脸细微表情捕捉方法，其特征在于，所述在虚拟引擎中构建与所述人脸局部表情区域一一对应的控制...

【专利技术属性】
技术研发人员：唐浩，
申请(专利权)人：成都市谛视无限科技有限公司，
类型：发明
国别省市：