【技术实现步骤摘要】
一种面部捕捉方法、装置、电子设备及存储介质
[0001]本申请涉及人脸动画
，尤其是涉及一种面部捕捉方法、装置、电子设备及存储介质。
技术介绍
[0002]在影视游戏制作中，通常需要得到用户的面部表情参数来驱动游戏中虚拟角色的表情，以使得虚拟角色的表情接近用户的面部表情。
[0003]现有虚拟角色的动画模型(比如卡通角色模型、动物模型)的网络结构与三维人脸模型的网络结构相比构建简单的多，而由三维人脸模型得到的面部表情参数较多，如果直接将面部表情参数迁移至上述动画模型上，面部表情参数组合后会出现网格冲突的现象，影响了虚拟角色表情的生成。
技术实现思路
[0004]本申请的目的在于提供一种面部捕捉方法、装置、电子设备及存储介质，以降低三维表情参数维度，缓解因三维表情参数较多在将表情参数迁移至动画模型上而导致的网格冲突的问题。
[0005]本申请实施例提供一种面部捕捉方法，其中，该方法包括：检测相机采集的人脸图像的二维人脸关键点；根据二维人脸关键点，从预先制作的三维人脸模型中的三维人脸关键点中...
【技术保护点】
【技术特征摘要】
1.一种面部捕捉方法，其特征在于，所述方法包括：检测相机采集的人脸图像的二维人脸关键点；根据所述二维人脸关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点；根据所述二维人脸关键点和所述三维目标关键点计算相机参数，其中，所述相机参数包括以下：旋转角参数、平移量和缩放值；根据所述相机参数和所述三维目标关键点，对所述三维人脸模型进行表情变换处理，得到所述二维人脸关键点对应的三维表情参数；对所述三维表情参数进行稀疏化处理，得到稀疏化表情参数；将所述稀疏化表情参数和所述旋转角参数迁移至虚拟角色的动画模型上，使得虚拟角色的表情与所述人脸图像表情一致。2.根据权利要求1所述的方法，其特征在于，所述检测相机采集的人脸图像的二维人脸关键点的步骤，包括：获取相机采集的人脸视频；将所述人脸视频包含的人脸图像逐一输入至人脸关键点检测模型，得到每个所述人脸图像分别对应的二维人脸关键点。3.根据权利要求1所述的方法，其特征在于，在所述三维人脸模型中标注有每个所述三维人脸关键点对应的三维点标识；根据所述二维人脸关键点，从所述三维人脸关键点中确定三维目标关键点的步骤，包括：获取所述二维人脸关键点对应的二维点标识；获取与所述二维点标识匹配的三维点标识；将获取的所述三维点标识对应的三维人脸关键点确定为所述三维目标关键点。4.根据权利要求1所述的方法，其特征在于，根据所述二维人脸关键点和所述三维目标关键点计算相机参数的步骤，包括：基于所述二维人脸关键点和所述三维目标关键点构建关于相机参数的误差函数；利用最小二乘法求解所述误差函数的最小值；将所述最小值作为相机参数。5.根据权利要求1所述的方法，其特征在于，根据所述相机参数和所述三维目标关键点，对所述三维人脸模型进行表情变换处理，得到所述二维人脸关键点对应的三维表情参数的步骤，包括：将所述二维人脸关键点输入所述三维人脸模型进行迭代计算，以变换所述三维人脸模型的表情，直至表情变换后的三维人脸模型中所述三维目标关键点在所述人脸图像上的投影点与所述二维人脸关键点重合；其中，所述投影点为三维目标人脸关键点基于所述相机参数计算得到；提取迭代计算后的所述三维人脸模型中的表情参数；将提取的所述表情参数确定为所述三维表情参数。6.根据权利要求1所述的方法，其特征在于，所述三维人脸模型是由表情融合模型经参数化人脸模型3DMM重建构成；所述三维表情参数包括不同人脸部位对应的表情子参数；
对所述三维表情参数进行稀疏化处理，得到稀疏化表情参数的步骤，包括：将每个人脸部位对应的表情子参数作为目标子参数，执行以下操作：在预存的表情模型映射表中查询与所述目标子参数对应的目标表情子模型；其中，所述表情模型映射表中存储有所述表情融合模型包括的不同人脸部位的表情子模型对应的子模型标识；将所述目标子参数赋值给所述目标表情子模型；将所述表情融合模型中除所述目标表情子模型以外的其它表情子模型对应的表情子参数设置为预设参数；对所述目标表情子模型和其它所述表情子模型进行融合，得到目标三维人脸模型；基于所述目标三维人脸模型和预设三维人脸模型计算目标子参数对应的顶点形变量；其中，所述预设三维人脸模型是由表情子参数为所述预设参数的多个表情子模型融合得到；将各个目标子参数对应的顶点形变量和所述三维表情参数输入优化模型进行迭代计算，直至...
【专利技术属性】
技术研发人员：胡志鹏，林传杰，林杰，侯杰，范长杰，卜佳俊，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。