移动端2D关键点快速转换为3D融合变形的人脸建模方法技术

本发明专利技术提供一种移动端2D关键点快速转换为3D融合变形的人脸建模方法，利用移动设备的摄像机实时获取2D的人脸关键点坐标，再将2D坐标转换为3D的对应关键点，并根据这些对应关键点计算得到3D人脸模型的融合变形参数，用于变换标准人脸模型的姿态、形状以及表情；本发明专利技术不需对特定用户进行特殊的预处理或者进行学习过程，亦不需要进行3D关键点的坐标回归运算，而是通过摄像机发射射线的方式逐渐逼近各个3D关键点最终将2D的人脸形状与表情转移到3D模型上。本发明专利技术提供的方法计算简单，高效快速，能够在移动设备上实时运行，重建出的3D人脸模型具有较高的保真度。

The key point of moving end 2D is quickly converted to 3D fusion deformable face modeling method

The invention provides a mobile terminal 2D key points for the rapid conversion of face modeling method for 3D fusion deformation, using real-time face to obtain the coordinates of key points of 2D camera of the mobile device, then 2D coordinates into the corresponding key points of 3D, and the fusion 3D facial model deformation parameters are calculated according to the corresponding key points for transform standard face model attitude, shape and expression; the invention does not need to specific users of special pretreatment or learning process, also does not need to coordinate the key points of the 3D regression, but through the camera ray emission way gradually approaching the key points of each 3D will eventually transfer the face shape and expression of 2D to 3D model. The method provided by the invention has the advantages of simple calculation, high efficiency and rapid speed, and can be operated on a mobile device in real time, and the reconstructed 3D face model has higher fidelity.

【技术实现步骤摘要】
移动端2D关键点快速转换为3D融合变形的人脸建模方法
本专利技术涉及一种移动端2D人脸关键点快速转换为3D融合变形的人脸建模方法。
技术介绍
目前的人脸建模方法需要事先为人脸模型设置骨骼等来控制人脸变形，采取3D人脸特征点的计算来获得关键点的位置，需要对特定用户进行特殊的预处理或者进行学习过程，需要进行3D关键点的坐标回归运算，这样的方式下，效率低，反应迟缓甚至卡顿，效果不理想。上述问题是在2D人脸关键点转换为3D融合变形的人脸建模过程中应当予以考虑并解决的问题。
技术实现思路
本专利技术的目的是提供一种移动端2D人脸关键点快速转换为3D融合变形的人脸建模方法解决现有技术中存在的上述问题。本专利技术的技术解决方案是：一种移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于：利用移动设备的摄像机实时获取2D的人脸关键点坐标，再将2D坐标转换为3D的对应关键点，并根据这些对应关键点计算得到3D人脸模型的融合变形参数，用于变换标准人脸模型的姿态、形状以及表情；具体包括以下步骤，S1、确定人脸关键点，设置一个标准的虚拟人脸模型并设计一个脸部形状的融合变形集合；S2、通过移动设备的摄像本文档来自技高网...

【技术保护点】
一种移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于：利用移动设备的摄像机实时获取2D的人脸关键点坐标，再将2D坐标转换为3D的对应关键点，并根据这些对应关键点计算得到3D人脸模型的融合变形参数，用于变换标准人脸模型的姿态、形状以及表情；具体包括以下步骤，S1、确定人脸关键点，设置一个标准的虚拟人脸模型并设计一个脸部形状的融合变形集合；S2、通过移动设备的摄像头获取连续人脸画面，对每一帧的人脸图像进行人脸关键点跟踪检测，实时得到每一帧的2D人脸关键点；S3、根据以上获得的2D人脸关键点来估算虚拟人脸模型的姿态角度，再根据估算出的角度来把虚拟人脸模型转到对应的转向角度；S4、进一...

【技术特征摘要】
1.一种移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于：利用移动设备的摄像机实时获取2D的人脸关键点坐标，再将2D坐标转换为3D的对应关键点，并根据这些对应关键点计算得到3D人脸模型的融合变形参数，用于变换标准人脸模型的姿态、形状以及表情；具体包括以下步骤，S1、确定人脸关键点，设置一个标准的虚拟人脸模型并设计一个脸部形状的融合变形集合；S2、通过移动设备的摄像头获取连续人脸画面，对每一帧的人脸图像进行人脸关键点跟踪检测，实时得到每一帧的2D人脸关键点；S3、根据以上获得的2D人脸关键点来估算虚拟人脸模型的姿态角度，再根据估算出的角度来把虚拟人脸模型转到对应的转向角度；S4、进一步根据人脸关键点来计算出人脸表情变形与融合变形幅度；S5、根据S3中估算出来的虚拟人脸模型的姿态角度和S4中计算出来的人脸表情与融合变形幅度，将标准人脸融合变形后的效果实时渲染到虚拟的人脸模型中。2.如权利要求1所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤S1中，脸部形状的融合变形集合包含43种融合变形，其中形状变形28种，表情变形15种。3.如权利要求1所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤S3中，估算的虚拟人脸模型的姿态角度即xyz三个轴上的人脸转动的角度，以欧拉角来表示。4.如权利要求1所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤S4中，所述计算出人脸表情变形与融合变形幅度包括以下步骤：4a、将各个表情下的人脸关键点之间的距离分解为表情距离，并作为相应的表情的表情依据；4b、选择一个特定值作为一个比例基础，将其它表情距离转换成与该比例基础的比值，称为表情比值；4c、确定表情比值的基准值、最大值、最小值及当前值；4d、根据以上确定的基准值、最大值、最小值及当前值来确...

【专利技术属性】
技术研发人员：罗楠，杨通，刘青山，孙玉宝，陈亚南，
申请(专利权)人：南京开为网络科技有限公司，
类型：发明
国别省市：江苏,32