一种移动端3D人脸增强现实实现方法技术

本发明专利技术提供了一种移动端3D人脸增强现实效果方法，所述方法包括：从移动设备摄像头中捕捉视频流；从所述视频流中获取图像帧；对所述图像帧中的每一帧进行人脸关键点检测跟踪；根据上述人脸关键点坐标计算3D模型对应关键点的坐标，并将模型移动到正确位置；调整3D模型位置及尺寸；根据2D人脸关键点来估算虚拟3D人脸模型的姿态角度；根据人脸关键点来计算出17组人脸表情与融合变形幅度；根据上述不同表情融合变形幅度，进行融合变形；将上述过程中不同人脸表情融合变形结果相叠加，渲染出最终人脸增强现实效果。采用该方法，能够减少计算量，使得增强现实技术能够在移动端流畅运行。

A face augmented reality implementation method for mobile terminal 3D

The present invention provides a moving end 3D face augmented reality effect method. The method includes: capturing video stream from a mobile device camera, obtaining image frames from the video stream, detecting and tracking face key points for each frame of the image frame, and calculating the corresponding correlation of the 3D model according to the key point coordinates of the face. Coordinate the key points and move the model to the correct position; adjust the position and size of the 3D model; estimate the attitude angle of the virtual 3D face model based on the key points of the 2D face; calculate the 17 groups of facial expressions and the fusion deformation amplitude according to the key points of the face, and fuse the deformation amplitude according to the different expressions, and make the fusion deformation. In the above process, different facial expression fusion results are superimposed, rendering the final face augmented reality effect. With this method, the amount of computation can be reduced and the augmented reality technology can run smoothly on the mobile terminal.

【技术实现步骤摘要】
一种移动端3D人脸增强现实实现方法
本专利技术属于增强现实
，具体来说涉及一种移动端3D人脸增强现实实现方法。本专利技术可应用于娱乐，广告等领域进行增强现实。
技术介绍
目前3D人脸增强现实方法需要事先为3D人脸模型设置骨骼等来控制人脸变形，采取3D人脸特征点的计算来获得关键点的位置，需要对特定用户进行特殊的预处理或者进行学习过程，需要进行3D关键点的坐标回归运算，这样的方式计算量大、效率低、反应迟缓甚至卡顿。其次现有人脸表情变化方案没有精简人脸表情组，融合变形需要调节的区域多，计算量大。因此希望开发一种效率更高，计算量小并且具有更好效果的实现方法。
技术实现思路
为解决现有技术的问题，本专利技术开发出了一种用于移动端的3D人脸增强现实实现方法，该方法涉及到识别人脸图像关键点，通过2D人脸关键点计算出人脸姿态并将该姿态通过一种融合变换的方法应用于3D人脸模型。具体来说，本专利技术采用了以下技术方案：一种移动端3D增强现实实现方法，其特征在于，所述方法包括以下步骤：1）预先制作一个3D人脸模型，并标定人脸关键点；2）从移动设备摄像头中捕捉视频流并从所述视频流中获取图像帧；3）利用人脸追踪器对所述图像中的每一帧进行人脸关键点检测与跟踪，其中读取第一帧图像帧时，捕捉当前图像帧中的人脸区域，利用机器学习算法检测人脸中的关键点，第一帧以后的图像帧采用特征匹配的跟踪方式，在前一帧人脸区域附近检测上述关键点，并捕捉当前图像帧的人脸区域；4）根据获得的人脸关键点信息，调整预先制作的3D人脸模型的位置和尺寸，其中在三维空间中，将摄像头获取的真实人脸检测图像作为背景幕布，将三维模型放在三维空间里并对准其中一个选定的关键点，使得相机、模型上的选定关键点和真实人脸上的选定关键点在一条直线上，调整三维模型的大小和前后位置，使模型遮挡住人脸部分或全部画面；5）根据获得的人脸关键点信息，调整预先制作的3D人脸模型的姿态角度，其中用欧拉角表示人脸俯仰、偏转和翻转的角度，每隔5度记录幕布上人脸转动时追踪器返回的三个角度值，对利用该方式获得的三个角度值进行线性回归，得到俯仰、偏转和翻转三个角度值的回归模型，将追踪器返回的角度值输入回归模型，估算出人脸三维模型的转动角度，再根据该估算的角度将虚拟人脸模型转到对应的角度；6）制作一套包含若干组人脸表情与融合变形幅度的集合，每一组人脸表情与融合变形幅度包含若干个关键点，根据以上步骤中获得的关键点信息计算每一组表情与融合变形幅度中的人脸表情距离；7）根据上一步骤中计算得到的人脸表情变化距离对人脸表情进行融合变形，其中利用上一步骤中计算得到的人脸表情距离作为融合变形幅度依据，根据人脸偏转角度将侧脸表情距离回归为正脸距离，并对各人脸表情距离进行归一化，求取表情距离数据的正向变化和反向变化的值，并根据该值拉伸3D人脸模型相应表情区域关键点的位置，使得人脸模型能够随着人脸表情的运动作出相应的精确运动；8）微调融合变形，进一步实现人脸贴合，其中首先调整人脸模型与真实人脸边缘轮廓点，然后调整内部表情控制点；9）进行多组融合变形并进行效果的叠加，渲染出增强人脸效果。优选地，在步骤4）中，所述选定的关键点为人中关键点。优选地，在步骤6）中，在该集合中，包含17组人脸表情与融合变形幅度。另外，在步骤6）中，通过计算每一组人脸表情与融合变形幅度中相应关键点的坐标差得出关于这一关键点的相应人脸表情距离。优选地，在步骤7）中，将侧脸表情距离回归为正脸距离的过程为，其中为正脸表情距离，为侧脸表情距离，为侧脸角度。另外，在步骤7）中，人脸表情距离归一化的过程为：选取人脸特定器官距离值作为基准，取表情距离与特定器官距离值的比值作为归一化后的表情比值。进一步优选地，所述特定器官距离值为两眼间距。另外进一步，在对人脸表情距离归一化后进一步确定表情比值的基准值、最大值、最小值和当前值，，以此计算表情数据正向变化和反向变化的值。优选地，微调融合变形的过程包括：虚拟摄像机向真实人脸图像上的关键点发射虚拟射线，虚拟射线穿过人脸模型，通过虚拟射线与人脸模型轮廓的相交情况确定人脸模型的位置是否合适并进行调整，然后根据与真实人脸上内部控制点相关的虚拟射线与模型上相应内部控制点的关系确定对模型上相应器官的调整方案，最终将人脸模型微调逼近到最接近真实的融合变形及幅度。有益效果：本专利技术提供了一种移动端3D人脸增强现实效果方法，所述方法根据2D人脸关键点来实现虚拟3D人脸模型的姿态角度估算及融合变形，渲染出最终人脸增强现实效果。采用该方法，能够减少计算量，使得增强现实技术能够在移动端流畅运行。附图说明图1是本专利技术流程示意图；图2是人脸及模型关键点示意图；图3是真实人脸、3D人脸模型以及相机坐标示意图；图4是调整3D人脸模型坐标及大小过程示意图；图5是3D人脸模型最终放置位置示意图；图6是人脸张嘴表情变化幅度最大值示例示意图；图7是3D人脸模型姿态调整示意图；图8是17组人脸表情变化幅度对应的人脸关键点对；图9是3D人脸增强现实效果图。具体实施方式本专利技术提供了一种移动端3D人脸增强现实效果方法，所述方法包括：从移动设备摄像头中捕捉视频流；从所述视频流中获取图像帧；对所述图像帧中的每一帧进行人脸关键点检测跟踪；根据上述人脸关键点坐标计算3D模型对应关键点的坐标，并将模型移动到正确位置；调整3D模型位置及尺寸；根据2D人脸关键点来估算虚拟3D人脸模型的姿态角度；根据人脸关键点来计算出17组人脸表情与融合变形幅度；利用上述数据进行相应人脸表情融合变形，组合不同人脸表情融合变形结果，渲染出增强现实人脸表情组。下面结合具体实施方式对本专利技术进行详细的说明。参见图1，在一个具体实施例中，本专利技术的具体步骤如下：步骤1:从移动设备摄像头中捕捉视频流。步骤2:从所述视频流中获取图像帧。步骤3:人脸关键点检测与跟踪：读取图像帧中的第一帧时，捕捉当前图像帧中的人脸区域；利用事先训练好的随机森林模型，计算人脸区域中的人脸关键点。在图2中示出了实现标定的人脸模型和真实人脸跟踪的关键点。该随机森林模型利用事先标定了68个人脸关键点的人脸图像输入随机森林模型，进行有监督的学习，最终得到68个人脸关键点的回归模型。第一帧以后的图像帧采用特征匹配的跟踪方式，采用上一帧的关键点定位作为当前帧的输入，在关键点附近利用图像特征匹配、寻找相应的人脸关键点，通过统计方法计算当前帧关键点模型与上一帧人脸关键点模型的关系来判断当前帧关键点模型是否处于跟踪成功的状态，若跟踪失败则重新采用随机森林模型重新检测人脸关键点。人脸关键点后处理过程：通过滤波算法对人脸关键点位置进行滤波，消除关键点的抖动；通过预先设置的参数对人脸x、y、z轴三个方向的旋转角进行估算，实现人脸姿态估算。步骤4:根据上述人脸关键点信息，调整预先制作的3D模型位置及尺寸：在三维空间里，如图3所示，摄像头获取真实人脸检测图像作为最后面的幕布，将三维模型放在三维空间里，放置摄像头视角对着人脸的位置。根据获取的人脸人中关键点在相机幕布上的坐标，调整3D模型在该三维空间中的坐标（x,y,z），使得相机、3D模型人中关键点、人脸人中关键点在一条直线上。通过控制三维模型的大小、前后位置，我们让模型遮挡住人脸部分或全部画面，实现人脸戴上头盔、面具等3本文档来自技高网...

【技术保护点】
一种移动端3D增强现实实现方法，其特征在于，所述方法包括以下步骤：1）预先制作一个3D人脸模型，并标定人脸关键点；2）从移动设备摄像头中捕捉视频流并从所述视频流中获取图像帧；3）利用人脸追踪器对所述图像中的每一帧进行人脸关键点检测与跟踪，其中读取第一帧图像帧时，捕捉当前图像帧中的人脸区域，利用机器学习算法检测人脸中的关键点，第一帧以后的图像帧采用特征匹配的跟踪方式，在前一帧人脸区域附近检测上述关键点，并捕捉当前图像帧的人脸区域；4）根据获得的人脸关键点信息，调整预先制作的3D人脸模型的位置和尺寸，其中在三维空间中，将摄像头获取的真实人脸检测图像作为背景幕布，将三维模型放在三维空间里并对准其中一个选定的关键点，使得相机、模型上的选定关键点和真实人脸上的选定关键点在一条直线上，调整三维模型的大小和前后位置，使模型遮挡住人脸部分或全部画面；5）根据获得的人脸关键点信息，调整预先制作的3D人脸模型的姿态角度，其中用欧拉角表示人脸俯仰、偏转和翻转的角度，每隔5度记录幕布上人脸转动时追踪器返回的三个角度值，对利用该方式获得的三个角度值进行线性回归，得到俯仰、偏转和翻转三个角度值的回归模型，将追踪器返回的角度值输入回归模型，估算出人脸三维模型的转动角度，再根据该估算的角度将虚拟人脸模型转到对应的角度；6）制作一套包含若干组人脸表情与融合变形幅度的集合，每一组人脸表情与融合变形幅度包含若干个关键点，根据以上步骤中获得的关键点信息计算每一组表情与融合变形幅度中的人脸表情距离；7）根据上一步骤中计算得到的人脸表情变化距离对人脸表情进行融合变形，其中利用上一步骤中计算得到的人脸表情距离作为融合变形幅度依据，根据人脸偏转角度将侧脸表情距离回归为正脸距离，并对各人脸表情距离进行归一化，求取表情距离数据的正向变化和反向变化的值，并根据该值拉伸3D人脸模型相应表情区域关键点的位置，使得人脸模型能够随着人脸表情的运动作出相应的精确运动；8）微调融合变形，进一步实现人脸贴合，其中首先调整人脸模型与真实人脸边缘轮廓点，然后调整内部表情控制点；9）进行多组融合变形并进行效果的叠加，渲染出增强人脸效果。...

【技术特征摘要】
1.一种移动端3D增强现实实现方法，其特征在于，所述方法包括以下步骤：1）预先制作一个3D人脸模型，并标定人脸关键点；2）从移动设备摄像头中捕捉视频流并从所述视频流中获取图像帧；3）利用人脸追踪器对所述图像中的每一帧进行人脸关键点检测与跟踪，其中读取第一帧图像帧时，捕捉当前图像帧中的人脸区域，利用机器学习算法检测人脸中的关键点，第一帧以后的图像帧采用特征匹配的跟踪方式，在前一帧人脸区域附近检测上述关键点，并捕捉当前图像帧的人脸区域；4）根据获得的人脸关键点信息，调整预先制作的3D人脸模型的位置和尺寸，其中在三维空间中，将摄像头获取的真实人脸检测图像作为背景幕布，将三维模型放在三维空间里并对准其中一个选定的关键点，使得相机、模型上的选定关键点和真实人脸上的选定关键点在一条直线上，调整三维模型的大小和前后位置，使模型遮挡住人脸部分或全部画面；5）根据获得的人脸关键点信息，调整预先制作的3D人脸模型的姿态角度，其中用欧拉角表示人脸俯仰、偏转和翻转的角度，每隔5度记录幕布上人脸转动时追踪器返回的三个角度值，对利用该方式获得的三个角度值进行线性回归，得到俯仰、偏转和翻转三个角度值的回归模型，将追踪器返回的角度值输入回归模型，估算出人脸三维模型的转动角度，再根据该估算的角度将虚拟人脸模型转到对应的角度；6）制作一套包含若干组人脸表情与融合变形幅度的集合，每一组人脸表情与融合变形幅度包含若干个关键点，根据以上步骤中获得的关键点信息计算每一组表情与融合变形幅度中的人脸表情距离；7）根据上一步骤中计算得到的人脸表情变化距离对人脸表情进行融合变形，其中利用上一步骤中计算得到的人脸表情距离作为融合变形幅度依据，根据人脸偏转角度将侧脸表情距离回归为正脸距离，并对各人脸表情距离进行归一化，求取表情距离数据的正向变化和反向变化的值，并根据该值拉伸3D人脸模型相应表情区域关键点的位置，使得人脸模型能够随着人...

【专利技术属性】
技术研发人员：杨通，杨宽，赵一超，
申请(专利权)人：南京开为网络科技有限公司，
类型：发明
国别省市：江苏,32