一种人脸关键点追踪方法及应用和装置制造方法及图纸

本发明专利技术公开了一种人脸关键点追踪方法及应用和装置，该方法包括：采集当前视频图像帧；从当前视频图像帧中定位出人脸关键点；判断当前视频图像帧中的人脸相对于当前视频图像帧的上一视频图像帧中的人脸是否移动；如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸存在移动，将从当前视频图像帧中定位出的人脸关键点确定为当前视频图像帧的有效人脸关键点，如果当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动，则将从当前视频图像帧中定位出的人脸关键点与上一视频图像帧中对应位置的有效人脸关键点进行加权和的结果确定为当前视频图像帧的有效人脸关键点，通过本发明专利技术完全避免了视频中人脸关键点追踪时抖动。

A method of tracking the key point of face and its application and device

The invention discloses a method and a device application and key points of face tracking, the method comprises the following steps: collecting the current video frames from the video image frame; locating face point; determine the current face in video image frame with respect to the current video frame on a face in the image frame frequency shift; if the current face in video image frame relative to a video image frame in the face of mobile, will face from the key point of the current video image frame positioning to determine the effective face the key point of the current video frame, if the current video frame in the face to face a video image frame does not exist Mobile, effective face critical point will face from the key point of the current video image frame positioning and a video image frame in the corresponding positions are weighted and. As an effective face key point of the current video frame, the invention completely avoids the jitter of the key point tracking in the video.

【技术实现步骤摘要】
一种人脸关键点追踪方法及应用和装置
本专利技术涉及图像处理领域，尤其涉及一种人脸关键点追踪方法及应用和装置。
技术介绍
近来，级联形状回归模型在人脸关键点定位任务上取得了重大突破，该方法使用回归模型，直接学习从人脸图像到人脸关键点位置的映射函数，进而建立从输入到输出的对应关系。此类方法简单高效，在可控场景(实验室条件下采集的人脸)和非可控场景(网络人脸图像等)均取得不错的关键点定位效果。此外，基于深度学习的面部特征点定位方法也取得令人瞩目的结果。虽然目前已经有较为成熟的人脸关键点定位算法，但是目前的人脸关键点定位算法在视频追踪中，定位出的人脸关键点会出现抖动的现象，抖动对人脸关键点的应用会产生极大的影响，例如，在美型的放大眼睛功能中，如果定位出的人眼位置在不停地抖动那么放大后的眼睛也会出现不停地抖动，进而会导致那么这个美型效果就比较差。
技术实现思路
本专利技术实施例通过提供一种人脸关键点追踪方法及应用和装置，解决了现有人脸关键点定位算法在视频追踪中定位出的人脸关键点会出现抖动的技术问题。第一方面，本专利技术实施例提供一种人脸关键点追踪方法，包括：采集当前视频图像帧；从所述当前视频图像帧本文档来自技高网...

【技术保护点】
一种人脸关键点追踪方法，其特征在于，包括：采集当前视频图像帧；从所述当前视频图像帧中定位出人脸关键点；判断所述当前视频图像帧中的人脸相对于所述当前视频图像帧的上一视频图像帧中的人脸是否移动；如果是，将从所述当前视频图像帧中定位出的人脸关键点确定为所述当前视频图像帧的有效人脸关键点，否则，将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，加权和结果确定为所述当前视频图像帧的有效人脸关键点。

【技术特征摘要】
1.一种人脸关键点追踪方法，其特征在于，包括：采集当前视频图像帧；从所述当前视频图像帧中定位出人脸关键点；判断所述当前视频图像帧中的人脸相对于所述当前视频图像帧的上一视频图像帧中的人脸是否移动；如果是，将从所述当前视频图像帧中定位出的人脸关键点确定为所述当前视频图像帧的有效人脸关键点，否则，将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，加权和结果确定为所述当前视频图像帧的有效人脸关键点。2.如权利要求1所述的人脸关键点追踪方法，其特征在于，所述判断所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸是否移动，包括：获取所述当前视频图像帧中的每个像素点；根据所述当前视频图像帧中的各个像素点与所述上一视频图像帧中对应位置的像素点之间的差值，确定出所述当前视频图像帧相对于所述上一视频图像帧的第一像素差均值；判断所述第一像素差均值是否大于像素差阈值；如果是，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸存在移动，否则，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸不存在移动。3.如权利要求1所述的人脸关键点追踪方法，其特征在于，所述判断所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸是否移动，包括：根据从所述当前视频图像帧中定位出的各个人脸关键点与从所述上一视频图像帧中定位出的对应位置的人脸关键点之间的差值，确定出所述当前视频图像帧相对于所述上一视频图像帧的第二像素差均值；判断所述第二像素差均值是否大于像素差阈值；如果是，确定所述当前视频图像帧中的人脸相对于所述上一视频图像帧中的人脸存在移动，否则，确定所述当前视频图像帧中的人脸相对于上一视频图像帧中的人脸不存在移动。4.如权利要求1所述的人脸关键点追踪方法，其特征在于，所述将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧的有效人脸关键点进行加权和，包括：获取所述上一视频图像帧相对于所述当前视频图像的再上一视频图像帧是否移动；如果是，基于第一变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和；否则，基于第二变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，其中，所述第一变化因子为基于所述第二变化因子确定且大于所述第一变化因子。5.如权利要求4所述的人脸关键点追踪方法，其特征在于，所述基于第一变化因子将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和，包括：基于如下加权和公式将从所述当前视频图像帧中定位出的人脸关键点与所述上一视频图像帧中对应位置的有效人脸关键点进行加权和：B.x2(i)＝Bx1(i)*β1+A.x2(i)*...

【专利技术属性】
技术研发人员：李亮，陈少杰，张文明，
申请(专利权)人：武汉斗鱼网络科技有限公司，
类型：发明
国别省市：湖北,42