一种连续帧视频流的人脸关键点跟踪方法和系统技术方案

本发明专利技术公开了一种连续帧视频流的人脸关键点跟踪方法和系统，将人脸图片送入参数模型，获取原始人脸关键点；对原始人脸关键点进行平滑处理并替换原有坐标点，得到初步稳定人脸关键点；对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。本发明专利技术实现简单，适用性广，能够有效确保人脸关键点在连续的视频流上稳定的、实时的展示出来，提升人机交互体验。

【技术实现步骤摘要】
一种连续帧视频流的人脸关键点跟踪方法和系统
本专利技术涉及图像处理领域，特别是指一种连续帧视频流的人脸关键点跟踪方法和系统。
技术介绍
人脸关键点包括眼睛、眉毛、鼻子、嘴巴和脸部轮廓等关键部位在人脸图片上的坐标表示。人脸关键点跟踪技术应用于人机交互下的各种表情传递场景，对研究数字图像和人机交互领域具有重大的意义，比如虚拟表情录制、实时虚拟人物互动都依赖人脸关键点跟踪技术。人脸关键点由参数模型对人脸图像进行分析、计算后得到的一个坐标点集，而在流式视频帧中获取的一系列人脸关键点，很容易受参数模型、人脸运动、人脸所在环境的影响，导致把人脸关键点直接套用在虚拟表情时会表现出抖动的视觉效果，严重影响人机交互的体验。
技术实现思路
本专利技术提出一种连续帧视频流的人脸关键点跟踪方法和系统，解决了现有技术中参数模型计算分析出来的人脸关键点会存在不确定的偏差，把直接得到的人脸关键点驱动虚拟表情时，虚拟表情在视觉上会表现出抖动的效果，导致人机交互体验很差的问题。本专利技术的技术方案是这样实现的：一种连续帧视频流的人脸关键点跟踪方法，包括以下步骤：S1，通过参数模型从视频流每帧人脸图片获取人脸关键点；S2，基于线性稳定算法将每个人脸关键点的坐标点进行平滑处理，得到平滑后的坐标点替换原有坐标点，得到初步稳定的人脸关键点；S3，基于跟踪稳定算法对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。作为本专利技术的优选实施例，所述参数模型为函数集合对大量的人脸图片和精确的人脸关键点进行拟合得到的参数集合。作为本专利技术的优选实施例，所述步骤S2具体包括以下步骤：S21，直接输出第一帧人脸图片的人脸关键点P1，获取视频流第t帧人脸图片的人脸关键点Pt，前、后帧人脸图片的人脸关键点Pt-1、Pt+1；t为大于1的整数；S22，分别以Pt-1、Pt、Pt+1各个应对的关键点坐标为顶点构建一个空间三角形，并计算出此三角形的重心坐标，得到对应的人脸关键点重心点Qt，使用Qt以替换的方式更新Pt并输出；S23，重复步骤S22，直至视频流结束。作为本专利技术的优选实施例，所述步骤S3，基于跟踪稳定算法对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正，具体指的是提取人脸关键点的Lukas-Kanade跟踪信息，得到整体关键点的运动方向，检测出所述初步稳定关键点中存在明显跳动的异常点，并进行修正处理，得到稳定的人脸关键点。作为本专利技术的优选实施例，所述步骤S3具体包括以下步骤：S31，基于Lukas-Kanade跟踪算法，对Pt-1在视频流上的帧Mt-1到Mt的方向上进行跟踪预测，得到人脸关键点Pa和每个跟踪点的状态信息Sa；S32，将人脸关键点细分为各个独立的部位，根据跟踪状态信息Sa确定跟踪的有效人脸关键点，计算每个部位从Pt-1到Pa上的每个有效人脸关键点在x方向距离和sx、在y方向距离和sy，得到每个部位的平均距离差C；S33，对上述的每个独立部位的关键点坐标进行精细的调整，即当前坐标点是上述的有效关键点，则使用Pa上应对的点来替换更新；如果不是有效关键点，则寻找在空间上相邻有效关键点的在x和y方向上的平均变化距离来更新当前点；若都相邻的点也没有有效关键点，则使用上述的C来更新当前点；得到精细调整后的人脸关键点Ht；S34，对比上述的Pt和Ht的每个坐标点的差值，若存在一半的点在x方向和y方向的距离差都大于指定值，则再进行一次线性均值计算来更新Pt。一种连续帧视频流的人脸关键点跟踪系统，包括参数模型单元，用于从视频流每帧人脸图片获取人脸关键点；线性稳定单元，用于将每个人脸关键点的坐标点进行平滑处理，得到平滑后的坐标点替换原有坐标点，得到初步稳定的人脸关键点；跟踪稳定单元，用于对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。作为本专利技术的优选实施例，所述参数模型单元，包含函数集合对大量的人脸图片和精确的人脸关键点进行拟合得到的参数集合。作为本专利技术的优选实施例，所述线性稳定单元，通过对连续三个帧的关键点坐标构成的三角形，计算出这三角形的重心坐标并替换中间帧的关键点坐标，得到的初步稳定关键点。作为本专利技术的优选实施例，所述跟踪稳定单元，提取人脸关键点的Lukas-Kanade跟踪信息，得到整体关键点的运动方向，检测出所述初步稳定关键点中存在明显跳动的异常点，并进行修正处理，得到稳定的人脸关键点。本专利技术的有益效果在于：通过参数模型计算得到的视频流每帧人脸关键点，利用相邻前后帧的关键点对当前帧的关键点做平滑、跟踪、修正，得到连续、稳定的人脸关键点，解决实时人机交互时虚拟表情出现抖动的问题，大大的提升了人机交互的体验效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一种连续帧视频流的人脸关键点跟踪方法的流程图；图2为将连续的原始关键点做线性平滑后的效果对比图；图3为图1中步骤S3的流程图；图4为检测和修正的跳动关键点示意图；图5为本专利技术一种连续帧视频流的人脸关键点跟踪系统的原理框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术提出了一种连续帧视频流的人脸关键点跟踪方法，包括以下步骤：S1，通过参数模型从视频流每帧人脸图片获取人脸关键点；参数模型为函数集合对大量的人脸图片和精确的人脸关键点进行拟合得到的参数集合。S2，基于线性稳定算法将每个人脸关键点的坐标点进行平滑处理，得到平滑后的坐标点替换原有坐标点，得到初步稳定的人脸关键点；步骤S2具体包括以下步骤：S21，直接输出第一帧人脸图片的人脸关键点P1，获取视频流第t帧人脸图片的人脸关键点Pt，前、后帧人脸图片的人脸关键点Pt-1、Pt+1；t为大于1的整数。S22，分别以Pt-1、Pt、Pt+1各个应对的关键点坐标为顶点构建一个空间三角形，并计算出此三角形的重心坐标，得到对应的人脸关键点重心点Qt，使用Qt以替换的方式更新Pt并输出给下一模块。S23，重复步骤S22，直至视频流结束。在处理上述的Pt时，需要获取前后帧的关键点来更新Pt，因为Pt+1是下一帧的，所以传递给下一模块的Pt会存在一点延时；但普通视频的帧率在25～30fps，即相邻两帧的时间间隔是30～40ms，人脸上的每个部位的一个完整运动周期的时间都在100ms以上，如闭合眼睛、闭合嘴巴、左右上下头部运动等；因此这点延迟对整体的人机交互的影响是可以忽略的。上述线性平滑的稳定装置不仅具有实现简单、运行速度极快，而且对单点的运动轨迹来看，平滑的效果显著。如图2所示，波动较大的虚线是随机生成的关键点按坐标升序排列连接后的结果，波动较小本文档来自技高网...

【技术保护点】
1.一种连续帧视频流的人脸关键点跟踪方法，其特征在于，包括以下步骤：S1，通过参数模型从视频流每帧人脸图片获取人脸关键点；S2，基于线性稳定算法将每个人脸关键点的坐标点进行平滑处理，得到平滑后的坐标点替换原有坐标点，得到初步稳定的人脸关键点；S3，基于跟踪稳定算法对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。

【技术特征摘要】
1.一种连续帧视频流的人脸关键点跟踪方法，其特征在于，包括以下步骤：S1，通过参数模型从视频流每帧人脸图片获取人脸关键点；S2，基于线性稳定算法将每个人脸关键点的坐标点进行平滑处理，得到平滑后的坐标点替换原有坐标点，得到初步稳定的人脸关键点；S3，基于跟踪稳定算法对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。2.根据权利要求1所述的连续帧视频流的人脸关键点跟踪方法，其特征在于，所述参数模型为函数对大量的人脸图片和精确的人脸关键点进行拟合得到的参数集合。3.根据权利要求1所述的连续帧视频流的人脸关键点跟踪方法，其特征在于，所述步骤S2具体包括以下步骤：S21，直接输出第一帧人脸图片的人脸关键点P1，获取视频流第t帧人脸图片的人脸关键点Pt，前、后帧人脸图片的人脸关键点Pt-1、Pt+1；t为大于1的整数；S22，分别以Pt-1、Pt、Pt+1各个应对的关键点坐标为顶点构建一个空间三角形，并计算出此三角形的重心坐标，得到对应的人脸关键点重心点Qt，使用Qt以替换的方式更新Pt并输出；S23，重复步骤S22，直至视频流结束。4.根据权利要求1所述的连续帧视频流的人脸关键点跟踪方法，其特征在于，所述步骤S3，基于跟踪稳定算法对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正，具体指的是提取人脸关键点的Lukas-Kanade跟踪信息，得到整体关键点的运动方向，检测出所述初步稳定关键点中存在明显跳动的异常点，并进行修正处理，得到稳定的人脸关键点。5.根据权利要求3所述的连续帧视频流的人脸关键点跟踪方法，其特征在于，所述步骤S3具体包括以下步骤：S31，基于Lukas-Kanade跟踪算法，对Pt-1在视频流上的帧Mt-1到Mt的方向上进行跟踪预测，得到人脸关键点Pa和每个跟踪点的状态信...

【专利技术属性】
技术研发人员：徐波，
申请(专利权)人：广州多益网络股份有限公司，广东利为网络科技有限公司，多益网络有限公司，
类型：发明
国别省市：广东,44