一种连续帧视频流的人脸关键点跟踪方法和系统技术方案

本发明专利技术公开了一种连续帧视频流的人脸关键点跟踪方法和系统，将人脸图片送入参数模型，获取原始人脸关键点；对原始人脸关键点进行平滑处理并替换原有坐标点，得到初步稳定人脸关键点；对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。本发明专利技术实现简单，适用性广，能够有效确保人脸关键点在连续的视频流上稳定的、实时的展示出来，提升人机交互体验。

【技术实现步骤摘要】
一种连续帧视频流的人脸关键点跟踪方法和系统
本专利技术涉及图像处理领域，特别是指一种连续帧视频流的人脸关键点跟踪方法和系统。
技术介绍
人脸关键点包括眼睛、眉毛、鼻子、嘴巴和脸部轮廓等关键部位在人脸图片上的坐标表示。人脸关键点跟踪技术应用于人机交互下的各种表情传递场景，对研究数字图像和人机交互领域具有重大的意义，比如虚拟表情录制、实时虚拟人物互动都依赖人脸关键点跟踪技术。人脸关键点由参数模型对人脸图像进行分析、计算后得到的一个坐标点集，而在流式视频帧中获取的一系列人脸关键点，很容易受参数模型、人脸运动、人脸所在环境的影响，导致把人脸关键点直接套用在虚拟表情时会表现出抖动的视觉效果，严重影响人机交互的体验。
技术实现思路
本专利技术提出一种连续帧视频流的人脸关键点跟踪方法和系统，解决了现有技术中参数模型计算分析出来的人脸关键点会存在不确定的偏差，把直接得到的人脸关键点驱动虚拟表情时，虚拟表情在视觉上会表现出抖动的效果，导致人机交互体验很差的问题。本专利技术的技术方案是这样实现的：一种连续帧视频流的人脸关键点跟踪方法，包括以下步骤：S1，通过参数模型从视频流每帧人脸图片获取人脸关键点；S2，本文档来自技高网...

【技术保护点】
1.一种连续帧视频流的人脸关键点跟踪方法，其特征在于，包括以下步骤：S1，通过参数模型从视频流每帧人脸图片获取人脸关键点；S2，基于线性稳定算法将每个人脸关键点的坐标点进行平滑处理，得到平滑后的坐标点替换原有坐标点，得到初步稳定的人脸关键点；S3，基于跟踪稳定算法对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。

【技术特征摘要】
1.一种连续帧视频流的人脸关键点跟踪方法，其特征在于，包括以下步骤：S1，通过参数模型从视频流每帧人脸图片获取人脸关键点；S2，基于线性稳定算法将每个人脸关键点的坐标点进行平滑处理，得到平滑后的坐标点替换原有坐标点，得到初步稳定的人脸关键点；S3，基于跟踪稳定算法对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。2.根据权利要求1所述的连续帧视频流的人脸关键点跟踪方法，其特征在于，所述参数模型为函数对大量的人脸图片和精确的人脸关键点进行拟合得到的参数集合。3.根据权利要求1所述的连续帧视频流的人脸关键点跟踪方法，其特征在于，所述步骤S2具体包括以下步骤：S21，直接输出第一帧人脸图片的人脸关键点P1，获取视频流第t帧人脸图片的人脸关键点Pt，前、后帧人脸图片的人脸关键点Pt-1、Pt+1；t为大于1的整数；S22，分别以Pt-1、Pt、Pt+1各个应对的关键点坐标为顶点构建一个空间三角形，并计算出此三角形的重心坐标，得到对应的人脸关键点重心点Qt，使用Qt以替换的方式更新Pt并输出；S23，重复步骤S22，直至视频流结束。4.根据权利要求1所述的连续帧视频流的人脸关键点跟踪方法，其特征在于，所述步骤S3，基于跟踪稳定算法对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正，具体指的是提取人脸关键点的Lukas-Kanade跟踪信息，得到整体关键点的运动方向，检测出所述初步稳定关键点中存在明显跳动的异常点，并进行修正处理，得到稳定的人脸关键点。5.根据权利要求3所述的连续帧视频流的人脸关键点跟踪方法，其特征在于，所述步骤S3具体包括以下步骤：S31，基于Lukas-Kanade跟踪算法，对Pt-1在视频流上的帧Mt-1到Mt的方向上进行跟踪预测，得到人脸关键点Pa和每个跟踪点的状态信...

【专利技术属性】
技术研发人员：徐波，
申请(专利权)人：广州多益网络股份有限公司，广东利为网络科技有限公司，多益网络有限公司，
类型：发明
国别省市：广东,44