人脸关键点跟踪方法和装置制造方法及图纸

本发明专利技术涉及一种人脸关键点跟踪方法和装置。所述方法包括：读取视频文件中一帧图像；检测所述一帧图像中人脸位置，获取人脸坐标框位置，并配置人脸关键点的初始位置；根据所述人脸关键点的初始位置获取人脸关键点坐标位置；读取视频文件中相邻下一帧图像；将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置；根据所述下一帧图像的人脸关键点的初始位置获取所述下一帧图像的人脸关键点坐标位置。上述人脸关键点跟踪方法和装置，将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置，得到下一帧图像的人脸关键点坐标位置，以此跳过人脸检测器检测，可提高人脸关键点跟踪的效率。

Method and device for tracking key points of human face

The invention relates to a method and a device for tracking a human face key point. The method includes: a frame image read the video file; detecting the image position of the face, face to get the coordinate frame position, and the initial position of the key points of the face configuration; according to the original position of the face of key points to obtain the face position coordinates of key points; the next image adjacent to read video files; the face position coordinates of key points on a frame image as the initial position of facial feature points the next frame image; according to the initial position of facial feature points the next frame image to obtain the location of the next face key frame image coordinates. The key point of face tracking method and device, will face critical point coordinate position on a frame image as the initial position of facial feature points the next frame image, get the face key points coordinate position of the next frame image, then skip face detector can improve face detection, key point tracking efficiency.

【技术实现步骤摘要】
人脸关键点跟踪方法和装置
本专利技术涉及图像处理领域，特别是涉及一种人脸关键点跟踪方法和装置。
技术介绍
人脸跟踪是指在视频文件或视频流或图像序列中确定某个人脸的运动轨迹及大小变化的过程。人脸跟踪在图像分析和识别图像领域具有重大意义。人脸跟踪算法的鲁棒性和实时性是两个难以同时满足的指标，因为随着鲁棒性的提升，算法的复杂程度会大幅度增加，受限于有限的计算机处理能力，人脸跟踪的实时性必会降低。在视频文件或视频流中为了实现人脸跟踪效果，需对每一帧做人脸检测和人脸关键点定位，如此人脸检测算法需要耗费大量时间，跟踪效率低。
技术实现思路
基于此，有必要针对传统的人脸关键点跟踪需要耗费大量时间，跟踪效率低的问题，提供一种人脸关键点跟踪方法，能节省时间，提高人脸跟踪效率。此外，还有必要提供一种人脸关键点跟踪装置，能节省时间，提高人脸跟踪效率。一种人脸关键点跟踪方法，包括：读取视频文件中一帧图像；检测所述一帧图像中人脸位置，获取人脸坐标框位置；根据所述人脸坐标框位置配置人脸关键点的初始位置；根据所述人脸关键点的初始位置获取人脸关键点坐标位置；重复执行如下步骤：读取视频文件中相邻下一帧图像；将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置；根据所述下一帧图像的人脸关键点的初始位置获取所述下一帧图像的人脸关键点坐标位置。一种人脸关键点跟踪装置，包括：读取模块，用于读取应用或视频文件中一帧图像；检测模块，用于检测所述一帧图像中人脸位置，获取人脸坐标框位置；配置模块，用于根据所述人脸坐标框位置配置人脸关键点的初始位置；获取模块，用于根据所述人脸关键点的初始位置获取人脸关键点坐标位置；重复执行如下过程：所述读取模块还用于读取视频文件中相邻下一帧图像；所述配置模块还用于将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置；所述获取模块还用于根据所述下一帧图像的人脸关键点的初始位置获取所述下一帧图像的人脸关键点坐标位置。上述人脸关键点跟踪方法和装置，通过人脸坐标框位置配置人脸关键点的初始位置，再根据人脸关键点的初始位置获取人脸关键点坐标位置，读取下一帧图像，将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置，得到下一帧图像的人脸关键点坐标位置，以此跳过人脸检测器检测，可提高人脸关键点跟踪的效率。附图说明图1为一个实施例中终端的内部结构示意图；图2为一个实施例中人脸关键点跟踪方法的流程图；图3为一个实施例中根据该人脸坐标框位置配置人脸关键点的初始位置的具体步骤流程图；图4为一个实施例中将人脸关键点与人脸坐标框位置中心对齐的示意图；图5为一个实施例中缩放人脸关键点的示意图；图6为获取五官点坐标位置的示意图；图7为一个实施例中人脸关键点跟踪装置的结构框图；图8为另一个实施例中人脸关键点跟踪装置的结构框图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。图1为一个实施例中终端的内部结构示意图。如图1所示，该终端包括通过系统总线连接的处理器、存储介质、内存和网络接口、图像采集装置、显示屏、扬声器和输入装置。其中，终端的存储介质存储有操作系统，还包括一种人脸关键点跟踪装置，该人脸关键点跟踪装置用于实现一种人脸关键点跟踪方法。该处理器用于提供计算和控制能力，支撑整个终端的运行。终端中的内存为存储介质中的人脸关键点跟踪装置的运行提供环境，网络接口用于与服务器进行网络通信，如发送视频文件请求至服务器，接收服务器返回的视频文件等。终端的图像采集装置可采集外部图像，例如摄像头拍摄图像等。显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该终端可以是手机、平板电脑或者个人数字助理。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。图2为一个实施例中人脸关键点跟踪方法的流程图。如图2所示，一种人脸关键点跟踪方法，可运行于图1中的终端上，包括：步骤202，读取视频文件中一帧图像。具体地，视频文件可为在线视频文件或下载在终端上的视频文件。在线视频文件可以一边播放，一边读取。下载在终端上的视频文件也可以一边播放，一边读取。视频文件在播放时视频图像是一帧一帧的进行播放，可以抓取每一帧图像进行处理。首先，读取视频文件中的其中某一帧图像进行处理。该某一帧图像可为视频文件的第一帧图像，也可为其他帧图像。步骤204，检测该一帧图像中人脸位置，获取人脸坐标框位置。本实施例中，检测该一帧图像中人脸位置，获取人脸坐标框位置的步骤包括：利用人脸检测技术检测一帧图像中人脸位置，获取人脸坐标框位置。具体地，人脸检测技术是输入包含人脸图的图像，可以检测出人脸的矩形坐标框位置。人脸检测技术主要采用RobustReal-TimeFaceDetection(鲁棒实时人脸检测)。可通过Haar-Like特征与Adaboost算法实现人脸检测，在该方法中，采用Haar-Like特征表示人脸，对各Haar-Like特征进行训练得到弱分类器，通过Adaboost算法选择多个最能代表人脸的弱分类器构成强分类器，将若干个强分类器串联组成一个级联结构的层叠分类器，即人脸检测器。其中，每个Haar-Like特征考虑基准框与一个领域框的人脸图像信息。也可采用多尺度块状局部二值模式(Multi-saleBlockbasedLocalBinaryPatterns，MBLBP)特征与Adaboost算法实现人脸检测。该方法中采用可表示基准框与8个领域框的人脸图像信息的MBLBP特征表示人脸，通过比较基准框的平均灰度与8个领域框各自的平均灰度计算MBLBP特征。也可采用多尺度的结构化定序测量特征(Multi-scaleStructuredOrdinalFeatures，MSOF)与Adaboost算法实现人脸检测。该方法中采用可表示基准框与8个领域框的人脸图像信息的MSOF特征表示人脸，8个领域框相对于基准框的距离可调，且基准框与8个领域框可以不相连。也可采用采集人脸和非人脸图像作为训练样本集，提取人脸和非人脸图像的弹性的块状局部二值模式(FlexibleBlockBasedLocalBinaryPatterns，FBLBP)特征构成FBLBP特征集。利用FBLBP特征和GentleBoost算法进行训练，得到第一分类器，第一层分类器包括若干个最优第二分类器，每个最优第二分类器通过GentleBoost算法训练所得。第一分类器为强分类器，第二分类器为弱分类器。将弱分类器累加得到强分类器。将多层第一分类器级联成人脸检测器。采用人脸检测器检测第一帧图像或其他帧图像中的人脸位置，获取人脸坐标框位置。人脸坐标框的坐标是以终端屏幕显示时左上角作为坐标原点，以横向为X轴和纵向为Y轴建立的坐标系，不限于此，也可采用其他自定义方式建立坐标系。步骤206，本文档来自技高网...

【技术保护点】
一种人脸关键点跟踪方法，包括：读取视频文件中一帧图像；检测所述一帧图像中人脸位置，获取人脸坐标框位置；根据所述人脸坐标框位置配置人脸关键点的初始位置；根据所述人脸关键点的初始位置获取人脸关键点坐标位置；重复执行如下步骤：读取视频文件中相邻下一帧图像；将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置；根据所述下一帧图像的人脸关键点的初始位置获取所述下一帧图像的人脸关键点坐标位置。

【技术特征摘要】
1.一种人脸关键点跟踪方法，包括：读取视频文件中一帧图像；检测所述一帧图像中人脸位置，获取人脸坐标框位置；根据所述人脸坐标框位置配置人脸关键点的初始位置；根据所述人脸关键点的初始位置获取人脸关键点坐标位置；重复执行如下步骤：读取视频文件中相邻下一帧图像；将上一帧图像的人脸关键点坐标位置作为下一帧图像的人脸关键点的初始位置；根据所述下一帧图像的人脸关键点的初始位置获取所述下一帧图像的人脸关键点坐标位置。2.根据权利要求1所述的方法，其特征在于，所述检测所述一帧图像中人脸位置，获取人脸坐标框位置的步骤包括：利用人脸检测技术检测所述一帧图像中人脸位置，获取人脸坐标框位置。3.根据权利要求1所述的方法，其特征在于，所述根据所述人脸坐标框位置配置人脸关键点的初始位置的步骤包括：通过平移预存的人脸关键点，使所述预存的人脸关键点和所述人脸坐标框位置中心对齐；缩放所述预存的人脸关键点，使所述预存的人脸关键点尺寸与所述人脸坐标框尺寸一致。4.根据权利要求1所述的方法，其特征在于，所述根据所述人脸关键点的初始位置获取人脸关键点坐标位置的步骤包括：利用人脸关键点定位技术根据所述人脸关键点的初始位置获取人脸关键点坐标位置；根据所述下一帧图像的人脸关键点的初始位置获取所述下一帧图像的人脸关键点坐标位置的步骤包括：利用人脸关键点定位技术根据所述下一帧图像的人脸关键点的初始位置获取所述下一帧图像的人脸关键点坐标位置。5.根据权利要求...

【专利技术属性】
技术研发人员：汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44