一种适应高帧率的人脸追踪方法技术

本发明专利技术公开一种适应高帧率的人脸追踪方法，应用于图像识别领域，针对现有的终端设备算力欠缺从而导致人脸追踪速度无法与摄像设备帧率同步的问题，本发明专利技术将人脸追踪划分为同步追踪处理和异步人脸识别两个流程，并提供了一种快速人脸识别方法，利用高耗时的异步人脸识别构建运动预测向量，从而利用运动预测向量完成同步人脸追踪，以此保证在高帧率条件下人脸追踪速度和设备帧率同步。

A face tracking method with high frame rate

【技术实现步骤摘要】
一种适应高帧率的人脸追踪方法
本专利技术涉及计算机视觉，图像处理领域，特别涉及一种适应高帧率的人脸追踪方法。
技术介绍
人脸追踪技术能够对连续视频中的人脸活动进行追踪记录，从而得到关于人员访问频次，人员流动特点等重要信息，能为现代安防、资源优化配置、商业信息采集以及智能管理等任务提供重要参考，具有较高的研究意义和应用价值。在不同的环境特点和业务需求下，人脸追踪能提供丰富的功能。例如，在大型商场、超市等场合，可以通过人脸追踪技术得到同一个顾客在商场不同区域停留的时间以及消费情况或是不同商品吸引的顾客人流量，从而了解某类型顾客的消费特点以及顾客对不同商品的消费需求程度，合理调整商品的进货量以及商品摆放位置，减少货物滞销量、使得购物环境更加人性化。此外，在公共区域中，也能通过人脸追踪技术分析特定人群的行为特点，从而对犯罪等恶性行为提前做出规避和预防。人脸追踪技术主要用于分析连续视频流中的特定人脸移动情况，包含追踪和识别两个部分，需要快速识别出人脸区域并记录人脸特征，并重复该过程完成连续追踪从而得到该特定人脸在视频中的运动情况。随着人工智能技术的飞速发展，人脸追踪领域的技术方案不断涌现，现下的人脸追踪方案大体可以分为两个类别，其一是利用传统机器学习方法和模式识别方法进行的人脸追踪，它的优点是识别速度很快，对算力的依赖程度不高，缺点则是识别精度欠佳并且无法对识别的人脸做出有效区分。其二是利用深度学习训练神经网络完成人脸识别，利用人脸识别结果进行人脸追踪，它的优点是人脸追踪的准确度非常高，也能完成对不同人脸的有效区分，但由于它的实时性非常依赖算力，若需要和视频采集帧率同步进行人脸跟踪，常常需要十分昂贵的算力资源。当下视频信息采集十分廉价，同样也就对高效廉价的视频分析方案提出了要求，借由于此，在人脸追踪领域内，提出一个实现准确人脸追踪且不需要消耗昂贵算力资源的方案具有重要的意义。
技术实现思路
为了解决上述技术问题，本专利技术提出一种适应高帧率的人脸追踪方法，确保在终端设备算力有限的条件下可以与帧率同步进行人脸追踪。本专利技术采用的技术方案为：将耗时的人脸识别、特征提取过程与人脸区域预测过程分离开，使其异步完成，仅通过耗时的过程来计算与维护运动向量，同时通过运动向量来快速预测人脸区域位置，从而保证人脸区域位置的预测间隔与视频刷新帧率同步。步骤如下所诉：进行人脸追踪系统的初始化。主要创建帧缓冲队列frameQueue、outFrameQueue，人脸区域信息表faceInfoList、faceInfoListNew，并加载人脸识别模块和人脸特征提取模块，开启图像绘制线程showThread。其中，视频流中获取的图像帧放入frameQueue队列，速度与视频帧率一致。showThread从outFrameQueue中取出帧图像并绘制，速度与视频帧率一致。进行检测初始化。取视频流中的第一帧为初始检测帧，记为frame0，通过人脸识别模块获取frame0中所有人脸的双眼、鼻头、嘴唇两侧五点坐标，通过五点坐标计算人脸所在区域矩形坐标，以及人脸朝向，初始化运动向量dictVec并将信息保存至faceInfoList。此过程为同步阻塞过程，系统完成该步骤后再响应其他处理。其中，人脸识别模块的计算过程分为两个步骤，首先对整个视频帧图像计算LBP特征，针对计算后的LBP特征计算灰度变化，摒弃变化不剧烈的区域，保留剩余图像区域。然后将剩余的图像区域送入MTCNN人脸识别神经网络，获取人脸坐标。进行特征提取初始化。特征提取初始化由特征提取模块完成，具体步骤为：遍历faceInfoList，获取人脸区域图像，计算图像的LBP直方图向量，保存为lowFaceFeature，接着通过神经网络提取特征向量，保存为highFaceFeature。最后为每个人脸区域建立标签并将所有信息保存至faceInfoList。此过程同样为同步阻塞过程，系统完成该步骤后再响应其他处理。人脸追踪过程正式开始。系统创建一个计算线程和两个子线程组。其中一个线程组重复进行人脸识别计算，重复步骤如下：从帧缓冲队列frameQueue中取出一帧图像，通过人脸识别模块计算出人脸坐标，更新信息至faceInfoListNew。另一个线程组重复进行特征识别匹配，重复步骤如下：遍历faceInfoListNew，获取人脸区域图像，通过特征提取模块计算lowFaceFeature，随后与faceInfoList中的lowFaceFeature进行余弦相似度比较，相似度高则更新faceInfoList区域信息，否则通过神经网络提取特征向量highFaceFeature，通过特征向量再进行一次余弦相似度比较，若两次比较相似度皆较低，则添加信息至faceInfoList。比对完成后，删除faceInfoList中未被更新信息的对象。计算线程从faceInfoList中获取每个人脸区域前后两次的坐标信息，若坐标信息已获子线程组更新，则通过前后两次坐标移动数据修正运动向量dictVec，若未获更新，则保持dictVec不变。接着通过dictVec计算人脸区域应该移动的位置，记录追踪结果，绘制图像并放入帧缓冲队列outFrameQueue。其中，计算线程的处理速度和帧率相同，和两个子线程组并行执行，不等待子线程组的处理结果。人脸识别线程组与特征提取线程组保持交替并行，即并行处理数据但保持每一个循环周期人脸识别在前，提取特征在后。本专利技术的有益效果：本专利技术所述适应高帧率的人脸追踪方法，用运动向量来预测人脸区域位置，使得图像处理速度在算力得不到支撑的情况下仍能与帧率保持一致，同时异步的精确计算修正了运动向量的误差保证了整个追踪结果的准确度，是在终端算力不足情况下进行人脸追踪任务的有效方法。附图说明图1为本专利技术实施例提供的整体流程图；图2为本专利技术实施例提供的追踪方法整体架构图；图3为本专利技术实施例提供的人脸追踪整体时序图；图4为本专利技术实施例提供的人脸识别模块流程图；图5为本专利技术实施例提供的坐标系示意图；图6为本专利技术实施例提供的特征提取模块流程图；图7为本专利技术实施例提供的计算模块流程图；具体实施方式为便于本领域技术人员理解本专利技术的
技术实现思路
，下面结合附图对本
技术实现思路
进一步阐释。适应高帧率的人脸追踪方法由四个核心模块组成，包括人脸识别模块、特征提取模块、计算模块和绘制模块。不同模块在不同线程保持并行执行，数据处理和信息交互由两个帧缓冲队列frameQueue、outFrameQueue和两个人脸区域信息链表faceInfoList、faceInfoListNew完成，整体流程图如图1所示，架构图如图2所示。frameQueue队列保存来自视频流的原始帧图像，队头为当前帧，outFrameQueue为绘制好人脸区域信息的帧图像，队头为当前帧，两个队列的存取速度与视频流帧率保持一致。faceInfoList保存上一时刻的人脸区域信息，整个人脸追踪过程一直保本文档来自技高网...

【技术保护点】
1.一种适应高帧率的人脸追踪方法，其特征在于，包括：/nS1、进行快速的人脸识别。/nS2、描述人脸区域信息，并进行标记和运动预测。/nS3、构建并维护人脸区域信息表，利用信息表实时标记人脸位置和人脸所属标签，其标记频率和帧率同步。/n

【技术特征摘要】
1.一种适应高帧率的人脸追踪方法，其特征在于，包括：
S1、进行快速的人脸识别。
S2、描述人脸区域信息，并进行标记和运动预测。
S3、构建并维护人脸区域信息表，利用信息表实时标记人脸位置和人脸所属标签，其标记频率和帧率同步。


2.根据权利要求1所述的一种适应高帧率的人脸追踪方法，其特征在于，步骤S1具体为：
S11、对视频当前帧图像计算LBP特征。
S12、计算LBP特征的灰度变化，摒弃变化不剧烈的区域，保留剩余图像。
S13、利用MTCNN人脸识别网络，处理步骤S12后保留的图像以获取人脸的双眼、鼻头、嘴唇两侧五点坐标。


3.根据权利要求1所述的一种适应高帧率的人脸追踪方法，其特征在于，步骤S2具体为：
S21、建立人脸区域信息结构体对象faceInfo。
S22、建立运动向量dictVec，并以人脸鼻头坐标为基准，计算双眼和嘴唇两侧与鼻头的距离比例，若左侧比例大幅小于右侧，初始化dictVec为向左，若右侧大幅小于左侧，则初始化dictVec为向右，否则初始dictVec为向前，将dictVec保存至faceInfo。
S23、计算每一张人脸的LBP直方图向量，将其保存为lowFaceFeature，将lowFaceFeature保存至faceInfo。


4.根据权利要求1所述的一种适应高帧率的人脸追踪方法，其特征在于，步骤S3具体为：
S31、建立人脸区域信息表faceInfoList。
S32、建立帧缓冲队列，保留采集自摄像头的图像帧。
S33、启动计算线程、人脸识别线程和特征提取线程。
S34、计算线程以和帧率相同的频...

【专利技术属性】
技术研发人员：廖士钞，杨霞，郭文生，高扬，向蓓蓓，卢秀台，张冯博，古涛铭，李南铮，钱智成，瞿元，黄一，潘文睿，熊宇，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51