一种实时多人脸的检测及跟踪方法技术

本发明专利技术公开了一种实时多人脸的检测及跟踪方法，所述方法包括：从输入的视频流中获取每一视频帧的图像；通过人脸检测模型对获取的视频帧进行人脸位置坐标的检测，并将人脸位置坐标存储到人脸位置坐标容器；人脸跟踪初始化操作，从人脸位置坐标容器中提取目标人脸的位置坐标直至取完，并从特征点容器中提取目标人脸的特征点进行后续人脸跟踪的更新；建立图像金字塔模型，根据该模型预测当前视频帧人脸目标的位置；跟踪人脸并显示。本发明专利技术解决了现有的人脸识别及跟踪的准确性不高且不能达到实时跟踪的问题。

【技术实现步骤摘要】
一种实时多人脸的检测及跟踪方法
本专利技术属于人脸检测及跟踪领域，具体涉及一种实时多人脸的检测及跟踪方法。
技术介绍
随着科学技术的快速发展，基于计算机视觉的相关技术得以广泛应用，其中人脸跟踪技术在视频安防、自动门禁、商场购物等场景下得以广泛应用。人脸跟踪技术主要包括人脸检测和人脸跟踪技术。人脸检测技术是指在图片中找到人脸位置。人脸跟踪技术是指给定初始人脸位置，在连续视频帧中进行持续人脸位置预测。当前主流的人脸跟踪技术按原理大致分为三种，一是基于相关滤波跟踪方法，二是基于深度学习跟踪方法，三是基于光流跟踪方法。基于相关滤波跟踪方法具有代表性的是KCF(KernelizedCorrelationFilter)和SRDCF(SpatiallyRegularizedDiscriminativeCorrelationFilter)。KCF方法采用循环矩阵获取正负样本，并在跟踪过程中训练一个目标检测器，利用目标检测器去检测下一帧的跟踪目标是否为真实目标，然后再使用新检测结果去更新训练集进而更新目标检测器。该方法的缺陷是，当物体移动速度很快，出现边界效应或动态模糊现象时，会丢失跟踪目标。SRDCF方法提出多尺度，采用更大的检测区域解决边界效应，但是此方法运行速度很慢，无法满足实时性要求。基于深度学习的跟踪方法具有代表性的是MDNet(Multi-DomainConvolutionalNeuralNetwork)，网络由共享层和特定域的层多分支组成，其中域对应于独立的训练等级，并且每个分支负责一个二分类去识别每个域中的目标，针对每个域采用迭代方式去训练网络，获得共享层中的通用目标特征提取。在跟踪视频序列中的目标时，结合预训练CNN(ConvolutionNeuralNetwork)中共享层与二分类层构成一个新的网络，同时提出在线跟踪(onlinetracking)，在线跟踪是通过评估前一帧目标周围随机采样得到的候选窗口实现的，跟踪目标特征提取准确度较高，但因网络参数较多，使用CPU很难达到实时性目标跟踪。基于光流跟踪的方法具有代表性的是LK(Lucas-Kanade)光流估计差分方法，该方法是一种基于梯度的局部微分光流计算方法，这种光流法首先要满足三个假设，假设1，亮度恒定，就是同一点随着时间的变化，其亮度不会发生改变。假设2，小运动，就是时间的变化不会引起位置的剧烈变化。假设3，空间一致，一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。光流法能够在任何复杂的场景下进行目标跟踪。该方法可以准确、快速完成目标跟踪，比较适合应用在计算力比较小的终端上。要在计算力比较小的CPU(比如i5-6200)上实现，所以要求实现方法的计算量要小，算法设计不能太复杂。相比于相关滤波跟踪方法和深度学习跟踪方法，基于光流跟踪方法的优势是可以更快速实现目标跟踪，而且对于人脸遮挡、人脸姿态表情复杂、人脸移动速度快、跟踪环境背景复杂有更好的鲁棒性，适合在计算力比较小的CPU处理器上实现。但是，目前的基于光流跟踪的方法在处理人脸检测及跟踪过程中，出现了如下问题：1.遮挡问题，遮挡包括人与人，人与物之间的遮挡，会造成人脸信息的缺失，这将直接导致跟踪目标丢失，跟踪准确率下降。2.动态模糊和边界效应，这将造成人脸信息模糊，特征提取不准确，直接导致跟踪目标的丢失。3.背景环境复杂，背景环境包括光照条件的变化、色彩和物体多种多样，有时跟踪目标颜色会和背景环境颜色一致，这些都将给人脸跟踪任务带来巨大的挑战。4.效率问题，现有多人脸跟踪技术较难以满足实时性要求，尤其是在计算力比较低的CPU设备上。在人脸姿态表情复杂、人脸存在遮挡、外界环境背景复杂以及光照条件多变等情况下，容易导致跟踪的准确性降低且不能做到实时跟踪的效果。
技术实现思路
基于现有技术的上述缺陷，本专利技术的目的是提供一种实时多人脸的检测及跟踪方法，以解决现有的人脸识别及跟踪的准确性不高且不能达到实时跟踪的问题。本专利技术采用的技术方案如下：一种实时多人脸的检测及跟踪方法，所述方法包括：从输入的视频流中获取每一视频帧的图像；通过人脸检测模型对获取的视频帧进行人脸位置坐标的检测，并将人脸位置坐标存储到人脸位置坐标容器；人脸跟踪初始化操作，从人脸位置坐标容器中提取跟踪的目标人脸的位置坐标直至取完，采用空间梯度矩阵提取目标特征点并存储到特征点容器以用于后续人脸跟踪的更新；建立图像金字塔模型，根据该模型预测当前视频帧人脸目标的位置；统计跟踪帧数，当跟踪帧数满足设定的跟踪帧数阈值，就重新进行一次人脸检测，当不满足时，则计算检测到的人脸位置坐标框中心点与人脸跟踪更新预测到的人脸位置坐标框中心点之间的距离，当计算距离小于设定的距离阈值则不需要进行人脸跟踪初始化，当计算距离大于设定的距离阈值则需要进行人脸跟踪初始化，将最终结果进行显示输出。进一步地，对目标人脸的位置坐标提取包括：根据公式：计算输入图像I给定跟踪目标区域A中每个像素点P的空间梯度矩阵G,Ax为目标区域A在x轴方向的梯度，Ay为目标区域A在y轴方向的梯度；计算每个G的最小特征值λm且存储λm大于给定特征值阈值λth所对应的像素点P，再判断该像素点P是否大于周围3×3邻域内其他像素点，如果大于，则保留像素点P并从所有存储的最小特征值λm中找到最大值λmax，如果小于，则不再保留，执行下述操作；计算保留下来的像素点之间的距离distance并与距离阈值distanceth比较，保留distance大于距离阈值distanceth的像素点，保留的这些像素点即为提取的特征点，用于后续的人脸跟踪及更新。进一步地，根据图像金字塔模型对人脸跟踪具体包括：建立金字塔，定义I0是金字塔最底层，也就是第0层的图像，其分辨率最高，L表示金字塔层数，L取大于1的自然数，IL表示第L层图像；将金字塔顶层的光流计算结果反馈到次顶层，gL作为顶层初始时的光流值估计，设为0，次顶层的光流值估计为gL-1，金字塔顶层，也即第L-1层的光流值dL-1,gL-2＝2(gL-1+dL-1)＝2(0+dL-1)＝2dL-1，继续沿着金字塔向下反馈，重复迭代，直至到达金字塔最底层，得到最终的原图光流值d为：d＝g0+d0，最终光流值就是所有层的分段光流值d的叠加，即：由上一帧图像给定目标区域A提取的目标特征点位置A(x,y)计算出当前帧目标区域B特征点位置B(x+vx,y+vy)，vx,vy为光流值d在x轴，y轴的位移分量；在当前帧图像显示出跟踪目标人脸的位置。进一步地，在当前帧图像画出跟踪目标人脸的位置后，判断是否已将所有特征点从人脸位置坐标容器中取出，若容器不为空，则继续取出，若为空，则执行下述操作：如果统计的跟踪帧数等于设定跟踪帧数阈值，则对获取到的第一帧图像进行人脸检测，如果不满足，则进行下述操作：根据跟踪预测到的人脸位置中心点ftrack(xt_center,yt_center)和人脸检测得到的人脸位置中心点fdetection(xd_center,yd_center)，计算两点的距离l，设定距离阈值lth＝15，当距离l大于距离阈值lth时，表明检测到的人脸位置和跟踪的人脸位置相差较大，此时应根据检测到的人脸位置重新进行人脸跟踪初始化操作，当距离l小于等于距离阈值lth本文档来自技高网...

【技术保护点】
1.一种实时多人脸的检测及跟踪方法，其特征在于，所述方法包括：从输入的视频流中获取每一视频帧的图像；通过人脸检测模型对获取的视频帧进行人脸位置坐标的检测，并将人脸位置坐标存储到人脸位置坐标容器；人脸跟踪初始化操作，从人脸位置坐标容器中提取目标人脸的位置坐标直至取完，提取人脸目标的特征点存储到特征点容器以用于后续目标人脸的跟踪更新；建立图像金字塔模型，根据该模型预测当前视频帧人脸目标的位置；统计跟踪帧数，当跟踪帧数满足设定的跟踪帧数阈值，就重新进行一次人脸检测，当不满足时，则计算检测到的人脸位置坐标框中心点与人脸跟踪更新预测到的人脸位置坐标框中心点之间的距离，当计算距离小于设定的距离阈值则不需要进行人脸跟踪初始化，当计算距离大于设定的距离阈值则需要进行人脸跟踪初始化，将最终结果进行显示输出。

【技术特征摘要】
1.一种实时多人脸的检测及跟踪方法，其特征在于，所述方法包括：从输入的视频流中获取每一视频帧的图像；通过人脸检测模型对获取的视频帧进行人脸位置坐标的检测，并将人脸位置坐标存储到人脸位置坐标容器；人脸跟踪初始化操作，从人脸位置坐标容器中提取目标人脸的位置坐标直至取完，提取人脸目标的特征点存储到特征点容器以用于后续目标人脸的跟踪更新；建立图像金字塔模型，根据该模型预测当前视频帧人脸目标的位置；统计跟踪帧数，当跟踪帧数满足设定的跟踪帧数阈值，就重新进行一次人脸检测，当不满足时，则计算检测到的人脸位置坐标框中心点与人脸跟踪更新预测到的人脸位置坐标框中心点之间的距离，当计算距离小于设定的距离阈值则不需要进行人脸跟踪初始化，当计算距离大于设定的距离阈值则需要进行人脸跟踪初始化，将最终结果进行显示输出。2.根据权利要求1所述的实时多人脸的检测及跟踪方法，其特征在于，对目标人脸的位置坐标提取包括：根据公式：计算输入图像I给定跟踪目标区域A中每个像素点P的空间梯度矩阵G,Ax为目标区域A在x轴方向的梯度，Ay为目标区域A在y轴方向的梯度，计算每个G的最小特征值λm且存储λm大于给定特征值阈值λth所对应的像素点P，再判断该像素点P是否大于周围3×3邻域内其他像素点，如果大于，则保留像素点P并从所有存储的最小特征值λm中找到最大值λmax，如果小于，则不再保留，执行下述操作；计算保留下来的像素点之间的距离distance并与距离阈值distanceth比较，保留distance大于距离阈值distanceth的像素点，保留的这些像素点即为提取的特征点，用于后续的人脸跟踪及更新。3.根据权利要求2所述的实时多人脸的检测及跟踪方法，其特征在于，根据图像金字塔模型对人脸跟踪具体包括：建立金字塔，定义I0是金字塔最底层，也就是第0层的图像，其分辨率最高，L表示金字塔层数，L取大于1的自然数，IL表示第L层图像；将金字塔顶层的光流计算结果反馈到次顶层，gL作为顶层初始时的光流值估计，设为0，次顶层的光流值估计为gL-1，金字塔顶层，也即第L-1层的光流值dL-1,gL-2＝2(gL-1+dL-1)＝2(0+dL-1)＝2dL-1，继续沿着金字塔向下反馈，重复迭代，直至到达金字塔最底层，得到最终的原图光流值d为：d＝g0+d0，最终光流值就是所有层的分段光流值d的叠加，即：由上一帧图像给定目标区域A提取的目标特征点位置A(x,y)计算出当前帧目标区域B特征点位置B(x+vx,y+vy)，vx,vy为光流值d在x轴，y轴的位移分量；在当前帧图像显示出跟踪目标人脸的位置。4.根据权利要求3所述的实时多人脸的检测及跟踪方法，其特...

【专利技术属性】
技术研发人员：张宁，李玉惠，金红，杨满智，刘长永，陈晓光，蔡琳，
申请(专利权)人：恒安嘉新北京科技股份公司，国家计算机病毒应急处理中心，
类型：发明
国别省市：北京,11