一种基于回归算法的人脸跟踪方法及应用技术

本发明专利技术公开了一种基于回归算法的人脸跟踪方法及应用。本发明专利技术充分利用了待跟踪的目标是人脸这个先验信息，使得跟踪算法更具针对性，跟踪框的结果可以更加准确。所设计的人脸跟踪算法，主要由一个人脸跟踪网络和一组策略构成，能同时完成人脸框的跟踪以及跟踪结果是否依然为人脸的判断。所设计的人脸跟踪网络，采用一个单一、小型的神经网络，实现了端到端的训练以及快速的预测。所设计的人脸跟踪网络的输入仅与当前帧图像信息及上一帧的人脸框位置有关，而与上一帧及之前帧的人脸图像均无关。另外本发明专利技术还将跟踪算法和人脸检测算法进行结合，构成了一个完整的人脸检测跟踪算法，可实现视频中人脸的实时检测跟踪应用。

A Face Tracking Method Based on Regression Algorithms and Its Application

【技术实现步骤摘要】
一种基于回归算法的人脸跟踪方法及应用
本专利技术属于计算机视觉
，涉及一种基于回归算法的人脸跟踪方法及应用。
技术介绍
嵌入式视频人脸识别等应用（如人脸考勤机等）中，人脸跟踪手段的应用，对于视频的实时处理等具备重要意义；跟踪结果的准确性也可进一步降低后续分析模块（如人脸质量判断）的难度。现有的跟踪方法，主要有基于相关滤波的方法（如KCF等）、基于卷积神经网络的方法以及其他方法。这些方法，存在以下问题：1.没有利用待跟踪的目标是人脸这个先验信息，而是仅仅跟踪的是指定（或者事先框好）的一个视觉目标（可能是人眼，可能是嘴巴，可能是一只猫等等）。2.当目标发生旋转、形变，现有的跟踪方法往往难以得到位置准确的跟踪框（如，人脸从正面变成侧面等情况时）。3.对于跟踪目标消失、跟踪目标被遮挡、跟踪的人脸目标变成了后脑勺等，一般的跟踪算法（如KCF）只能给出图像中跟踪目标最可能的位置（跟踪框），而无法很好得给出跟踪框是否已经不再是一个原本要跟踪的目标这样的非常有效判断（尤其是当这种目标消失、遮挡、转向到后脑勺的过程是缓慢的）。（如专利CN108765470A，一种针对目标遮挡改进的KCF跟踪算法）4.类似KCF等单尺度的目标跟踪方法，当目标发生尺度变化时，难以得到准确的跟踪框，在这些算法基础上添加多尺度也难以包含所有尺度，同时还会带来耗时的快速增加。5.类似TLD（全称：Tracking-Learning-Detection，一种单目标长时跟踪算法），将传统跟踪算法和传统检测算法相结合来解决跟踪过程中目标发生遮挡等问题。TLD包含3个模块：跟踪模块、检测模块、学习模块，通过在线学习机制对检测模块和跟踪模块的内部参数不断更新，同时，检测模块和跟踪模块是相互独立且并行运行。整体上，TLD存在耗时大的问题。（如专利CN108765455A，一种基于TLD算法的目标稳定跟踪方法）（TLD的论文：Tracking-Learning-Detection，发表信息：IEEETransactionsonPatternAnalysisandMachineIntelligence，Volume：34，Issue：7，July2012）。总的来说，如何快速、准确得完成人脸框的跟踪以及准确判断出跟踪结果是否依然为人脸，是人脸跟踪所需要解决的问题。
技术实现思路
本专利技术针对现有技术的不足，一种基于回归算法的人脸跟踪方法及应用本专利技术充分利用了待跟踪的目标是人脸这个先验信息，并设计小型的神经网络，完成人脸目标的快速准确跟踪。进一步，将该人脸跟踪算法和人脸检测算法进行结合，构成了一个完整的人脸检测跟踪方法（人脸检测器的引入，一方面是为人脸跟踪器提供了初始跟踪框，也为切换跟踪不同的人脸提供了可能），可实现视频中人脸的实时检测跟踪应用。本专利技术的方法具体是：1.该人脸跟踪方法的输入输出为：输入：上一帧中的人脸框位置和当前帧的图像。输出：是否成功跟踪到人脸框的标记，更新后的人脸框位置（如果成功跟踪到人脸框）。2.人脸跟踪算法的算法流程为：Step1.根据提供的上一帧人脸框位置trk_face_bbx_old（由四个数值构成：cx_old，cy_old，wid_old，hei_old，分别为框的中心点的坐标以及框的宽高）和当前帧的图像，制作人脸跟踪网络的输入图像数据trknet_in_img（一个C*H*W的图片，C为通道数，H为高，W为宽）。具体包括如下过程：人脸框成比例外扩（上下左后分别外扩宽高的某个固定倍数），外扩后人脸框中的图像缩放成固定大小（C*H*W）的图像，并进一步进行像素值的归一化。Step2.将trknet_in_img输入到人脸跟踪网络，得到属于人脸的概率trknet_out_face_prob和指示人脸框位置的数据（或称为，相对人脸框）trknet_out_face_rel_bbx（由4个数值构成：dcx，dcy，sw，sh）。trknet_out_face_rel_bbx的4个数值含义为：目标人脸框中心点的相对偏移量（dxc，dcy）、目标人脸框的宽高的相对变化量的log值（sw，sh），均相对于trk_face_bbx_old的宽高。Step3.当trknet_out_face_prob大于某个事先设定的阈值thresh_face_prob，则认为跟踪到的结果是“人脸”，否则为“非人脸”。Step4.根据网络的输出trknet_out_face_rel_bbx，计算当前帧图像中的人脸框位置trk_face_bbx（cx，cy，wid，hei）cx=cx_old+dcx*wid_oldcy=cy_old+dcy*hei_oldwid=wid_old*exp(sw)hei=hei_old*exp(sh)Step5.计算trk_face_bbx_old和trk_face_bbx之间的IOU（两个矩形框交集区域面积除以两个矩形框并集区域面积，用于度量两个矩形框之间的重叠度）。Step6.如果IOU值大于某个事先设定的阈值thresh_iou，且跟踪结果判断为人脸，则表示跟踪成功，否则表示跟踪失败（表明很有可能不是同一个人脸）。Step7.输出跟踪成功与否的标志及跟踪到的人脸框位置。其中人脸跟踪网络，是设计出来的一个小型卷积网络，输入trknet_in_img是固定大小的图片，输出是属于人脸的概率trknet_out_face_prob和指示人脸框位置的数据（或称为，相对人脸框）trknet_out_face_rel_bbx（由4个数值构成：dcx，dcy，sw，sh）。跟踪结果框的准确性主要取决于人脸跟踪网络的训练：训练样本、网络结构、训练机制。人脸跟踪网络的训练样本：1.1原始图片集（单张图片上可能有多个人脸）是一系列进行了准确的人脸框标注的图片集合。1.2从已经标好人脸框的原始图片集中采集人脸跟踪网络训练所需的样本（正样本和负样本）。基于人脸标注框label_bbx，制作人脸跟踪网络所需的正负样本。1.2.1正样本：对label_bbx进行一定程度的随机缩放、平移，得到扰动后的框init_bbx，如果init_bbx与label_bbx之间的IOU值大于某个事先设定的阈值，则当前这个扰动框就可以作为一个正样本框；并进一步生成该正样本的跟踪框位置相关的待回归目标值trknet_gt_rel_bbx。trknet_gt_rel_bbx由4个数值构成：dcx，dcy，sw，sh，分别为label_bbx的中心点相对于init_bbx的中心点的相对偏移量，以及，label_bbx的宽高相对于init_bbx的宽高的相对变化量。并控制最终生成的正样本的IOU分布。如，根据IOU值将正样本分为3类，IOU属于(iou_p1,iou_p2]的为一类，IOU属于(iou_p2,iou_p3]的为一类，IOU属于(iou_p3,1]的为一类，其中iou_p1<iou_p2<iou_p3<1。并控制这三类正样本之间的比例大致为某种事先设置好的比例ratio_p1:ratio_p2:ratio_p3。1.2.2负样本：在人脸标注框的周围及原始图片集的图片中随机选定人脸初始框init_bbx，根据IOU的值（与当前图像中的所有人脸标本文档来自技高网...

【技术保护点】
1.一种基于回归算法的人脸跟踪方法，其特征在于该方法包括以下步骤：步骤1. 确定人脸跟踪方法的输入和输出：输入：上一帧中的人脸框位置和当前帧的图像；输出：是否成功跟踪到人脸框的标记，如果成功跟踪到人脸框，则更新后的人脸框位置；步骤2. 执行人脸跟踪算法，具体是：2‑1. 根据提供的上一帧人脸框位置trk_face_bbx_old和当前帧的图像，制作人脸跟踪网络的输入图像数据trknet_in_img；2‑2. 将输入图像数据trknet_in_img输入到人脸跟踪网络，得到属于人脸的概率trknet_out_face_prob和指示人脸框位置的数据trknet_out_face_rel_bbx；2‑3. 当人脸的概率trknet_out_face_prob大于某个设定的阈值thresh_face_prob时，则认为跟踪到的结果是“人脸”，否则为“非人脸”；2‑4. 根据网络的输出指示人脸框位置的数据trknet_out_face_rel_bbx，计算当前帧图像中的人脸框位置trk_face_bbx；2‑5. 计算上一帧人脸框位置trk_face_bbx_old和当前帧图像中的人脸框位置trk_face_bbx之间的重叠度IOU；2‑6. 如果重叠度IOU值大于某个设定的阈值thresh_iou，且跟踪结果判断为人脸，则表示跟踪成功，否则表示跟踪失败；2‑7. 输出跟踪成功与否的标志及跟踪到的人脸框位置。...

【技术特征摘要】
1.一种基于回归算法的人脸跟踪方法，其特征在于该方法包括以下步骤：步骤1.确定人脸跟踪方法的输入和输出：输入：上一帧中的人脸框位置和当前帧的图像；输出：是否成功跟踪到人脸框的标记，如果成功跟踪到人脸框，则更新后的人脸框位置；步骤2.执行人脸跟踪算法，具体是：2-1.根据提供的上一帧人脸框位置trk_face_bbx_old和当前帧的图像，制作人脸跟踪网络的输入图像数据trknet_in_img；2-2.将输入图像数据trknet_in_img输入到人脸跟踪网络，得到属于人脸的概率trknet_out_face_prob和指示人脸框位置的数据trknet_out_face_rel_bbx；2-3.当人脸的概率trknet_out_face_prob大于某个设定的阈值thresh_face_prob时，则认为跟踪到的结果是“人脸”，否则为“非人脸”；2-4.根据网络的输出指示人脸框位置的数据trknet_out_face_rel_bbx，计算当前帧图像中的人脸框位置trk_face_bbx；2-5.计算上一帧人脸框位置trk_face_bbx_old和当前帧图像中的人脸框位置trk_face_bbx之间的重叠度IOU；2-6.如果重叠度IOU值大于某个设定的阈值thresh_iou，且跟踪结果判断为人脸，则表示跟踪成功，否则表示跟踪失败；2-7.输出跟踪成功与否的标志及跟踪到的人脸框位置。2.根据权利要求1所述的一种基于回归算法的人脸跟踪方法，其特征在于：步骤2.1中制作人脸跟踪网络的输入图像数据trknet_in_img具体是：人脸框成比例外扩，外扩后人脸框中的图像缩放成固定大小的图像，并进一步进行像素值的归一化。3.根据权利要求1所述的一种基于回归算法的人脸跟踪方法，其特征在于：步骤2.2中所述的人脸跟踪网络是一个基于SqueezeNet设计的小型有效的卷积网络，其中，指示人脸框位置的数据trknet_out_face_rel_bbx是在共有特征的基础上再连接一个卷积层和一个全连接层得到；属于人脸的概率trknet_out_face_prob是在共有特征的基础上再连接一个卷积层、一个全连接层、一个softmax层得到；所述的人脸跟踪网络在使用前需要先进行训练，其训练样本的获取过程为：采集原始图片集，该原始图...

【专利技术属性】
技术研发人员：尚凌辉，张兆生，王弘玥，应乐斌，丁连涛，
申请(专利权)人：浙江捷尚视觉科技股份有限公司，
类型：发明
国别省市：浙江,33