人脸跟踪方法和装置制造方法及图纸

本发明专利技术实施例提供一种人脸跟踪方法和装置，所述人脸跟踪方法包括获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征；获取参考人脸图像对应的人脸关键点和深度特征，作为第二人脸关键点和第二深度特征；计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，以及计算所述第一深度特征与所述第二深度特征之间的第二距离；判断所述第一距离和所述第二距离是否满足第一预设需求，若满足第一预设需求，则判定人脸跟踪成功。本发明专利技术实施例综合人脸关键点和深度特征进行人脸跟踪，能够适应不同复杂环境下的人脸跟踪，确保人脸跟踪的可靠性。

Face Tracking Method and Device

The embodiment of the present invention provides a face tracking method and device. The face tracking method includes acquiring the face key points and depth features corresponding to the current face image to be tracked as the first face key points and the first depth features, and acquiring the face key points and depth features corresponding to the reference face image as the second. The first key point of a face and the second depth feature are calculated; the first distance between the first key point of a face and the second key point of a face is calculated; and the second distance between the first key point of a face and the second depth feature is calculated; whether the first distance and the second distance satisfy the first presupposition requirement is judged. The first preset requirement determines the success of face tracking. The embodiment of the present invention integrates the key points and depth features of face for face tracking, can adapt to face tracking in different complex environments, and ensures the reliability of face tracking.

【技术实现步骤摘要】
人脸跟踪方法和装置
本专利技术涉及视频监控
，具体而言，涉及一种人脸跟踪方法和装置。
技术介绍
人脸监控在小区门禁、地铁安检等越来越多的实际场景中应用，尤其是在维稳反恐、流动人员管控等方面尤其重要。但在现有的人脸监控过程中，由于人员流动的随意性较大，经常出现如转头、低头、遮挡等情况，使得一般的人脸跟踪方法在此类情况下失效，进而导致产生大量的误拍、多拍问题，影响后续的人脸比对、识别和跟踪。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种人脸跟踪方法和装置，以改善上述问题。本专利技术较佳实施例提供了一种人脸跟踪方法，包括：获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征；获取参考人脸图像对应的人脸关键点和深度特征，作为第二人脸关键点和第二深度特征；计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，以及计算所述第一深度特征与所述第二深度特征之间的第二距离；判断所述第一距离和所述第二距离是否满足第一预设需求，若满足第一预设需求，则判定人脸跟踪成功。进一步地，所述第一人脸关键点与所述第二人脸关键点之间的第一距离DK通过以下公式计算得到：其中，d为归一化参数，i为人脸关键点的数量，Kn(xi)为第二人脸关键点的x轴坐标，Kn(yi)为第二人脸关键点的y轴坐标，Kn+1(xi)为第一人脸关键点的x轴坐标，Kn+1(yi)为第一人脸关键点的y轴坐标。进一步地，所述第一深度特征与所述第二深度特征之间的第二距离DF通过以下公式计算得到：其中，i为深度特征Fn或Fn+1的维度数，Fn(i)为第i维的第二深度特征，Fn+1(i)为第i维的第一深度特征。进一步地，在执行计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离的步骤之前，所述方法还包括：根据所述第一人脸关键点判断当前待跟踪的所述人脸图像区域数据是否存在异常；若所述人脸图像区域数据不存在异常，则执行计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，直至若满足第一预设需求，则判定人脸跟踪成功的步骤。进一步地，所述方法还包括：若所述人脸图像区域数据存在异常，则计算所述第一深度特征与所述第二深度特征之间的第二距离；判断所述第二距离是否满足第二预设需求，若满足第二预设需求，则判定人脸跟踪成功。进一步地，获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征的步骤，包括：获取当前待跟踪的人脸图像区域数据，以及训练后的人脸多任务学习及卷积神经网络模型；将所述人脸图像区域数据输入所述人脸多任务学习及卷积神经网络模型中以计算得到用于人脸跟踪的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征。进一步地，所述人脸多任务学习及卷积神经网络模型通过以下训练步骤得到：步骤S1113，获取训练样本；步骤S1114，将所述训练样本输入预设人脸多任务学习及卷积神经网络中以计算得到人脸关键点和深度特征的损失函数值；步骤S1115，根据所述损失函数值计算所述预设人脸多任务学习及卷积神经网络的反向导数；步骤S1116，根据所述反向导数计算所述预设人脸多任务学习及卷积神经网络中所有节点的权重参数的偏导数，根据所述偏导数对所述预设人脸多任务学习及卷积神经网络的权重参数进行修正并更新；重复上述步骤S1114至步骤S1116直到所述损失函数值收敛到最小值且不再减小，将该损失函数值对应的权重参数作为所述预设人脸多任务学习及卷积神经网络的权重参数以得到人脸多任务学习及卷积神经网络模型。进一步地，所述人脸关键点和深度特征的损失函数值L(θ)以及所述反向导数分别通过以下公式计算得到：L(θ)＝ηL1(θ)+λL2(θ)＝η∑l1(θ)+λ∑l2(θ)；其中，L1(θ)和L2(θ)分别表示人脸关键点和深度特征的前向损失，η表示人脸关键点的前向损失的权重值，λ表示深度特征的前向损失的权重值。本专利技术较佳实施例还提供一种人脸跟踪装置，包括：当前数据获取模块，用于获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征；参考数据获取模块，用于获取参考人脸图像对应的人脸关键点和深度特征，作为第二人脸关键点和第二深度特征；数据计算模块，用于计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，以及计算所述第一深度特征与所述第二深度特征之间的第二距离；跟踪判断模块，用于判断所述第一距离和所述第二距离是否满足第一预设需求，若满足第一预设需求，则判定人脸跟踪成功。进一步地，所述装置还包括：异常判断模块，用于根据所述第一人脸关键点判断所述人脸图像区域数据是否存在异常；以及在所述人脸图像区域数据不存在异常时，执行计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，直至若满足第一预设需求，则判定人脸跟踪成功的步骤。本专利技术实施例提供一种人脸跟踪方法和装置，其中，通过联合人脸关键点和深度特征进行人脸追踪、监控，避免了现有技术中出现的由于被监控人员转头、低头、脸部遮挡等情况引起的监控失效问题。同时，本专利技术实施例能够适应不同复杂环境下的人脸跟踪，确保人脸跟踪的可靠性。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术实施例提供的电子设备的方框结构示意图。图2为本专利技术实施例提供的人脸跟踪方法的流程示意图。图3为图2中所示的步骤S110子流程示意图。图4为图3中所示的步骤S111子流程示意图。图5为图3中所示的步骤S111另一子流程示意图。图6为本专利技术实施例提供的预设人脸多任务学习及卷积神经网络的结构示意图。图7为本专利技术实施例提供的人脸跟踪装置的方框结构示意图。图标：10-电子设备；100-人脸跟踪装置；110-当前数据获取模块；120-参考数据获取模块；130-数据计算模块；140-跟踪判断模块；150-异常判断模块；200-存储器；300-存储控制器；400-处理器。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。如图1所示，为应用本专利技术实施例提供的人脸跟踪方法和装置的电子设备10的方框结构示意图，该电子设备10包括人脸跟踪装置100、存储器200、存储控制器300以及处理器400。其中，所述存储器200、存储控制器300和处理器400各元件相互之间本文档来自技高网...

【技术保护点】
1.一种人脸跟踪方法，其特征在于，包括：获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征；获取参考人脸图像对应的人脸关键点和深度特征，作为第二人脸关键点和第二深度特征；计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，以及计算所述第一深度特征与所述第二深度特征之间的第二距离；判断所述第一距离和所述第二距离是否满足第一预设需求，若满足第一预设需求，则判定人脸跟踪成功。

【技术特征摘要】
1.一种人脸跟踪方法，其特征在于，包括：获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征；获取参考人脸图像对应的人脸关键点和深度特征，作为第二人脸关键点和第二深度特征；计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，以及计算所述第一深度特征与所述第二深度特征之间的第二距离；判断所述第一距离和所述第二距离是否满足第一预设需求，若满足第一预设需求，则判定人脸跟踪成功。2.根据权利要求1所述的人脸跟踪方法，其特征在于，所述第一距离DK通过以下公式计算得到：其中，d为归一化参数，i为人脸关键点的数量，Kn(xi)为第二人脸关键点的x轴坐标，Kn(yi)为第二人脸关键点的y轴坐标，Kn+1(xi)为第一人脸关键点的x轴坐标，Kn+1(yi)为第一人脸关键点的y轴坐标。3.根据权利要求1所述的人脸跟踪方法，其特征在于，所述第二距离DF通过以下公式计算得到：其中，i为深度特征Fn或Fn+1的维度数，Fn(i)为第i维的第二深度特征，Fn+1(i)为第i维的第一深度特征。4.根据权利要求1所述的人脸跟踪方法，其特征在于，在执行计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离的步骤之前，所述方法还包括：根据所述第一人脸关键点判断当前待跟踪的所述人脸图像区域数据是否存在异常；若所述人脸图像区域数据不存在异常，则执行计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，直至若满足第一预设需求，则判定人脸跟踪成功的步骤。5.根据权利要求4所述的人脸跟踪方法，其特征在于，所述方法还包括：若所述人脸图像区域数据存在异常，则计算所述第一深度特征与所述第二深度特征之间的第二距离；判断所述第二距离是否满足第二预设需求，若满足第二预设需求，则判定人脸跟踪成功。6.根据权利要求1所述的人脸跟踪方法，其特征在于，获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征的步骤，包括：获取当前待跟踪的人脸图像区域数据，以及训练后的人脸多任务学习及卷积神经网络模型；将所述人脸图像区域数据输入所述人脸多任务学习及卷积神经网络模型中以计算得到用于人脸跟踪的人脸关键点和深度特征，作为第一人脸关键点...

【专利技术属性】
技术研发人员：刘承文，李聪廷，黄攀，陈航锋，汪辉，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江,33