一种基于双任务学习的目标跟踪及身份识别方法技术

本发明专利技术公开了一种基于双任务学习的目标跟踪及身份识别方法，涉及目标跟踪及识别领域，技术方案为，抓拍人脸及行人图片，同时记录抓拍时间和地点，对两个位置的摄像头拍摄到的图片进行人脸相似度结果识别和行人特征识别；确定两个摄像头获取图片为同一目标行人；将确定为同一目标行人的人脸识别和行人特征识别信息整合为全局特征；结合时空信息确认目标行人的行为模式特征，所述时空信息包括上传至服务器的抓拍时间和地点信息；通过获取的行为模式特征及全局特征进行目标行人识别。本发明专利技术的有益效果是：本发明专利技术利用多个人脸摄像头抓拍点抓拍人脸及行人图片，缓解了复杂场景下，目标跟踪及身份难以确定的技术挑战，此方法方式更加友好。

A method of target tracking and identification based on dual task learning

【技术实现步骤摘要】
一种基于双任务学习的目标跟踪及身份识别方法
本专利技术涉及目标跟踪及识别领域，特别涉及一种基于双任务学习的目标跟踪及身份识别方法。
技术介绍
基于深度学习的目标跟踪、行人再识别及人脸识别技术日益成熟。但在复杂场景中，仅基于图片的目标跟踪及识别技术难以满足人们的要求。其原因在于：(1)、复杂场景中，随机抓拍的人脸及行人图片易受到环境及目标抓拍的角度等因素影响；(2)、非配合场景中，大角度及低分辩的人脸识别技术难以实现目标身份“头位命中”。数据融合技术是处理传统方法的一种有效手段。基于深度学习苏纳法框架，本专利技术提出一种基于双任务学习的目标跟踪及身份识别方法。融合学习行人图片、人脸比对结果及时空信息等数据，训练一个端到端的神经网络模型，实现对目标的跟踪与身份识别的任务。
技术实现思路
针对上述技术问题，本专利技术提供一种基于双任务学习的目标跟踪及身份识别方法。其技术方案为，包括S1、在行人行进路线上安装多个人脸摄像头，抓拍人脸及行人图片，同时记录抓拍时间和地点，并将图片及对应的信息上传至数据服务器；S2、结合数据库，对S1中两个位置的摄像头拍摄到的人脸图片进行人脸相似度结果识别，对S1两个摄像头拍摄到的行人图片进行行人特征识别；S3、对S2的识别结果进行转化比对，确定两个摄像头获取图片中人脸相似度识别和行人特征识别为同一目标行人；S4、将确定为同一目标行人的人脸识别和行人特征识别信息整合为全局特征；结合时空信息确认目标行人的行为模式特征，所述时空信息包括S1上传至服务器的抓拍时间和地点信息；S5、通过S4获取的行为模式特征及全局特征进行目标行人识别。优选为，所述S2具体为，S201、利用海量的行人数据与人脸数据分别预训练一个行人特征提取与人脸识别模型；S202、根据所述S1中相邻两个摄像头获取的行人图片，用所述S201的行人特征提取模型提取行人特征P1和P2；S203、搭建人脸数据库，根据所述S1中相邻两个摄像头获取的人脸图片，利用步骤S201人脸识别模型提取人脸特征；分别返回两个摄像头与人脸数据库中相似度排序高的若干人脸编号ID1和ID2及相似度结果F1和F2。优选为，所述S203具体为，利用余弦距离公式计算人脸特征与人脸库中人脸特征的相似度，并返回两个摄像头的人脸相似度中按从大到小排序靠前的若干个人脸库编号ID1和ID2及对应的相似度结果F1和F2。优选为，可取排序前10的人脸编号ID及相似度结果F。优选为，所述S3具体为，S301、分别将S2人脸识别的相似度结果F1与F2输入到结果转化矩阵中进行学习，输出为人脸识别相似度的转化特征T1与T2；S302、根据S2得到的行人特征P1与P2，分别计算行人特征P1与P2的余弦相似度距离L1，和转化特征T1与T2的余弦相似度距离L2；S303、通过公式θ＝λ1L1+λ2L2，判断行人特征P1与P2、F1与F2是否属于同一目标行人；如当θ大于阈值时，判断是为同一目标。优选为，所述S4具体为，S401、将时空信息，即摄像头位置信息和照片抓拍时间信息，输入行为模式学习层(embedingmodel)学习目标行人的行为模式特征ST；S402、将转化特征T1与T2分别输入置信度-局部注意力机制模型，输出为局部置信特征X1与X2；S402、将转化特征T1与T2同时输入置信度-全部注意力机制模型，输出为全局置信特征X3。优选为，所述S5具体为，将所述S4的行为模式特征ST、局部置信特征X1与X2及全局置信特征X3串联为串联特征，并将所述串联特征输入全连接神经网络学习，以softmax层为网络输出，串联特征的输出结果中概率最高下标所对应的目标身份即为本专利技术识别结果。优选为，所述S301中，基于转化矩阵识别人脸相似度的方法为，借助公式：T＝WF；其中，T为转化特征、W为权重矩阵、F为人脸识别相似度结果；利用余弦距离公式计算T1与T2的距离L2，当L2小于阈值时，即可判断T1与T2为同一目标信息。优选为，所述S4中，置信度-局部注意力机制模型包括：(1)、T′＝β*T,其中(2)、将特征T′与特征T串联输入两层的全连接网络输出为T″，其维度与T相同；(3)、X＝T*T″，其中X为置信度-注意力机制模型的输出；其中T表示转化特征、Ti表示转化特征的第i个元素、Tmin表示转化特征的最小元素、Tmax表示转化特征的最大元素；β表示置信度权重因子、T″表示置信度-注意力因子。优选为，所述S4中，置信度-全局注意力机制模型的细节包括：(1)、将转化特征T1与T2相加生成融合特征V及目标身份ID特征ID1与ID2相加生成融合特征K；(2)、V′＝γ*V，其中(3)、将特征V′、特征K与特征V串联输入两层的全连接网络输出为V″，其维度与V相同；(4)、X＝V*V″，其中X为置信度-注意力机制模型的输出；其中V表示融合特征、Vi表示融合特征的第i个元素、Vmin表示融合特征的最小元素、Vmax表示融合特征的最大元素；γ表示置信度权重因子、V″表示置信度-注意力因子。优选为，所述S5的公式为：V＝(ST:X1:X2:X3)；Y＝F(V)；其中(ST:X1:X2:X3)表示将ST、X1、X2、X3特征串联生成一个融合特征，F(V)表示本专利技术的神经网络模型，Y表示模型输出。本专利技术实施例提供的技术方案带来的有益效果是：1、本专利技术利用多个人脸摄像头抓拍点抓拍人脸及行人图片，缓解了复杂场景下，目标跟踪及身份难以确定的技术挑战，此方法方式更加友好；2、通过结果转化矩阵学习的方式，发现同一目标的人脸识别相似度结果，这种方式较为高效、准确；3、结合行人特征及人脸识别相似度转化特征的余弦距离实现目标再识别；4、通过置信度-注意力机制，发现更为精确的人脸识别相似度结果；5、融合了目标的行为模式特征ST、局部置信特征X1与X2及全局置信特征X3，能准确识别目标的身份。附图说明图1为本专利技术实施例的方法流程图。图2为本专利技术实施例的目标跟踪原理图。图3为本专利技术实施例的目标识别流程原理图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。需要说明的是，在不冲突的情况下，本专利技术创造中的实施例及实施例中的特征可以相互组合。实施例1参见图1至图3，本专利技术提供一种基于双任务学习的目标跟踪及身份识别方法，包括S1、在行人行进路线上安装多个人脸摄像头，抓拍人脸及行人图片，同时记录抓拍时间和地点，并将图片及对应的信息上传至数据服务器；S2、结合数据库，对S1中两个位置的摄像头拍摄到本文档来自技高网...

【技术保护点】
1.一种基于双任务学习的目标跟踪及身份识别方法，其特征在于，包括/nS1、在行人行进路线上安装多个人脸摄像头，抓拍人脸及行人图片，同时记录抓拍时间和地点，并将图片及对应的信息上传至数据服务器；/nS2、结合数据库，对S1中两个位置的摄像头拍摄到的人脸图片进行人脸相似度结果识别，对S1两个摄像头拍摄到的行人图片进行行人特征识别；/nS3、对S2的识别结果进行转化比对，确定两个摄像头获取图片中人脸相似度识别和行人特征识别为同一目标行人；/nS4、将确定为同一目标行人的人脸识别和行人特征识别信息整合为全局特征；结合时空信息确认目标行人的行为模式特征，所述时空信息包括S1上传至服务器的抓拍时间和地点信息；/nS5、通过S4获取的行为模式特征及全局特征进行目标行人识别。/n

【技术特征摘要】
1.一种基于双任务学习的目标跟踪及身份识别方法，其特征在于，包括
S1、在行人行进路线上安装多个人脸摄像头，抓拍人脸及行人图片，同时记录抓拍时间和地点，并将图片及对应的信息上传至数据服务器；
S2、结合数据库，对S1中两个位置的摄像头拍摄到的人脸图片进行人脸相似度结果识别，对S1两个摄像头拍摄到的行人图片进行行人特征识别；
S3、对S2的识别结果进行转化比对，确定两个摄像头获取图片中人脸相似度识别和行人特征识别为同一目标行人；
S4、将确定为同一目标行人的人脸识别和行人特征识别信息整合为全局特征；结合时空信息确认目标行人的行为模式特征，所述时空信息包括S1上传至服务器的抓拍时间和地点信息；
S5、通过S4获取的行为模式特征及全局特征进行目标行人识别。


2.根据权利要求1所述的基于双任务学习的目标跟踪及身份识别方法，其特征在于，所述S2具体为，
S201、利用行人数据与人脸数据分别预训练一个行人特征提取与人脸识别模型；
S202、根据所述S1中相邻两个摄像头获取的行人图片，用所述S201的行人特征提取模型提取行人特征P1和P2；
S203、搭建人脸数据库，根据所述S1中相邻两个摄像头获取的人脸图片，利用步骤S201人脸识别模型提取人脸特征；分别返回两个摄像头与人脸数据库中相似度排序高的若干人脸编号ID1和ID2及相似度结果F1和F2。


3.根据权利要求2所述的基于双任务学习的目标跟踪及身份识别方法，其特征在于，所述S203具体为，利用余弦距离公式计算人脸特征与人脸库中人脸特征的相似度，并返回两个摄像头的人脸相似度中按从大到小排序靠前的若干个人脸库编号ID1和ID2及对应的相似度结果F1和F2。


4.根据权利要求2所述的基于双任务学习的目标跟踪及身份识别方法，其特征在于，所述S3具体为，
S301、分别将S2人脸识别的相似度结果F1与F2输入到结果转化矩阵中进行学习，输出为人脸识别相似度的转化特征T1与T2；
S302、根据S2得到的行人特征P1与P2，分别计算行人特征P1与P2的余弦相似度距离L1，和转化特征T1与T2的余弦相似度距离L2；
S303、通过公式θ＝λ1L1+λ2L2，判断行人特征P1与P2、F1与F2是否属于同一目标行人；
如当θ大于阈值时，判断是为同一目标。


5.根据权利要求4所述的基于双任务学习的目标跟踪及身份识别方法，其特征在于，所述S4具体为，
S401、将时空信息输入行为模式学习层学习目标行人的行为模式特征ST；
S402、将转化特征T1与T2分别输入置信度-局部注意力机制模型...

【专利技术属性】
技术研发人员：蔡晓东，黄玳，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西;45