本发明专利技术公开了一种监控场景下的双目行人识别方法及装置，该方法包括：第一步，在长焦距的图像帧上由人脸检测器给出人脸在当前帧上的初始位置，同时，在短焦距的图像帧上由行人检测器给出行人目标在当前帧上的初始位置；第二步，由人脸跟踪器在后续帧上进行跟踪，同时，由行人跟踪器在后续帧上进行跟踪；第三步，进行人脸轨迹评估，提取人脸关键点并校正；进行行人轨迹评估，提取行人关键点并校正；第四步，提取行人特征，提取人脸特征；第五步，进行融合识别。设计了有效融合人脸特征和行人特征的行人识别流水线，从而有效解决监控场景下的行人识别问题，同时兼顾人脸特征和行人特征，大大提高了识别的准确率。提高了识别的准确率。提高了识别的准确率。
【技术实现步骤摘要】
一种监控场景下的双目行人识别方法及装置
[0001]本专利技术涉及计算机视觉研究领域，具体涉及一种监控场景下的双目行人识别方法及装置。
技术介绍
[0002]人脸识别是图像分析与理解最重要的应用之一，人脸识别是利用计算机分析人脸视频或者图像，并从中提取出有效的识别信息，最终判别人脸对象的身份。人脸识别的研究可以追溯到20世纪 60年代末期，主要的思路是设计特征提取器，再利用机器学习的算法进行分类。2012深度学习引入人脸识别领域后，特征提取转由神经网络完成，深度学习在人脸识别上取得了巨大的成功。
[0003]行人识别指的是判别摄像头下出现的行人的身份， 广泛应用于智能视频监控、安保、刑侦等领域。
[0004]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：由于行人图像的分辨率变化大、拍摄角度不统一、光照条件差、环境变化大、行人姿态、行人着装不断变化等原因， 使得行人识别成为目前计算机视觉领域一个既具有研究价值又极具挑战性的研究热点和难点问题。
技术实现思路
[0005]为了克服现有技术的不足，本专利技术提供了一种监控场景下的双目行人识别方法及装置，设计了有效融合人脸特征和行人特征的行人识别流水线，从而有效解决监控场景下的行人识别问题，同时兼顾人脸特征和行人特征，大大提高了识别的准确率。技术方案如下：本专利技术提供了一种监控场景下的双目行人识别方法，所述双目行人识别方法采用具有两种不同焦距的图像成像源，能够通过相同的帧率同时采集同一场景下不同距离的图像，具体包括以下步骤：第一步，在长焦距的图像帧上由人脸检测器给出人脸在当前帧上的初始位置，同时，在短焦距的图像帧上由行人检测器给出行人目标在当前帧上的初始位置。
[0006]长焦距的图像帧从原始分辨率缩放到合适分辨率后输入到人脸检测器，人脸检测器输出在该缩放帧上的每一张人脸的位置， 并根据与原始分辨率的比率，把人脸位置还原成相对于原始分辨率的位置，记为Fbox(i)；同时，在对应的短焦距图像帧也从原始分辨率缩放到合适分辨率后输入到行人检测器，行人检测器输出该缩放帧上的每一个行人的位置，同样也根据与原始分辨率的比率，把行人位置还原成相对于原始分率的位置，记为Hbox(i)。
[0007]第二步，由人脸跟踪器在后续帧上进行跟踪，同时，由行人跟踪器在后续帧上进行跟踪；人脸跟踪器对所述人脸位置Fbox(i)进行跟踪， 得到在后续长焦距帧上的人脸位
置Fbox(i+1)， Fbox(i+2)，
ꢀ…
， Fbox(i+n)，同时行人跟踪器对所述行人位置Hbox(i)进行跟踪，得到在后续短焦距帧上的行人位置Hbox(i+1)， Hbox(i+2)，
ꢀ…
， Hbox(i+n).。
[0008]第三步，进行人脸轨迹评估，提取人脸关键点并校正；进行行人轨迹评估，提取行人关键点并校正；随着不断在后续长焦距帧上的跟踪，当无法跟踪到人脸时，并且持续一定帧数时，则标记该人脸轨迹结束，把该轨迹记为Ft(i)；对该轨迹中的每一个人脸，检测对应的关键点，对于关键点检测失败的人脸，在轨迹中标记该张人脸无法提取关键点。
[0009]随着不断在后续短焦距帧上的跟踪，当无法跟踪到行人时，并且持续一定帧数时，则标记该行人轨迹结束， 把该轨迹记为Ht(i)。对该轨迹中的每一个行人位置，检测对应的骨骼关键点。
[0010]第四步，提取行人特征，提取人脸特征；对人脸轨迹中成功提取关键点的每一张人脸图片，按时间顺序提取特征值，并计算这些特征值的均值并做归一化，将归一化后的均值作为人脸特征。
[0011]对行人轨迹中的每个行人的去除手臂部位的骨骼关键点作为一个序列用行人特征提取模型提取特征，模型输出值作为行人特征。
[0012]第五步，进行融合识别；用所述人脸特征与底库中每一个人脸特征值计算余弦距离，当余弦距离值大于设定的阈值α1时，则人脸匹配成功，否则为无法匹配；当人脸匹配成功时，如果距离值大于设定的阈值α2时，α2＞α1，则标记该次人脸匹配为高可信匹配。
[0013]用所述行人特征与底库中每一个行人特征值计算余弦距离，当余弦距离值大于设定的阈值β1时，则行人匹配成功，否则为无法匹配；当行人匹配成功时，如果距离值大于设定的阈值β2时，β2＞β1，则标记该次行人匹配为高可信匹配。
[0014]当人脸匹配成功时，且为高可信匹配时，识别成功，存储识别结果。如果此时行人无法匹配，则用此时的行人特征更新底库；如果此时行人也匹配成功，则把行人匹配结果追加存储到识别结果中；如果此时行人匹配同时也为高可信匹配，则用此时的行人特征更新底库，以提高底库的时效性。
[0015]当人脸匹配不成功时，如果此时行人也无法匹配，则识别不成功，忽略该次的人脸和行人匹配；如果此时行人匹配成功，则识别成功，存储识别结果；如果此时行人匹配同时也为高可信匹配，则用此时的行人特征更新底库。
[0016]优选的，第二步中在人脸跟踪器和/或行人跟踪器跟踪的过程中，每连续跟踪一定的帧数后，运行一次相应的检测器。进一步的，所述每连续跟踪一定的帧数，是根据目标位置的变化情况来确定。
[0017]优选的，还包括第六步，进行识别上报：对于第五步中识别成功的结果通过识别系统的通信链路，传输并完成数据存储。进一步的，步骤6的上报数据中还包括行人ID和特征值。
[0018]与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：通过构建一种同时满足人脸特征和行人特征要求的多目采集方案，设计了有效融合人脸特征和行人特征的行人识别流水线，从而有效解决监控场景下的行人识别问题，同时兼顾人脸特征和
行人特征，大大提高了识别的准确率。通过对行人特征底库实时更新，使得行人的特征保持较高的实时性，也进一步避免了因时间变化带来的不利因素对行人特征识别影响。
附图说明
[0019]图1 为本公开实施例提供的一种监控场景下的双目行人识别方法流程图。
具体实施方式
[0020]为了阐明本专利技术的技术方案和工作原理，下面将结合附图对本公开实施方式做进一步的详细描述。上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
[0021]本申请的说明书和权利要求书及上述附图中的术语“第一步”、“第二步”、“第三步”等类似描述是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里描述的那些以外的顺序实施。
[0022]以下在监控场景下，为了获取人脸特征，会尽可能要求摄像机成像中人脸图像占比尽可能大，而为了获取行人特征，则尽可能要求摄像机成像中行人全部成像，而不是局部成像。为了能够综合利用人脸特征和行人特征，需要设计合理有效的方法:（1）尽可能同时满足这两种特征的采集要求;（2）可以有效融合这两种特征来提升识别效果。
[0023]第一方面：本公开实施例提供了一种监控场景下的双目行人识别方法，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种监控场景下的双目行人识别方法，其特征在于，所述双目行人识别方法采用具有两种不同焦距的图像成像源，能够通过相同的帧率同时采集同一场景下不同距离的图像，具体包括以下步骤：第一步，在长焦距的图像帧上由人脸检测器给出人脸在当前帧上的初始位置，同时，在短焦距的图像帧上由行人检测器给出行人目标在当前帧上的初始位置；长焦距的图像帧从原始分辨率缩放到合适分辨率后输入到人脸检测器，人脸检测器输出在该缩放帧上的每一张人脸的位置， 并根据与原始分辨率的比率，把人脸位置还原成相对于原始分辨率的位置，记为Fbox(i)；同时，在对应的短焦距图像帧也从原始分辨率缩放到合适分辨率后输入到行人检测器，行人检测器输出该缩放帧上的每一个行人的位置，同样也根据与原始分辨率的比率，把行人位置还原成相对于原始分率的位置，记为Hbox(i)；第二步，由人脸跟踪器在后续帧上进行跟踪，同时，由行人跟踪器在后续帧上进行跟踪；人脸跟踪器对所述人脸位置Fbox(i)进行跟踪， 得到在后续长焦距帧上的人脸位置Fbox(i+1)， Fbox(i+2)，
ꢀ…
， Fbox(i+n)，同时行人跟踪器对所述行人位置Hbox(i)进行跟踪，得到在后续短焦距帧上的行人位置Hbox(i+1)， Hbox(i+2)，
ꢀ…
， Hbox(i+n)；第三步，进行人脸轨迹评估，提取人脸关键点并校正；进行行人轨迹评估，提取行人关键点并校正；随着不断在后续长焦距帧上的跟踪，当无法跟踪到人脸时，并且持续一定帧数时，则标记该人脸轨迹结束，把该轨迹记为Ft(i)；对该轨迹中的每一个人脸，检测对应的关键点，对于关键点检测失败的人脸，在轨迹中标记该张人脸无法提取关键点；随着不断在后续短焦距帧上的跟踪，当无法跟踪到行人时，并且持续一定帧数时，则标记该行人轨迹结束， 把该轨迹记为Ht(i)；对该轨迹中的每一个行人位置，检测对应的骨骼关键点；第四步，提取行人特征，提取人脸特征；对人脸轨迹中成功提取关键点的每一张人脸图片，按时间顺序提取特征值，并计算这些特征值的均值并做归一化，将归一化后的均值作为人脸特征；对...
【专利技术属性】
技术研发人员：朱旭光，周金明，
申请(专利权)人：南京行者易智能交通科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。