基于身份识别和跨摄像头目标追踪的智能监控系统及方法技术方案

基于身份识别和跨摄像头目标追踪的智能监控系统及方法，数据读取模块用于并行获取多路摄像头的视频流数据；身份注册模块用于将所述数据读取模块中每个摄像头获取的视频进行目标检测和人脸识别，并采用中心点距离贪婪匹配策略，将人脸信息与行人检测框绑定，得到带有目标身份信息的初始轨迹；单摄像头行人追踪模块用于在多路摄像头下并行进行目标检测、采用匈牙利算法基于外观信息和运动信息进行数据关联，得到目标在单摄像头下的追踪轨迹；跨摄像头行人轨迹匹配模块用于基于局部轨迹的外观特征、运动特征以及位置特征进行跨摄像头轨迹匹配，为每个目标生成一条跨摄像头的全局轨迹。本发明专利技术可以高效地实现实时的目标身份识别与跨摄像轨迹生成。别与跨摄像轨迹生成。别与跨摄像轨迹生成。

【技术实现步骤摘要】
基于身份识别和跨摄像头目标追踪的智能监控系统及方法


[0001]本专利技术属于智能视频监控
，具体涉及一种基于身份识别和跨摄像头目标追踪的智能监控系统及方法。

技术介绍

[0002]跨摄像头多目标追踪，旨在利用多摄像头组成的监控网络实现对不同目标长时间、大范围的追踪，并为每个目标生成一条完整的追踪轨迹。相比于单摄像头追踪，跨摄像头追踪能够在更广范围内持续追踪目标，是视频监控、行为分析、智能交通等领域的重要基础技术，为智慧城市的发展带来重要的实际应用价值。例如，在商场环境下，通过追踪顾客的购物轨迹来对其消费行为进行分析，进而实现消费结构的优化升级，获得更大的经济效益。
[0003]与单摄像头多目标追踪相比，跨摄像头多目标追踪的任务主要关注不同摄像头间的轨迹匹配，其难点主要体现在以下三个方面：一是拍摄角度、拍摄距离及光线条件等因素导致的不同摄像头下目标的外观差异明显；二是摄像头间存在视野盲区，导致不同摄像头间目标运动信息缺失；三是由于目标总数未知，跨摄像头轨迹匹配关系不定。
[0004]目前，跨摄像头目标追踪方法一般基于目标检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于身份识别和跨摄像头目标追踪的智能监控方法，其特征在于，包括以下步骤：1)数据读取模块并行获取多路摄像头的视频流数据；2)身份注册模块将所述数据读取模块中每个摄像头获取的视频流按帧进行切分，对每一帧图像进行目标检测和人脸识别，并采用中心点距离贪婪匹配策略，将人脸信息与行人检测框进行绑定，得到带有真实身份的初始轨迹；3)单摄像头行人追踪模块在多路摄像头下并行进行目标检测、行人特征提取以及采用匈牙利算法基于外观信息和运动信息进行数据关联，得到目标在单摄像头下的运动轨迹；4)跨摄像头行人轨迹匹配模块根据局部轨迹的外观特征、运动特征以及位置特征对轨迹和目标进行匹配，为每个目标生成跨摄像头下的全局轨迹。2.根据权利要求1所述的基于身份识别和跨摄像头目标追踪的智能监控方法，其特征在于，步骤1)中，数据读取模块基于多进程策略，为每一路摄像头创建一个多进程读取队列，子进程A通过rtsp协议从视频流中不断读取每一帧图像，并放入多进程读取队列中，子进程B不断从多进程读取队列中将图片取出进行处理，然后送入后续子进程模块中。3.根据权利要求1所述的基于身份识别和跨摄像头目标追踪的智能监控方法，其特征在于，步骤2)中，身份注册模块对数据读取模块得到的每一个摄像头下的逐帧图像，基于目标检测装置与人脸识别装置分别得到图像中的行人检测框、人脸检测框以及人脸识别结果，通过计算行人检测框与人脸检测框的交并比以及位置信息过滤掉不合理的匹配后，再基于行人检测框上中点与人脸检测框中心点的欧式距离进行贪婪匹配，将人脸识别结果与行人检测框进行绑定，从而得到带有真实身份的初始化轨迹。4.根据权利要求3所述的基于身份识别和跨摄像头目标追踪的智能监控方法，其特征在于，目标检测装置使用Yolov4算法得到图像中的行人检测框，行人检测框包含参数(x
p
，y
p
，w
p
，h
p
)，其中，(x
p
，y
p
)为行人检测框左上点坐标，w
p
和h
p
分别为框的宽和高；所述人脸识别装置使用InsightFace算法得到人脸检测框和人脸识别结果，人脸检测框包含参数(x
f
，y
f
，w
f
，h
f
)和r，其中(x
f
，y
f
)为人脸检测框左上点坐标，w
f
和h
f
分别为框的宽和高，r为人脸识别结果；所述基于行人检测框上中点与人脸检测框中心点的欧式距离进行贪婪匹配包括：S41：构建一个M行N列的二维矩阵D以表示人脸检测框与行人检测框的位置距离，其中M为当前帧中行人检测框的数量，N为人脸检测框的数量，距离矩阵D的初始值为∞；用d
i
表示第i个行人检测框，f
j
表示第j个人脸检测框，其中i∈[1，M]，j∈[1，N]；S42：计算行人检测框d
i
与人脸检测框f
j
的交并比IOU
i，j
，同时在水平方向上通过判断人脸检测框f
j
是否包含行人检测框d
i
的中点来过滤不合理的匹配关系；S43：依据人脸检测框与行人检测框的重合程度来调整距离矩阵D：其中，为行人检测框d
i
的上中点，为人脸检测框f
j
的中心点；S44：对所有行人检测框与人脸检测框进行所述S42、S43步骤，基于调整后的距离矩阵D，使用贪婪匹配策略为每一个行人检测框选择与其距离最小的人脸检测框作为匹配结果，加入匹配列表M
list
中；S45：根据匹配列表M
list
，将行人检测框与人脸识别结果进行绑定，完成带有真实身份的
轨迹初始化工作。5.根据权利要求1所述的基于身份识别和跨摄像头目标追踪的智能监控方法，其特征在于，步骤3)中，单摄像头行人追踪模块采用多进程策略，使得多路摄像头能够相互独立并行进行单摄像头下多目标追踪；为每一路摄像头分配三个子进程，分别进行行人目标检测、行人身份重识别以及利用匈牙利算法基于外观信息和运动信息进行帧间数据关联，子进程之间通过多进程消息队列进行消息传递：S51：行人目标检测子进程不断从读取队列得到逐帧图像信息，完成目标检测后将逐帧检测结果及图像信息存入检测队列中；S52：行人身份重识...

【专利技术属性】
技术研发人员：贺宇航，余文涛，韩洁，魏星，龚怡宏，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：