一种基于空间约束的可疑人员跨镜头追踪方法及装置制造方法及图纸

本发明专利技术涉及视频监控技术领域，实施例具体公开一种基于空间约束的可疑人员跨镜头追踪方法及装置。本申请提供的基于空间约束的可疑人员跨镜头追踪方法，采用深度学习算法实时检测视频中行人目标，利用交互操作选取用户关注的所选可疑人员目标，实现对所选可疑人员的单监控摄像头跟踪和基于深度学习算法提取行人特征作为比对依据的跨镜头跟踪，并根据所选可疑人员目标的位置信息和运动信息，在局部场景内实现全局优化，有效提升行人检索重识别的效率。

A method and device of cross lens tracking for suspicious persons based on space constraints

【技术实现步骤摘要】
一种基于空间约束的可疑人员跨镜头追踪方法及装置
本专利技术涉及视频监控领域，具体涉及一种基于空间约束的可疑人员跨镜头追踪方法及装置。
技术介绍
现有的行人重识别技术主要是基于多目标跟踪的基础，获取多摄像头多目标的跟踪轨迹，然后利用深度学习算法提取行人轨迹的平均特征，最后通过对行人平均特征的聚合实现多摄像头下行人轨迹的配对，找出同一个行人的轨迹并连接。视频监控领域更关注的应该是镜头中单个或几个特殊嫌疑人的轨迹，对视频内所有行人进行跨摄像头跟踪在系统实现中难度大，且需要耗费大量计算性能。同时，现有行人重识别技术更倾向于后期对跟踪轨迹的处理，缺少跟踪的既视感。
技术实现思路
有鉴于此，本申请的主要目的是在虚拟三维场景视频映射的基础上，提供一种基于空间约束的可疑人员跨镜头追踪方法，解决增强虚拟下的所选可疑人员的选取交互和跨镜头持续追踪问题。为解决以上技术问题，本专利技术提供的技术方案是一种基于空间约束的可疑人员跨镜头追踪方法，所述方法包括：S11：将映射在虚拟三维场景中的各个监控摄像头的视频帧数据进行行人检测本文档来自技高网...

【技术保护点】
1.一种基于空间约束的可疑人员跨镜头追踪方法，其特征在于，所述方法包括：/nS11：将映射在虚拟三维场景中的各个监控摄像头的视频帧数据进行行人检测，获得各个视频帧上的二维行人检测框；根据各个监控摄像头注册到虚拟三维场景的投影矩阵，将各个视频帧上的二维行人检测框转换为虚拟三维场景中的三维行人检测框；/nS12：接收用户在虚拟三维场景中选定的可疑人员位置，判断所选可疑人员位置的三维坐标是否属于任一个三维行人检测框，若是，则通过透视投影矩阵反投影获取所选可疑人员位置的三维坐标对应的二维坐标，进而获得所选可疑人员的二维行人检测框；/nS13：在所选可疑人员的二维行人检测框对应的监控摄像头视频帧上对所选...

【技术特征摘要】
1.一种基于空间约束的可疑人员跨镜头追踪方法，其特征在于，所述方法包括：
S11：将映射在虚拟三维场景中的各个监控摄像头的视频帧数据进行行人检测，获得各个视频帧上的二维行人检测框；根据各个监控摄像头注册到虚拟三维场景的投影矩阵，将各个视频帧上的二维行人检测框转换为虚拟三维场景中的三维行人检测框；
S12：接收用户在虚拟三维场景中选定的可疑人员位置，判断所选可疑人员位置的三维坐标是否属于任一个三维行人检测框，若是，则通过透视投影矩阵反投影获取所选可疑人员位置的三维坐标对应的二维坐标，进而获得所选可疑人员的二维行人检测框；
S13：在所选可疑人员的二维行人检测框对应的监控摄像头视频帧上对所选可疑人员进行跟踪并获取所选可疑人员的二维跟踪轨迹点集，再利用投影矩阵转换获得所选可疑人员的三维跟踪轨迹点集并拟合；
S14：实时检测所选可疑人员是否在当前监控摄像头视频帧上丢失，若丢失则在预设邻近监控摄像头的视频帧上检索所选可疑人员，检索到所选可疑人员后返回步骤S13。


2.根据权利要求1所述的基于空间约束的可疑人员跨镜头追踪方法，其特征在于，所述步骤S14中检索到所选可疑人员后返回步骤S13的方法包括：当在其他监控摄像头视频帧上检索到所选可疑人员时，根据该监控摄像头的空间位置三维坐标和观察姿态角重新设置虚拟三维场景主窗口视点，再返回步骤S13。


3.根据权利要求1所述的基于空间约束的可疑人员跨镜头追踪方法，其特征在于，所述步骤S11中将映射在虚拟三维场景中的各个监控摄像头的视频帧数据进行行人检测，获得各个视频帧上的二维行人检测框的方法包括：
采用OpenCV开源计算机视觉库读取各个监控摄像头传入的视频流并解码视频帧数据；
采用Yolov3目标检测算法、利用预训练模型构建的行人检测器，对各个视频帧数据进行实时视频检测，获取各个视频帧上的二维行人检测框。


4.根据权利要求1所述的基于空间约束的可疑人员跨镜头追踪方法，其特征在于，所述步骤S11中根据各个监控摄像头注册到虚拟三维场景的投影矩阵，将各个视频帧上的二维行人检测框转换为虚拟三维场景中的三维行人检测框的方法包括：
在监控摄像头的二维视频帧上选取大于或等于4个角点作为二维控制点集A，在虚拟三维场景中利用屏幕交互选取二维控制点对应的特征点，通过三维碰撞检测计算二维控制点的三维坐标，作为三维控制点集B；
根据监控摄像头的线性模型，利用二维控制点集A及其对应的三维控制点集B，求解监控摄像头的透视投影矩阵；
对透视投影矩阵进行QR分解，求解监控摄像头内、外方位元素；
根据监控摄像头透视投影矩阵，将三维控制点集B投影到监控摄像头的视频帧上，得到新的二维控制点集C；
计算二维控制点集A和二维控制点集C中对应点误差，利用Levenberg-Marquardt算法最小化二维控制点的预测图像位置与实际图像位置的反投影误差；
利用获取的监控摄像头内、外方位元素和对应点误差，计算监控摄像头在虚拟三维场景中的透视投影矩阵和观察矩阵，添加监控摄像头到虚拟三维场景中；
利用投影矩阵将二维目标行人检测框的四个角点投影到虚拟三维场景中，再利用osgEarth库的绘制接口在虚拟三维场景中绘制出三维行人检测框。


5.根据权利要求1所述的基于空间约束的可疑人员跨镜头追踪方法，其特征在于，所述步骤S12的方法包括：
接收用户在虚拟三维场景中使用鼠标单击选中的可疑人员位置，获取鼠标单击位置的屏幕坐标，再利用osgEarth库碰撞检测功能接口计算得到鼠标单击位置对应的三维坐标；
计算该三维坐标点是否被任一个三维行人检测框所包含，若是则通过透视投影矩阵反...

【专利技术属性】
技术研发人员：吕琪菲，韩宇韬，张至怡，陈银，党建波，阳松江，
申请(专利权)人：四川航天神坤科技有限公司，
类型：发明
国别省市：四川;51