大场景多目标协同跟踪方法、智能监控系统、交通系统技术方案

本发明专利技术属于控制摄像机的装置技术领域，公开了一种大场景多目标协同跟踪方法、智能监控系统、交通系统，采用主从协同实现目标交错时仍能准确分割出目标，提高跟踪鲁棒性，主机为固定广角摄像机即枪机，从机为高分辨率可变焦球机即球机。本发明专利技术包括枪机和球机关系模块，目标检测模块，优先级判定模块，控制模块，目标更新模块，跟踪模块。本发明专利技术对枪机画面中多目标关系进行优先级分类，根据目标关系确定球机的动作，提高了球机利用率，节省资源；球机获取枪机画面中目标交错区域高清图像，球机对高清图像进行目标检测，提高了目标的检测准确率。通过枪球间关系矩阵将球机画面检测信息映射回枪机画面，进而将目标交错区域重新分割，实现协同跟踪。

Large scene multi-target cooperative tracking method, intelligent monitoring system and traffic system

The invention belongs to the device technical field of controlling camera, and discloses a multi-target cooperative tracking method for large scene, an intelligent monitoring system and a traffic system. The target can still be accurately segmented and the tracking robustness can be improved when the target is interlaced by the master-slave cooperation. The host computer is a fixed wide-angle camera, i.e. a gun machine, and the slave computer is a high-resolution one. The variable rate coke ball machine is the ball machine. The invention comprises a relationship module between a gun and a ball machine, a target detection module, a priority determination module, a control module, a target update module and a tracking module. The invention classifies the multi-object relation in the gun-machine picture according to the priority, determines the action of the ball-machine according to the target relation, improves the utilization ratio of the ball-machine and saves resources; the ball-machine obtains the high-definition image of the target interlaced area in the gun-machine picture, and the ball-machine detects the high-definition image, thus improving the detection accuracy of the target. Through the relationship matrix between the guns and balls, the detection information of the ball machine picture is mapped back to the gun machine picture, and then the target interlaced area is re-divided to achieve cooperative tracking.

【技术实现步骤摘要】
大场景多目标协同跟踪方法、智能监控系统、交通系统
本专利技术属于控制摄像机的装置
，尤其涉及一种大场景多目标协同跟踪方法、智能监控系统、交通系统。
技术介绍
运动目标的检测跟踪一直是图像处理和计算机视觉领域研究的热点。随着检测跟踪方法研究的不断深入，人们对目标检测跟踪性能要求越来越高，目标检测跟踪应用场景也越来越复杂，如何提高特殊条件下的多目标检测跟踪的鲁棒性一直是广大学者研究的热点问题之一。其中，大场景下多目标的协同跟踪一直是监控领域很重要的研究方向，在智能监控、智能交通等领域有着极其重要的应用价值。大场景多目标检测跟踪中，由于目标在场景中占比较小，目前，业内常用的现有技术是这样的：主要还是通过运动信息对目标进行检测定位，包括帧间差分，高斯背景建模，互相关滤波，Vibe等多种检测算法，大多基于图像灰度信息从图像中分割出目标，并进行检测定位。当目标不交错，不发生遮挡时，大部分方法能较好的检测出目标；但在多目标交错，遮挡严重时，有时就不能很好地从图像中分割出单个目标，常有多个目标合并的情况发生。这对后续的目标跟踪带来较大困难。专利文献“一种大场景中的小目标抗遮挡跟踪方法”(公开号：CN105469430A，申请号：CN201510925188.5，申请日：2015-12-10)公开了一种大场景中的小目标抗遮挡跟踪方法。该系统利用互相关滤波目标检测方法检测前一帧图像中目标所在的位置；从后一帧图像开始，判断目标是否被遮挡，若目标被遮挡，则直接利用轨迹预测方法对目标的位置进行预测跟踪。该方法在目标交错区域，不能将目标独立分割，仅采用轨迹预测方法对目标的位置进行预测跟踪，较难实现鲁棒的跟踪。综上所述，现有技术存在的问题是：现有的大场景中的小目标抗遮挡跟踪方法在目标间交错遮挡时仅采用轨迹预测方法对目标的位置进行预测跟踪，但是当目标交错时，目标之间的避让很容易出现目标交错前和交错后运动速度和方向的改变，而轨迹预测方法采用的是目标交错前的运动状态数据，非常容易出现预测位置和目标实际位置差异，尤其在三个或者更多目标交错时预测位置和目标实际位置差异较大，目标交错结束后，容易出现跟踪错误或者跟踪丢失。解决上述技术问题的难度和意义：大场景下目标较小，目标之间特征区别不明显，多目标交错时，较难分割出单个目标，同时目标的运动状态容易发生较大改变，仅依靠目标交错前的运动信息很难准确预测目标交错结束后的位置，容易造成跟踪错误或者丢失。本专利技术提高目标交错期间单个目标的检测准确率，并合理分配系统资源，保证系统的鲁棒性与实时性，实现大场景多目标交错前后的持续跟踪。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种大场景多目标协跟踪方法、智能监控系统、交通系统。本专利技术是这样实现的，一种大场景多目标协同跟踪方法，所述大场景多目标协同跟踪方法采用主从相机结构，主机为固定广角摄像机即枪机，从机为高分辨率可变焦球机即球机；枪机监控整个大场景区域，并对区域进行目标检测跟踪，当枪机画面中目标存在可能的交错时，枪机控制球机转动到该区域，获取目标高清图像，通过对目标进行细化检测，根据枪机和球机间关系矩阵将球机画面检测信息映射到枪机画面，将目标交错区域重新分割，实现协同跟踪。进一步，所述大场景多目标协同跟踪方法包括以下步骤：步骤一，前后两帧目标图像，根据前一帧图像所有目标的质心和后一帧图像目标框的位置关系，将目标间关系分为目标交错，目标可能交错，目标不交错；步骤二，前一帧目标质心在后一帧目标框中数量，若这个数量大于等于2，则认为该区域存在目标交错；若这个数量大于等于1，判断目标间是否可能存在交错趋势：计算目标检测框间最小距离，同时利用轨迹预测得到目标的运动大小和方向，若目标间距离小于D且目标运动是相互靠拢，则认为目标可能交错，否则为目标不交错；步骤三，根据三种状态设置优先级，目标交错为第一优先级，目标可能交错为第二优先级，目标不交错为第三优先级。进一步，所述步骤一具体包括：前后两帧目标图像BiBi+1，记录Bi所有目标的质心(xi，yi)，判断Bi质心(xi，yi)与Bi+1目标框的位置；Bi质心在Bi+1目标框中数量M，若M＞1则认为该区域存在目标交错；若M＝1，判断目标间是否可能存在交错趋势：计算目标检测框之间最小，卡尔曼轨迹预测法得到目标的运动大小v和方向，若目标间距离小于D且目标运动是相互靠拢，则认为目标间可能交错，否则为目标不交错，D取值范围[10v20v]。进一步，所述步骤二具体包括：枪机根据优先级控制球机转动到该区域，并获取该区域高清目标图像；若枪机画面目标交错即第一优先级，枪机控制球机转动到该区域；若枪机画面目标不交错且可能交错即第二优先级，枪机控制球机转动到该区域；否则枪机控制球机不转动；根据枪机和球机关系矩阵P，将球机画面检测信息映射到枪机区域，更新枪机该区域的目标检测信息；球机画面中目标检测框的长宽w1，h1，球机缩放倍数z2，根据枪机和球机关系模块计算出枪机和球机间关系矩阵[WHZ]，目标在枪机画面长宽分别为w2，h2,则w2＝w1/W/z2,h2＝h1/W/z2；对球机高清画面中对应的枪机目标交错区域处理，将该区域复制到长宽分别为w2，h2的图像B1上同时根据坐标变换关系转换检测框信息；将B1按比例缩放到长宽w，h，得到图像B2，同时将检测框信息按比例变换，B2区域中心和枪机画面坐标(x0，y0)对应，将B2计算的检测框变换到枪机区域，实现了区域目标重检测，得到新的检测框信息，更新检测结果；利用检测的目标信息，采用卡尔曼滤波轨迹预测跟踪方法确定跟踪目标位置，卡尔曼滤波器轨迹预测跟踪：卡尔曼滤波器的状态定义为跟踪目标的质心位置和质心像素偏移目标不交错时采用枪机检测作为Bi质心(xi，yi)，目标交错时采用球机检测后反算出的检测作为Bi质心(xi，yi)，上一时刻质心偏移量前后三帧图像Bi-1BiBi+1，i+1时刻状态预测方程和观测方程分别为：Xi+1＝AXi+Wi，校正后的状态矩阵H观测矩阵，A状态转移矩阵，Ki为Kalman增益，Wi，Ni分别为状态和观测对应的噪声序列阵,具体公式如下：Ni为(1，1)将卡尔曼滤波器X′i+1值更新为本专利技术的另一目的在于提供一种所述大场景多目标协同跟踪方法的大场景多目标协同跟踪系统，所述大场景多目标协同跟踪系统包括：枪机和球机关系模块，用于计算固定枪机和高清球机间关系矩阵；目标检测模块，用于实现枪机画面中目标检测；优先级模块，根据前一帧所有目标的质心和后一帧目标框的位置关系确定目标间关系。所述优先级模块进一步包括：控制模块：枪机根据优先级控制球机转动到该区域，并获取该区域高清目标图像。若枪机画面目标交错即第一优先级，枪机控制球机转动到该区域。若枪机画面目标不交错且可能交错即第二优先级，枪机控制球机转动到该区域。否则枪机控制球机不转动；目标更新模块：根据枪机和球机关系矩阵，将球机画面检测信息映射到枪机区域，更新枪机该区域的目标检测信息；跟踪模块：利用检测的目标信息，采用卡尔曼滤波轨迹预测跟踪方法确定跟踪目标位置。本专利技术的另一目的在于提供一种应用所述大场景多目标协同跟踪方法的智能监控系统。本专利技术的另一目的在于提供一种应用所述大场景多目标协同跟踪方法的智能交通系统。综上所述，本专利技术的优本文档来自技高网...

【技术保护点】
1.一种大场景多目标协同跟踪方法，其特征在于，所述大场景多目标协同跟踪方法采用主从相机结构，主机为固定广角摄像机即枪机，从机为高分辨率可变焦球机即球机；枪机监控整个大场景区域，并对区域进行目标检测跟踪，当枪机画面中目标存在可能的交错时，枪机控制球机转动到该区域，获取目标高清图像，通过对目标进行细化检测，根据枪机和球机间关系矩阵将球机画面检测信息映射到枪机画面，将目标交错区域重新分割，实现协同跟踪。

【技术特征摘要】
1.一种大场景多目标协同跟踪方法，其特征在于，所述大场景多目标协同跟踪方法采用主从相机结构，主机为固定广角摄像机即枪机，从机为高分辨率可变焦球机即球机；枪机监控整个大场景区域，并对区域进行目标检测跟踪，当枪机画面中目标存在可能的交错时，枪机控制球机转动到该区域，获取目标高清图像，通过对目标进行细化检测，根据枪机和球机间关系矩阵将球机画面检测信息映射到枪机画面，将目标交错区域重新分割，实现协同跟踪。2.如权利要求1所述的大场景多目标协同跟踪方法，其特征在于，所述大场景多目标协同跟踪方法包括以下步骤：步骤一，前后两帧目标图像，根据前一帧图像所有目标的质心和后一帧图像目标框的位置关系，将目标间关系分为目标交错，目标可能交错，目标不交错；步骤二，前一帧目标质心在后一帧目标框中数量，若这个数量大于等于2，则认为该区域存在目标交错；若这个数量大于等于1，判断目标间是否可能存在交错趋势：计算目标检测框之间的最小距离，同时利用轨迹预测得到目标的运动大小和方向，若目标间距离小于D且目标运动是相互靠拢，则认为目标可能交错，否则为目标不交错；步骤三，根据三种状态设置优先级，目标交错为第一优先级，目标可能交错为第二优先级，目标不交错为第三优先级。3.如权利要求2所述的大场景多目标协同跟踪方法，其特征在于，所述步骤一具体包括：前后两帧目标图像BiBi+1，记录Bi所有目标的质心(xi，yi)，判断Bi质心(xi，yi)与Bi+1目标框的位置；Bi质心在Bi+1目标框中数量M，若M＞1则认为该区域存在目标交错；若M＝1，判断目标间是否可能存在交错趋势：计算目标检测框之间最小，卡尔曼滤波轨迹预测法得到目标的运动大小v和方向，若目标间距离小于D且目标运动是相互靠拢，则认为目标间可能交错，否则为目标不交错，D取值范围[10v20v]。4.如权利要求2所述的大场景多目标协同跟踪方法，其特征在于，所述步骤二具体包括：枪机根据优先级控制球机转动到该区域，并获取该区域高清目标图像；若枪机画面目标交错即第一优先级，枪机控制球机转动到该区域；若枪机画面目标不交错且可能交错即第二优先级，枪机控制球机转动到该区域；否则枪机控制球机不转动；根据枪机和球机关系矩阵P，将球机画面检测信息映射到枪机区域，更新枪机该区域的目标检测信息；球机画面中目标检测框的长宽w1，h1，...

【专利技术属性】
技术研发人员：李静，李中振，卢朝阳，张芳冰，魏立松，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61