一种多视角影像融合的空间目标跟踪系统及方法技术方案

本发明专利技术涉及一种多视角影像融合的空间目标跟踪系统及方法，摄像单元包括在进行空间目标跟踪的场景的四周对称设置的至少两个摄像头，摄像头以倾斜向下的姿态拍摄场景得到多摄同帧图像，多摄同帧图像为至少两个的摄像头拍摄的同一场景的同一时刻的至少两个的影像帧图；目标框提取模块以目标框的形式对从各个多摄同帧图像中检测出的目标进行标注；空间特征提取模块提取各个目标框中的特征信息，对各个特征信息进行聚类得到各个聚类特征；跟踪器模块根据聚类特征进行目标跟踪；解决由遮挡而造成识别出错的情况，并可以极大地减少目标跟踪混乱的情景，适用于对目标跟踪精确度要求高的单一场景的目标跟踪。

【技术实现步骤摘要】
一种多视角影像融合的空间目标跟踪系统及方法
本专利技术涉及目标跟踪领域，尤其涉及一种多视角影像融合的空间目标跟踪系统及方法。
技术介绍
随着人们对安保提出了新的要求，尤其是在目标跟踪领域，人们希望通过视频流来监测目标的行动，深度学习技术在图像特征抽取上的高效性能，并又随着GPU的图形计算能力不断提高，基于深度学习技术的图像分类与目标检测的框架又进一步得到发展，并且也快速取代了相关的传统方法。但是当前的目标跟踪技术主要是基于传统的图像检索的方式，即直接计算图像之间的相似距离，通过这个来判断是否属于同一个物体，若存在遮挡的情况此时的图像极有可能匹配不成功，那么这种方式性能就不好。基于卷积神经网络的图像特征信息的提取极大地保存的目标的有效特征，再计算图像之间的相似距离，这种方式就极大地提高了目标跟踪的性能，但是这种框架需要提前标注视频中的目标的目标框，无法达到实用性目的。
技术实现思路
本专利技术针对现有技术中存在的技术问题，提供一种多视角影像融合的空间目标跟踪方法，解决现有技术中空间目标跟踪性能不好的问题。本专利技术解决上述技术问题的技术方案如下：一种多视角影像融合的空间目标跟踪系统，包括：摄像单元、目标框提取模块、空间特征提取模块和跟踪器模块；所述摄像单元包括在进行空间目标跟踪的场景的四周对称设置的至少两个摄像头，所述摄像头以倾斜向下的姿态拍摄所述场景得到多摄同帧图像，所述多摄同帧图像为至少两个的所述摄像头拍摄的同一场景的同一时刻的至少两个的影像帧图；所述目标框提取模块以目标框的形式对从各个所述多摄同帧图像中检测出的目标进行标注；所述空间特征提取模块提取各个所述目标框中的特征信息，对各个所述特征信息进行聚类得到各个聚类特征；所述跟踪器模块根据所述聚类特征进行目标跟踪。一种多视角影像融合的空间目标跟踪系统的跟踪方法，包括：步骤1，在进行空间目标跟踪的场景的四周对称设置的至少两个摄像头，所述摄像头以倾斜向下的姿态拍摄所述场景得到多摄同帧图像，所述多摄同帧图像为至少两个的所述摄像头拍摄的同一场景的同一时刻的至少两个的影像帧图；步骤2，以目标框的形式对从各个所述多摄同帧图像中检测出的目标进行标注；步骤3，提取各个所述目标框中的特征信息，对各个所述特征信息进行聚类得到各个聚类特征；步骤4，根据所述聚类特征进行目标跟踪。本专利技术的有益效果是：本专利技术提供的一种多视角影像融合的空间目标跟踪系统及方法，考虑现有技术对空间目标进行跟踪的过程中，一旦在目标之间出现遮挡的情况，通过计算图像之间的特征的相似距离极容易出现识别混乱的情景，针对特殊的场景，例如运动场等矩形空间且对目标跟踪准确度要求较高的地方，通过在场景的四周对称设置的至少两个摄像头，并且摄像头都是以倾斜向下的姿态拍摄场景，解决由遮挡而造成识别出错的情况；空间特征提取模块可以结合各个视角的提取到的特征并根据特定的目标框提取出俯视空间特征，并进行聚类，根据目标在空间中的位置的唯一性，可以极大地减少目标跟踪混乱的情景，适用于对目标跟踪精确度要求高的单一场景的目标跟踪。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，所述场景为矩形空间，所述摄像头的数量为四个，设置在矩形的所述场景的四角上，各个所述摄像头同时对着所述场景的中心位置。进一步，所述目标框提取模块基于YoloV3检测网络进行目标框的预测。进一步，所述空间特征提取模块包括卷积神经网络模块和空间聚类模块；所述卷积神经网络提取各个目标框的特征信息，对各个所述特征信息进行拼接后组成空间信息特征矩阵；所述空间聚类模块对所述空间信息特征矩阵进行聚类后得到每个类别的聚类中心，将各个所述聚类中心组成的聚类中心矩阵输出至所述跟踪器模块。进一步，所述跟踪器模块包括与各个所述聚类中心对应的各个跟踪器类；目标连续出现时间超过设定的目标出现时间阈值时，对对应的所述跟踪器类进行初始化；目标丢失时间超过设定的目标丢失时间阈值时，将对应的所述跟踪器类进行丢弃。进一步，所述跟踪器类包括跟踪目标类属性、存活索引属性、真正存活索引和全局存活索引属性；所述跟踪目标类属性用于存储被跟踪过的目标；所述存活索引属性用于记录被跟踪过的目标的索引；所述真正存活索引用于记录未受所述时间阈值影响而未去掉的跟踪目标类；所述全局存活索引属性用于记录存活着的跟踪目标类索引。进一步，所述跟踪器类的初始化的过程包括：初始化全局的类别序号，其大小与当前的所述聚类中心的类别数相关；并采用索引追踪索引的方式，对所述多摄同帧图像中的类别进行分类。进一步，跟踪过程中所述跟踪器类的维护过程包括：计算当前聚类中心矩阵中与上一次聚类中心矩阵中各个所述聚类中心的相似距离，采用最优分配原则来判断当前聚类中心矩阵中各类别是否还存在，是则会与上一次的类别进行匹配，并进行了跟踪；否则会将不存在的类别加入到所述被跟踪器类进行存储。采用上述进一步方案的有益效果是：融合当前基于深度学习中表现较好的YoloV3检测网络，全自动检测视频帧的目标，并将其以目标框的形式给标注出来，利用目标检测网络检测出的目标框与全局的图像信息提取网络相结合得到仅含有目标框的特征图，去掉了大部分的无用的特征信息；设置时间阈值，将一段时间内不在出现的目标从跟踪目标类中去掉，这样的操作也保证了缓存中的目标跟踪类数量在内存安全范围内而不会出现爆缓存的现象；基于深度学习技术实现目标的实时跟踪，结合YoloV3的高效目标检测效率、图像空间特征提取网络的强大能力和相关的同一物体的判断规则，在同一场景多摄像头实现了无人工标注的实时目标跟踪，其效果已达到实用性要求。附图说明图1为本专利技术提供的一种多视角影像融合的空间目标跟踪系统的结构框图；图2为本专利技术实施例提供的一种多摄同帧图像的YoloV3目标检测效果图；图3为本专利技术实施例提供的一种空间特征提取的流程图；图4为本专利技术实施例提供的一种多视角影像融合的空间目标跟踪方法的的程图框图；。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。如图1所示为本专利技术提供的一种多视角影像融合的空间目标跟踪系统的结构框图，由图1可知，该系统包括：摄像单元、目标框提取模块、空间特征提取模块和跟踪器模块。摄像单元包括在进行空间目标跟踪的场景的四周对称设置的至少两个摄像头，摄像头以倾斜向下的姿态拍摄场景得到多摄同帧图像，多摄同帧图像为至少两个的摄像头拍摄的同一场景的同一时刻的至少两个的影像帧图；摄像头以倾斜向下的姿态拍摄即摄像头拍摄的影像为俯视角度拍摄的影像。目标框提取模块以目标框的形式对从各个多摄同帧图像中检测出的目标进行标注。利用目标检测网络检测出的目标框与全局的图像信息提取网络相结合得到仅含有目标框的特征图，去掉了大部分的无用的特征信息。空间特征提本文档来自技高网...

【技术保护点】
1.一种多视角影像融合的空间目标跟踪系统，其特征在于，所述空间目标跟踪系统包括：摄像单元、目标框提取模块、空间特征提取模块和跟踪器模块；/n所述摄像单元包括在进行空间目标跟踪的场景的四周对称设置的至少两个摄像头，所述摄像头以倾斜向下的姿态拍摄所述场景得到多摄同帧图像，所述多摄同帧图像为至少两个的所述摄像头拍摄的同一场景的同一时刻的至少两个的影像帧图；/n所述目标框提取模块以目标框的形式对从各个所述多摄同帧图像中检测出的目标进行标注；/n所述空间特征提取模块提取各个所述目标框中的特征信息，对各个所述特征信息进行聚类得到各个聚类特征；/n所述跟踪器模块根据所述聚类特征进行目标跟踪；/n所述空间特征提取模块包括卷积神经网络模块和空间聚类模块；/n所述卷积神经网络提取各个目标框的特征信息，对各个所述特征信息进行拼接后组成空间信息特征矩阵；/n所述空间聚类模块对所述空间信息特征矩阵进行聚类后得到每个类别的聚类中心，将各个所述聚类中心组成的聚类中心矩阵输出至所述跟踪器模块；/n所述跟踪器模块包括与各个所述聚类中心对应的各个跟踪器类；/n目标连续出现时间超过设定的目标出现时间阈值时，对对应的所述跟踪器类进行初始化；/n目标丢失时间超过设定的目标丢失时间阈值时，将对应的所述跟踪器类进行丢弃；/n所述跟踪器类包括跟踪目标类属性、存活索引属性、真正存活索引和全局存活索引属性；/n所述跟踪目标类属性用于存储被跟踪过的目标；/n所述存活索引属性用于记录被跟踪过的目标的索引；/n所述真正存活索引用于记录未受所述时间阈值影响而未去掉的跟踪目标类；/n所述全局存活索引属性用于记录存活着的跟踪目标类索引。/n...

【技术特征摘要】
1.一种多视角影像融合的空间目标跟踪系统，其特征在于，所述空间目标跟踪系统包括：摄像单元、目标框提取模块、空间特征提取模块和跟踪器模块；
所述摄像单元包括在进行空间目标跟踪的场景的四周对称设置的至少两个摄像头，所述摄像头以倾斜向下的姿态拍摄所述场景得到多摄同帧图像，所述多摄同帧图像为至少两个的所述摄像头拍摄的同一场景的同一时刻的至少两个的影像帧图；
所述目标框提取模块以目标框的形式对从各个所述多摄同帧图像中检测出的目标进行标注；
所述空间特征提取模块提取各个所述目标框中的特征信息，对各个所述特征信息进行聚类得到各个聚类特征；
所述跟踪器模块根据所述聚类特征进行目标跟踪；
所述空间特征提取模块包括卷积神经网络模块和空间聚类模块；
所述卷积神经网络提取各个目标框的特征信息，对各个所述特征信息进行拼接后组成空间信息特征矩阵；
所述空间聚类模块对所述空间信息特征矩阵进行聚类后得到每个类别的聚类中心，将各个所述聚类中心组成的聚类中心矩阵输出至所述跟踪器模块；
所述跟踪器模块包括与各个所述聚类中心对应的各个跟踪器类；
目标连续出现时间超过设定的目标出现时间阈值时，对对应的所述跟踪器类进行初始化；
目标丢失时间超过设定的目标丢失时间阈值时，将对应的所述跟踪器类进行丢弃；
所述跟踪器类包括跟踪目标类属性、存活索引属性、真正存活索引和全局存活索引属性；
所述跟踪目标类属性用于存储被跟踪过的目标；
所述存活索引属性用于记录被跟踪过的目标的索引；
所述真正存活索引用于记录未受所述时间阈值影响而未去掉的跟踪目标类；
所述全局存活索引属性用于记录存活着的跟踪目标类索引。


2.根据权利要求1所述的空间目标跟踪系统，其特征在于，所述场景为矩形空间，所述摄像头的数量为四个，设置在矩形的所述场景的四角上，各个所述摄像头同时对着所述场景的中心位置。


3.根据权利要求1所述的空间目标跟踪系统，其特征在于，所述目标框提取模块基于YoloV3检测网络进行目标框的预测。


4.根据权利...

【专利技术属性】
技术研发人员：姜益民，晏世武，洪勇，罗书培，
申请(专利权)人：武汉光谷信息技术股份有限公司，
类型：发明
国别省市：湖北;42