一种视域重叠的多摄像机目标匹配方法组成比例

本发明专利技术公开了一种视域重叠的多摄像机目标匹配方法，具体如下；根据摄像机1和摄像机2的前5帧信息计算两台摄像机的视野分界线；提取摄像机1视频中的前景目标，根据多特征融合规则将各个前景目标的特征进行融合获得融合后的特征向量；计算摄像机1中各目标在摄像机2中的投影点，确定待匹配目标的可靠区域后，再计算可靠区域内多特征融合向量；计算多特征融合向量的欧式距离，完成视域重叠的多摄像机目标匹配，距离最近且在设定阈值范围内的目标为匹配目标，保存视野分界线参数；更新视野分界线参数，从当前视频帧的前5帧中选取2组参数，再结合当前帧的视野分界线参数进行线性加权，并对视野分界线模型进行更新。

A multi camera target matching method with overlapping views

The invention discloses a multi-camera object matching method with overlapping view areas, as follows: calculating the field-of-view demarcation line of two cameras according to the first five frames of information of camera 1 and camera 2; extracting the foreground objects in camera 1 video; fusing the features of each foreground object according to the multi-feature fusion rules to obtain fusion. After calculating the projection points of each target in camera 1 in camera 2, the reliable region of the target to be matched is determined, and then the multi-feature fusion vectors in the reliable region are calculated; the Euclidean distance of the multi-feature fusion vectors is calculated to complete the multi-camera target matching with overlapping view, and the distance is nearest and within the set threshold range. The target in the frame is the matching target, which saves the parameters of the visual field demarcation line, updates the parameters of the visual field demarcation line, selects two sets of parameters from the first five frames of the current video frame, and then carries on the linear weighting combining with the parameters of the visual field demarcation line of the current frame, and updates the visual field demarcation line model.

【技术实现步骤摘要】
一种视域重叠的多摄像机目标匹配方法
本专利技术属于多摄像机视频监控的目标跟踪技术，尤其涉及一种视域重叠的多摄像机目标匹配方法。
技术介绍
随着科学技术的发展，“智慧校园”、“智慧城市”等概念不断的涌入人们的生活。信息技术的飞速发展为这些提供了技术支持，使它们逐渐成为现实。而在交通、工业和教育中，视频监控被越来越广泛的应用。大量涌现的摄像机监控视频也促使人们去思考如何高效的进行视频处理这一问题。于是，不同的智能视频监控系统被开发出来，用来对视频中的目标进行检测、匹配和跟踪，甚至有些智能视频监控系统能够对视频中的目标识别和行为分析。多摄像机目标追踪系统作为智能视频监控系统的一部分，有着更广阔和多角度的视野，可以克服单摄像机中目标被遮挡和目标移出视野的问题。因此多摄像机目标跟踪系统具有更大的研究和应用价值。主要步骤：首先对单摄像机输入视频进行运动目标检测，分别提取目标特征；再对各单摄像机提取的信息进行融合，实现不同摄像机中的目标匹配；最后实现多摄像机协同进行目标跟踪。本专利技术主要是对视野重叠情况下多摄像机的目标匹配问题进行研究。目前关于视域重叠的多摄像机目标匹配方法主要有：基于特征融合的目标匹配方法，基于队列的目标匹配方法和基于模型的目标匹配方法。基于特征融合的目标匹配方法将提取的目标特征利用统计学等方法进行目标匹配，该方法对于无遮挡情况下的视频效果较好，但当候选区域较大后会导致迭代次数增多，增加时间成本。基于队列的目标匹配方法是根据相邻摄像机的几何转换关系进行目标的定位。该方法在确定摄像机几何关系时忽略了摄像机受外界因素而导致的相对位置的变化和几何关系确立时产生的误差，从而会导致系统匹配准确率的逐渐下降。基于模型的目标匹配方法是利用先验信息构建一个目标模型，将视频中的目标和目标模型进行匹配，但该方法在目标发生旋转、形变时就会失去作用，而且建立模型也耗费大量运算时间。1.现有智能视频监控系统中，在人群密集情况下或目标暂时被其他事物遮挡时，一是会因视频中无法搜索匹配到目标而发生目标丢失情况；二是扩大搜索窗，这会导致目标匹配时迭代搜索区域增大，增加计算复杂度，算法实时性下降。本专利技术将不采用这两种策略。2.多视频目标匹配模型参数一般分为两类：一类是模型参数固定不变，但现实生活中各种不确定因素会导致摄像机位置发生变动，从而导致模型逐渐失效；另一类是参数不断更新的模型，但目标搜索和定位过程中也会出现异常数据的计算误差，导致模型参数更新错误，从而模型失效。本专利技术中的目标匹配模型更加稳健，并能够避免参数更新失败造成的模型失效。3.在视频中出现多个相似目标时，目标很难依靠单一或较少的目标特征进行辨别。
技术实现思路
本专利技术所要解决的技术问题是针对
技术介绍
的不足提供了一种视域重叠的多摄像机目标匹配方法，其采用基于多摄像机视野分界线的方法对目标进行定位，能够避免因单摄像机视野中目标被遮挡或变形而导致的目标丢失和匹配失败；目标通过空间映射实现定位后再进行目标匹配，也可以缩小迭代搜索区域，降低计算复杂度。本专利技术为解决上述技术问题采用以下技术方案一种视域重叠的多摄像机目标匹配方法，具体包含如下步骤；步骤1，根据摄像机1和摄像机2的前n帧信息计算两台摄像机的视野分界线，其中，n取正整数；步骤2，提取摄像机1视频中的前景目标，根据多特征融合规则将各个前景目标的特征进行融合获得融合后的特征向量；步骤3，计算摄像机1中各待匹配前景目标在摄像机2中的投影点，确定待匹配目标的可靠区域后，再计算可靠区域内多特征融合向量；步骤4，计算多特征融合向量的欧式距离，完成视域重叠的多摄像机目标匹配，距离最近且在设定阈值范围内的目标为匹配目标，保存视野分界线参数；步骤5，更新视野分界线参数，从当前视频帧的前5帧的中选取2组参数，再结合当前帧的视野分界线参数进行线性加权，并对视野分界线模型进行更新；步骤6，重复步骤2，直至视频结束。作为本专利技术一种视域重叠的多摄像机目标匹配方法的进一步优选方案，在步骤1中，两台摄像机的视野分界线具体计算过程如下：步骤1.1，设两台摄像机中的同一时刻的帧图像为图像1和图像2；步骤1.2，提取图像1和图像2的sift匹配关键点，并利用RANSAC算法进行过滤；步骤1.3，从步骤1.2过滤后的sift匹配关键点对中选取4对空间共面的点对，且任意3点都不共线，设I1和I2为两个独立的投影不变量，则计算如公式如下：其中，是点在图i中的坐标，在两幅待匹配的背景图像中，已知图像1中的5个点计算投影不变量I1,I2；图像1中的分别对应图像2中的根据两个投影不变量，计算图像2中第5个点的对应位置；第5个点的坐标计算公式：其中作为本专利技术一种视域重叠的多摄像机目标匹配方法的进一步优选方案，在步骤1中，视野分界线的初始化和更新具体如下：初始化视野分界线，即计算a1,b1,c1和a2,b2,c2两组参数，首先选取两组视频的第1,3,5帧图像，根据5.2.2部分计算视野分界线参数，记第n(n>＝5)帧图像视野分界线参数为和则当前帧图像视野分界线参数为公式(3)：公式中λ1,λ2和λ3分别为不同帧参数的加权系数，可根据情况进行调整，本专利技术中设置为0.2,0.3,0.5；具体步骤如下：1)分别从摄像机1和摄像机2中读取视频1和视频2；2)初始化模型，根据5.2.1计算当前帧a1,b1,c1和a2,b2,c2；3)当帧数n<5时，直接采用5.2.1方法计算模型参数；当帧数n>＝5时，采用5.2.2公式计算模型参数；4)重复步骤3)。作为本专利技术一种视域重叠的多摄像机目标匹配方法的进一步优选方案，在步骤2和步骤3中，采用图像显著性加权的HSV特征和HOG特征描述进行融合特征量。作为本专利技术一种视域重叠的多摄像机目标匹配方法的进一步优选方案，HOG特征提取具体如下：HOG特征是通过梯度分布来描述图像局部信息，图像先分块，再分解成细胞单元并计算梯度分布直方图，最后把所有的直方图联合起来即为HOG描述子；具体步骤如下：(1)Gamma归一化：为了避免光照、噪声等影响，图像需要先进行Gamma归一化，归一化公式为：gamma常取2；I(x,y)＝I(x,y)gamma，gamma常取0.5；(2)梯度计算具体如下：Gx(x,y)＝A(x+1,y)-A(x-1,y)Gy(x,y)＝A(x,y+1)-A(x,y-1)(7)其中，Gx为水平方向梯度，Gy为垂直方向梯度，A(x,y)为像素(x,y)的灰度值，则梯度值G和梯度方向α为公式(8)和(9)：(3)计算各单元梯度分布直方图；将目标图像分解成若干单元cell，并对每个cell计算其梯度分布直方图。本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：本专利技术采用基于多摄像机视野分界线的方法对目标进行定位，能够避免因单摄像机视野中目标被遮挡或变形而导致的目标丢失和匹配失败。目标通过空间映射实现定位后再进行目标匹配，也可以缩小迭代搜索区域，降低计算复杂度。2.本专利技术采用自调节空间模型方法，从视频当前帧的前五帧中选取三帧，保存其空间模型参数作为当前帧空间模型的先验信息。当前帧空间模型参数根据先验信息和当前计算参数这两组数据来确定。本方法充分利用了不同时间帧的信息来避免因摄像机位置变化而导本文档来自技高网...

【技术保护点】
1.一种视域重叠的多摄像机目标匹配方法，其特征在于：具体包含如下步骤；步骤1，根据摄像机1和摄像机2的前n帧信息计算两台摄像机的视野分界线，其中，n取正整数；步骤2，提取摄像机1视频中的前景目标，根据多特征融合规则将各个前景目标的特征进行融合获得融合后的特征向量；步骤3，计算摄像机1中各待匹配前景目标在摄像机2中的投影点，确定待匹配目标的可靠区域后，再计算可靠区域内多特征融合向量；步骤4，计算多特征融合向量的欧式距离，完成视域重叠的多摄像机目标匹配，距离最近且在设定阈值范围内的目标为匹配目标，保存视野分界线参数；步骤5，更新视野分界线参数，从当前视频帧的前5帧的中选取2组参数，再结合当前帧的视野分界线参数进行线性加权，并对视野分界线模型进行更新；步骤6，重复步骤2，直至视频结束。

【技术特征摘要】
1.一种视域重叠的多摄像机目标匹配方法，其特征在于：具体包含如下步骤；步骤1，根据摄像机1和摄像机2的前n帧信息计算两台摄像机的视野分界线，其中，n取正整数；步骤2，提取摄像机1视频中的前景目标，根据多特征融合规则将各个前景目标的特征进行融合获得融合后的特征向量；步骤3，计算摄像机1中各待匹配前景目标在摄像机2中的投影点，确定待匹配目标的可靠区域后，再计算可靠区域内多特征融合向量；步骤4，计算多特征融合向量的欧式距离，完成视域重叠的多摄像机目标匹配，距离最近且在设定阈值范围内的目标为匹配目标，保存视野分界线参数；步骤5，更新视野分界线参数，从当前视频帧的前5帧的中选取2组参数，再结合当前帧的视野分界线参数进行线性加权，并对视野分界线模型进行更新；步骤6，重复步骤2，直至视频结束。2.根据权利要求1所述的一种视域重叠的多摄像机目标匹配方法，其特征在于：在步骤1中，两台摄像机的视野分界线具体计算过程如下：步骤1.1，设两台摄像机中的同一时刻的帧图像为图像1和图像2；步骤1.2，提取图像1和图像2的sift匹配关键点，并利用RANSAC算法进行过滤；步骤1.3，从步骤1.2过滤后的sift匹配关键点对中选取4对空间共面的点对，且任意3点都不共线，设I1和I2为两个独立的投影不变量，则计算如公式如下：其中，{a,b,c}∈{1,2,3,4,5},i∈{1,2}，是点在图i中的坐标，在两幅待匹配的背景图像中，已知图像1中的5个点计算投影不变量I1,I2；图像1中的分别对应图像2中的根据两个投影不变量，计算图像2中第5个点的对应位置；第5个点的坐标计算公式：其中3.根据权利要求1所述的一种视域重叠的多摄像机目标匹配方法，其特征在于：在步骤1中，视野分界线的初始化和更新具体如下：初始化视野分界线，即计算a1,b1,c1和...

【专利技术属性】
技术研发人员：程德强，陈亮亮，庄焕东，蔡迎春，高蕊，姚洁，赵凯，袁永，屠世浩，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32