一种基于多传感时空关系的重叠视野目标群智匹配方法组成比例

本发明专利技术公开了一种基于多传感时空关系的重叠视野目标群智匹配方法，确定相邻摄像头的重叠视野区域，在摄像头空间位置固定，时间同步的前提下，主辅摄像头联动协同工作，计算目标检测框的中心点到重叠视野区域中界线的距离，分层次、分区域、分情况对目标的身份进行匹配，进一步减少了多运动目标智能安全监控场景下，目标遮挡对目标匹配的影响。在多运动目标智能安全监控场景中，利用本发明专利技术的技术方案，能智能准确的生成重叠视野区域，帮助匹配不同摄像头拍摄到的同一目标，提高目标识别的一致性和稳定性,减少目标跟踪中的漏检和误检，即使在遮挡、光照不好或者目标姿态发生变化的情况下，也能够更准确地识别和跟踪目标，提高目标匹配的准确率。标匹配的准确率。标匹配的准确率。

【技术实现步骤摘要】
一种基于多传感时空关系的重叠视野目标群智匹配方法


[0001]本专利技术涉及群体智能多目标匹配领域，尤其涉及一种基于多传感时空关系的重叠视野目标群智匹配方法。

技术介绍

[0002]近年来，随着视频监控的飞速发展,视频监控的需求也是越来越大,多视觉群体智能视频监控也将是未来视频监控的发展趋势,而目标匹配技术是智能安防的重要应用之一。由于监控场景中存在树木、建筑物及周围其他目标遮挡问题，不可避免的使得目标匹配出现漏匹配和误匹配的情况。

技术实现思路

[0003]本专利技术的目的在于：利用一种基于多传感时空关系的重叠视野目标群智匹配方法，智能准确的生成各摄像头的重叠视野区域，提高目标识别的一致性和稳定性，提高目标匹配的准确率。基于确定的重叠视野，分层次、分区域、分情况对目标的身份进行匹配，进一步减少了多运动目标智能安全监控场景下，目标遮挡对目标匹配的影响。
[0004]为实现上述目的，本专利技术提供如下技术方案：
[0005]一种基于多视觉传感时空关系的重叠视野目标群智匹配方法,包括如下步骤：
[0006]步骤1：通过两两相邻的多个摄像头获取不同视角下目标区域的静态场景图像，并对使用YOLOv5算法对各静态场景图像分别进行目标检测；
[0007]步骤2：确定相邻摄像头的重叠视野区域；
[0008]步骤3：对各重叠视野区域内的目标检测结果进行匹配。
[0009]进一步地，所述步骤2中确定相邻摄像头的重叠视野区域，具体过程如下：
[0010]步骤2.1：提取同时刻相邻摄像头A和B所获取的静态场景图像的关键点的角点特征值和SIFT特征，构成A和B所获取的静态场景图像的关键点的融合特征；其中，A位于B的左侧；
[0011]步骤2.2：根据步骤2.1中的关键点的融合特征，计算A和B所获取的静态场景图像中关键点的相似度、相似度左梯度、相似度右梯度；
[0012]步骤2.3：根据基于空间关系的重叠视野确定方法，生成A和B的重叠视野边界线、A的重叠视野中界线、B的重叠视野中界线，确定A和B的重叠视野区域。
[0013]进一步地，所述步骤2.1中图像关键点的融合特征的公式定义如下：
[0014][0015]其中，表示图像关键点的融合特征第i维的特征值；M表示SIFT特征的维度，h
*
表示角点特征值，μ是权重系数，r
i
表示第i维的SIFT特征值。
[0016]进一步地，所述步骤2.2中，A所获取的静态场景图像中关键点a和B所获取的静态场景图像中关键点b的相似度为：
[0017][0018]其中，为关键点a和关键点b的融合特征的余弦相似度，为关键点a和关键点b的融合特征的欧氏距离；
[0019]关键点a和关键点b的相似度左梯度为关键点a和关键点b的相似度与关键点a左侧相邻关键点和关键点b的相似度的差值的加权和；
[0020]关键点a和关键点b的相似度右梯度为关键点a和关键点b的相似度与关键点a右侧相邻关键点和关键点b的相似度的差值的加权和。
[0021]进一步地，
[0022]所述步骤2.3的具体过程如下：
[0023]步骤2.3.1：提取A和B所获取的静态场景图像的关键点集合和其中，分别表示A所获取的静态场景图像的关键点的行、列数；分别表示B所获取的静态场景图像的关键点的行、列数；
[0024]步骤2.3.2：根据B所获取的静态场景图像的关键点中左侧边缘点与A所获取的静态场景图像的关键点的相似度左、右梯度，确定A的重叠视野边界线，具体为：
[0025]步骤2.3.2.1：初始化索引为i
a
＝1，j
a
＝1，i
b
＝1，j
b
＝1，设置梯度阈值；
[0026]步骤2.3.2.2：计算a(i
a
,j
a
)与b(i
b
,j
b
)的相似度相似度左梯度和相似度右梯度
[0027]步骤2.3.2.3：若的值为正，则令j
a
＝j
a
+1，返回步骤2.3.2.2；若的值为负，则进行如下判断：如果满足小于梯度阈值，并且大于梯度阈值，将a(i
a
,j
a
)记为a(i
a
,z
′
s
′
a
)，j1＜z
′
s
′
a
＜N
ja
，并加入到A_L
Z
′
S
′
点集中，停止本行的搜索，执行步骤2.3.2.4；如果不满足，令j
a
＝j
a
+1，返回步骤2.3.2.2；
[0028]步骤2.3.2.4：更新索引i
a
＝i
a
+1，j
a
＝1，i
b
＝i
b
+1，j
b
＝1，判断是否成立，如果成立跳到步骤2.3.2.2；如果不成立，则搜索流程结束，将点集中的点连成线，即为A的重叠视野边界线L
Z
′
S
′
；
[0029]步骤2.3.3：根据A所获取的静态场景图像的关键点中右侧边缘点与B所获取的静态场景图像的关键点的相似度左、右梯度，确定B的重叠视野边界线，具体为：
[0030]步骤2.3.3.1：初始化索引为i
a
＝1，j
a
＝1，i
b
＝1，j
b
＝1，设置梯度阈值；
[0031]步骤2.3.3.2：计算a(i
a
,j
a
)与b(i
b
,j
b
)的相似度相似度左梯度和相似度右梯度
[0032]步骤2.3.3.3：若的值为正，则令j
b
＝j
b
+1，返回步骤2.3.3.2；若的值为负，则进行如下判断：如果满足大于梯度阈值，并且小于梯度阈值，将b(i
b
,j
b
)记为b(i
b
,v
′
j
′
b
)，j1＜v
′
j
′
b
＜N
jb
，并加入到A_L
V
′
J
′
点集中，停止本行的搜索，执行步骤2.3.3.4；如果不满足，令j
a
＝j
a
+1，返回步骤2.3.3.2；
[0033]步骤2.3.3.4：更新索引i
a
＝i
a
+1，j
a
＝1，i
b
＝i
b
+1，j
b
＝1，判本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视觉传感时空关系的重叠视野目标群智匹配方法,其特征在于，包括如下步骤：步骤1：通过两两相邻的多个摄像头获取不同视角下目标区域的静态场景图像，并对使用YOLOv5算法对各静态场景图像分别进行目标检测；步骤2：确定相邻摄像头的重叠视野区域；步骤3：对各重叠视野区域内的目标检测结果进行匹配。2.根据权利要求1所述的一种基于多视觉传感时空关系的重叠视野目标群智匹配方法,其特征在于，所述步骤2中确定相邻摄像头的重叠视野区域，具体过程如下：步骤2.1：提取同时刻相邻摄像头A和B所获取的静态场景图像的关键点的角点特征值和SIFT特征，构成A和B所获取的静态场景图像的关键点的融合特征；其中，A位于B的左侧；步骤2.2：根据步骤2.1中的关键点的融合特征，计算A和B所获取的静态场景图像中关键点的相似度、相似度左梯度、相似度右梯度；步骤2.3：根据基于空间关系的重叠视野确定方法，生成A和B的重叠视野边界线、A的重叠视野中界线、B的重叠视野中界线，确定A和B的重叠视野区域。3.根据权利要求2所述的一种基于多视觉传感时空关系的重叠视野目标群智匹配方法,其特征在于，所述步骤2.1中图像关键点的融合特征的公式定义如下：其中，表示图像关键点的融合特征第i维的特征值；M表示SIFT特征的维度，h
*
表示角点特征值，μ是权重系数，r
i
表示第i维的SIFT特征值。4.根据权利要求2所述的一种基于多视觉传感时空关系的重叠视野目标群智匹配方法,其特征在于，所述步骤2.2中，A所获取的静态场景图像中关键点a和B所获取的静态场景图像中关键点b的相似度为：其中，为关键点a和关键点b的融合特征的余弦相似度，为关键点a和关键点b的融合特征的欧氏距离；关键点a和关键点b的相似度左梯度为关键点a和关键点b的相似度与关键点a左侧相邻关键点和关键点b的相似度的差值的加权和；关键点a和关键点b的相似度右梯度为关键点a和关键点b的相似度与关键点a右侧相邻关键点和关键点b的相似度的差值的加权和。5.根据权利要求2所述的一种基于多视觉传感时空关系的重叠视野目标群智匹配方法,其特征在于，所述步骤2.3的具体过程如下：步骤2.3.1：提取A和B所获取的静态场景图像的关键点集合和其中，分别表示A所
获取的静态场景图像的关键点的行、列数；分别表示B所获取的静态场景图像的关键点的行、列数；步骤2.3.2：根据B所获取的静态场景图像的关键点中左侧边缘点与A所获取的静态场景图像的关键点的相似度左、右梯度，确定A的重叠视野边界线，具体为：步骤2.3.2.1：初始化索引为i
a
＝1，j
a
＝1，i
b
＝1，j
b
＝1，设置梯度阈值；步骤2.3.2.2：计算a(i
a
,j
a
)与b(i
b
,j
b
)的相似度相似度左梯度和相似度右梯度步骤2.3.2.3：若的值为正，则令j
a
＝j
a
+1，返回步骤2.3.2.2；若的值为负，则进行如下判断：如果满足小于梯度阈值，并且大于梯度阈值，将a(i
a
,j
a
)记为a(i
a
,z
′
s
′
a
)，j1＜z
′
s
′
a
＜N
ja
，并加入到A_L
Z
′
S
′
点集中，停止本行的搜索，执行步骤2.3.2.4；如果不满足，令j
a
＝j
a
+1，返回步骤2.3.2.2；步骤2.3.2.4：更新索引i
a
＝i
a
+1，j
a
＝1，i
b
＝i
b
+1，j
b
＝1，判断是否成立，如果成立跳到步骤2.3.2.2；如果不成立，则搜索流程结束，将点集中的点连成线，即为A的重叠视野边界线L
Z
′
S
′
；步骤2.3.3：根据A所获取的静态场景图像的关键点中右侧边缘点与B所获取的静态场景图像的关键点的相似度左、右梯度，确定B的重叠视野边界线，具体为：步骤2.3.3.1：初始化索引为i
a
＝1，j
a
＝1，i
b
＝1，j
b
＝1，设置梯度阈值；步骤2.3.3.2：计算a(i
a
,j
a
)与b(i
b
,j
b
)的相似度相似度左梯度和相似度右梯度步骤2.3.3.3：若的值为正，则令j
b
＝j
b
+1，返回步骤2.3.3.2；若的值为负，则进行如下判断：如果满足大于梯度阈值，并且小于梯度阈值，将b(i
b
,j
b
)记为b(i
b
,v
′
j
′
b
)，并加入到A_L
V
′
J
′
点集中，停止本行的搜索，执行步骤2.3.3.4；如果不满足，令j
a
＝j
a
+1，返回步骤2.3.3.2；步骤2.3.3.4：更新索引i
a
＝i
a
+1，j
a
＝1，i
b
＝i
b
+1，j
b
＝1，判断是否成立，如果成立跳到步骤2.3.3.2；如果不成立，则搜索流程结束，将点集中的点连成线，即为B的重叠视野边界线L
V
′
J
′
；步骤2.3.4：根据A所获取的静态场景图像的关键点中右侧边缘点和点集A_L
Z
′
S
′
，确定A的重叠视野中界线，具体为：步骤2.3.4.1：初始化索引值i
a
＝1；
步骤2.3.4.2：计算A的重叠视野中界线上点a(i
a
,pq
a
)的横、纵坐标：其中，为的横坐标，为纵坐标；步骤2.3.4.3：根据步骤2.3.4.2得到的坐标，判断a(i
a

【专利技术属性】
技术研发人员：张晖，王呈呈，赵海涛，朱洪波，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：