一种多摄像头检测目标融合和补盲的方法技术

本发明专利技术公开了一种多摄像头检测目标融合和补盲的方法，包括在十字路口安装多台摄像机，获取多个视频源图像，并建立像素坐标系；分别对多个视频源图像进行目标检测，获取目标检测类型；根据目标检测类型和

【技术实现步骤摘要】
一种多摄像头检测目标融合和补盲的方法


[0001]本专利技术涉及智慧交通检测的
，具体而言，涉及一种多摄像头检测目标融合和补盲的方法
。

技术介绍

[0002]智慧交通对实现智慧城市建设的可持续发展和经济发展起着至关重要的作用，随着人均经济水平的提高，交通场景下的机动车
、
非机动车和行人目标越来越多，依赖人工统计交通流量和交通目标违法事件已成为过去时
。
现如今对路侧感知实时检测
、
违法事件报警和证据保存等方面要求较高，路侧多摄像头协同检测目标的方案常用来实现道路中盲区的补偿，以提高目标检测的召回率，降低漏检率
。
[0003]现有的对多摄像头检测结果进行融合的方法有：
[0004]1、
基于提取目标特征如颜色
、
纹理
、
形状等，并利用这些特征进行融合
。
[0005]2、
基于深度学习的目标融合，通过对多个摄像头图像进行联合训练得到深度学习模型，来提取图像中的高级语义特征，并利用这些特征实现目标融合
。
[0006]上述方法中，至少具有以下缺点：
[0007]1、
利用颜色
、
纹理
、
形状提取目标特征的方式，由于多摄像机在路侧项目中的安装位置通常是十字路口四个方向对着路口中间拍摄，存在由于对目标拍摄角度不同，目标的纹理
、
形状略有差异，且摄像机受光照方向的影响，不同方向安装的摄像机拍摄到的目标颜色略有色差，使得目标融合准确度的降低
。
[0008]2、
对多个摄像头的图像进行联合训练前，需要对多个摄像头的图像数据进行联合标定，带来了较大的时间和人力成本
。

技术实现思路

[0009]本专利技术的目的是提供一种多摄像头检测目标融合和补盲的方法，避免了仅通过目标框图像的表面特征进行融合造成的误差，也无需对视频源图像进行联合标定，降低了大量的时间和人力成本
。
[0010]本专利技术的实施例通过以下技术方案实现：
[0011]一种多摄像头检测目标融合和补盲的方法，其特征在于，包括以下步骤：
[0012]在十字路口安装多台摄像机，获取多个视频源图像，并建立像素坐标系；
[0013]分别对多个视频源图像进行目标检测，获取目标检测类型；
[0014]根据目标检测类型和
box
框特点，对每一个检测到的目标取目标像素点在像素坐标系下的像素坐标，并转换得到目标坐标；
[0015]定义每台摄像机的特定区域和感兴趣区域，直接输出特定区域内的所有目标；建立自定义坐标系，并对感兴趣区域内的目标坐标进行鸟瞰透视变换，得到鸟瞰坐标；
[0016]基于鸟瞰坐标进行目标融合，并输出感兴趣区域的所有目标
。
[0017]在本专利技术的一实施例中，所述目标检测类型包括机动车目标和非机动车目标
。
[0018]在本专利技术的一实施例中，所述根据目标检测类型和
box
框特点，对每一个检测到的目标取任意一个像素点在像素坐标系下的坐标，并转换得到目标坐标的具体方法为：
[0019]当目标属于非机动车目标时，则有转换公式：
[0020][0021]式中，
x、y
为目标坐标，
x0、y
O
为像素坐标，
h
为
box
框的高度
。
[0022]在本专利技术的一实施例中，所述根据目标检测类型和
box
框特点，对每一个检测到的目标取目标像素点在像素坐标系下的像素坐标，并转换得到目标坐标的具体方法为：
[0023]当目标属于机动车目标，又满足关系式时，则有转换公式：
[0024][0025]当目标属于机动车目标，又满足关系式时，则对
box
框的高宽比设置阈值；
[0026]当目标
box
框的高宽比大于阈值时，则有转换公式：
[0027][0028]当目标
box
框的高宽比大于阈值时，则有转换公式：
[0029][0030]上述式中，
x、y
为目标坐标，
x0、y
O
为像素坐标，
h
为
box
框的高度，
w
为
box
框的宽度，
H
为单帧图像的高度
。
[0031]在本专利技术的一实施例中，所述对感兴趣区域内的目标坐标进行鸟瞰透视变换，得到鸟瞰坐标的具体公式为：
[0032][0033]式中，
u
＇
、v
＇为鸟瞰坐标，
k
11
、k
12
、k
13
、K
21
、K
22
、K
23
、K
31
、K
32
为系数，
x、y
为目标坐标
。
[0034]在本专利技术的一实施例中，所述基于鸟瞰坐标进行目标融合，并输出感兴趣区域的所有目标的具体方法为：
[0035]设置距离阈值
D
min
和
D
max
，遍历感兴趣区域内最多目标数量的摄像机
S
kmax
和其它摄像机
S
i
的所有目标；
[0036]找出摄像机
S
kmax
感兴趣区域内的每个目标在摄像机
S
i
感兴趣区域内欧式距离最近的目标
d
min
；
[0037]比较
d
min
与
D
min
和
D
max
值的大小，若满足关系式
d
min
＞
D
max
，则说明两者不是同一目标；若满足关系式
d
min
＜
D
min
，则说明两者为同一目标并融合；若满足关系式
D
min
＜
d
min
＜
D
max
，则判断两者的目标类型是否一致，如果是，则为同一目标并融合，如果不是，则在下一帧视
频源图像再次融合
。
[0038]在本专利技术的一实施例中，所述基于鸟瞰坐标进行目标融合，并输出感兴趣区域的所有目标的具体方法还包括：
[0039]设置融合阈值，若融合次数超过融合阈值未融合成功，则停止融合
。
[0040]本专利技术实施例的技术方案至少具有如下优点和有益效果：
[0041]本专利技术通过多台摄像头联合部署本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多摄像头检测目标融合和补盲的方法，其特征在于，包括以下步骤：在十字路口安装多台摄像机，获取多个视频源图像，并建立像素坐标系；分别对多个视频源图像进行目标检测，获取目标检测类型；根据目标检测类型和
box
框特点，对每一个检测到的目标取目标像素点在像素坐标系下的像素坐标，并转换得到目标坐标；定义每台摄像机的特定区域和感兴趣区域，直接输出特定区域内的所有目标；建立自定义坐标系，并对感兴趣区域内的目标坐标进行鸟瞰透视变换，得到鸟瞰坐标；基于鸟瞰坐标进行目标融合，并输出感兴趣区域的所有目标
。2.
根据权利要求1所述的一种多摄像头检测目标融合和补盲的方法，其特征在于，所述目标检测类型包括机动车目标和非机动车目标
。3.
根据权利要求2所述的一种多摄像头检测目标融合和补盲的方法，其特征在于，所述根据目标检测类型和
box
框特点，对每一个检测到的目标取任意一个像素点在像素坐标系下的坐标，并转换得到目标坐标的具体方法为：当目标属于非机动车目标时，则有转换公式：式中，
x、y
为目标坐标，
x0、y
O
为像素坐标，
h
为
box
框的高度
。4.
根据权利要求3所述的一种多摄像头检测目标融合和补盲的方法，其特征在于，所述根据目标检测类型和
box
框特点，对每一个检测到的目标取目标像素点在像素坐标系下的像素坐标，并转换得到目标坐标的具体方法为：当目标属于机动车目标，又满足关系式时，则有转换公式：当目标属于机动车目标，又满足关系式时，则对
box
框的高宽比设置阈值；当目标
box
框的高宽比大于阈值时，则有转换公式：当目标
box
框的高宽比大于阈值时，则有转换公式：上述式中，
x、y
为目标坐标，
x0、y
O
为像素坐标，
h
为
box
框的高度，
w
为
box
框的宽度，
H
为单帧图像的高度
。5.
根据权利要求1所述的一种多摄像头检测目标融合和补盲的方法，其特征在于，所述对感兴趣...

【专利技术属性】
技术研发人员：胡丽娟，张琳，
申请(专利权)人：车路通科技成都有限公司，
类型：发明
国别省市：