一种应用于交通目标探测的小目标雷视融合方法技术

本发明专利技术公开了一种应用于交通目标探测的小目标雷视融合方法，涉及雷视融合领域，该方法通过将整张图片分割成不同区域，分别输入目标检测模型进行图像目标检测，从而提高设备对远距离图像小目标的识别召回率和定位精度。本发明专利技术解决了传统雷视融合损失图像信息、目标检测的识别范围受限以及雷达监测范围超过300米时雷视融合不完整的问题。时雷视融合不完整的问题。时雷视融合不完整的问题。

【技术实现步骤摘要】
一种应用于交通目标探测的小目标雷视融合方法


[0001]本专利技术涉及雷视融合领域，特别是涉及一种应用于交通目标探测的小目标雷视融合方法。

技术介绍

[0002]交通强国建设是国家大的发展战略方向。近年来，国家大力发展智慧交通，智能网联，车路协同。在车路协同中，路侧感知系统的感知性能至关重要，是车路协同路段最重要的感知手段。目前，基于图像和毫米波雷达融合的设备在行业内大规模应用，各个厂商采用的技术手段各有不同。
[0003]传统的图像和雷达融合方法通常将整张图像输入深度学习算法模型，即不论前端采集的实际图像分辨率大小，都会压缩成小的图像，输入到图像目标检测模型中。该方法的弊端在于整张图像压缩，损失了大量的目标图像信息，特别是相对距离较远的机动车、非机动车和行人信息，导致整个系统的目标检测的识别范围有限，使得图像的目标检测距离在100米
‑
150米。相比之下，雷达的监测范围往往在300米以上，即导致雷视融合过程中，后半部分只有雷达信息，没有图像信息。

技术实现思路

[0004]针对现有技术中的上述不足，本专利技术提供的一种应用于交通目标探测的小目标雷视融合方法解决了传统雷视融合损失图像信息、目标检测的识别范围受限以及雷达监测范围超过300米时雷视融合不完整的问题。
[0005]为了达到上述专利技术目的，本专利技术采用的技术方案为：一种应用于交通目标探测的小目标雷视融合方法，包括以下步骤：
[0006]S1：将图像和毫米波雷达融合设备安装到交通路杆上，并调整设备位置、俯仰角和图像传感器的角度，满足道路交通监控的范围覆盖需求；
[0007]S2：打开图像和毫米波雷达融合设备的配置软件，通过图像预览页面预览实时图像，采用手动方式框选小目标图像的感兴趣区域，并将感兴趣区域的四个角点的像素位置保存到配置文件；
[0008]S3：基于保存的不同图像的感兴趣区域的像素位置，在原始图像视频流中提取每一帧图像，并分别分割提取出N个区域图像；
[0009]S4：将分割提取出的N个区域图像分别输入不同的深度目标检测模型中，获得每个感兴趣区域的道路交通目标检测结果；
[0010]S5：将每个感兴趣区域的道路交通目标检测结果的时间对齐，并投影到统一的坐标系中，通过最近邻匹配算法将距离、速度和类别相近的目标融合，获得整张图片的目标检测融合信息；
[0011]S6：将整张图片的目标检测融合信息与毫米波雷达输出的目标结构化信息进行融合，获得图像和毫米波雷达设备的融合输出结果。
[0012]上述方案的有益效果是：本专利技术通过将整张图片分割成不同区域，分别输入目标检测模型中进行图像目标检测，提高了图像和毫米波雷达融合设备对远距离图像小目标的识别召回率和定位精度，解决了传统雷视融合损失图像信息、目标检测的识别范围受限以及雷达监测范围超过300米时雷视融合不完整的问题。
[0013]进一步地，S2中要求感兴趣区域覆盖整个道路，且相邻两个感兴趣区域的重叠范围大于或等于1/10图像像素高度，感兴趣区域的数量小于或等于10。
[0014]上述进一步方案的有益效果是：通过上述对感兴趣区域的重叠范围的设置，保证了相邻感兴趣区域的配准效果，通过对感兴趣区域的数量的设置，减少边缘设备的计算量，保证目标探测效率。
[0015]进一步地，S4中深度目标检测模型采用YOLOV5模型，所述YOLOV5模型以CSPDarknet为主干网络，通过五次标准卷积层CBS提取图像特征，并利用C3模块进行特征堆叠，通过C3模块的残差结构实现特征提取。
[0016]上述进一步方案的有益效果是：通过上述技术方案，增加网络宽度，提出大量冗余的梯度信息，保留更有效的小目标特征。
[0017]进一步地，S5中将最近邻匹配算法作为匹配优先度的决策依据，公式为
[0018][0019][0020]其中，D(i,j)表示距离差函数，表示第t帧的第i个目标质点，表示第t+1帧的搜索范围内的第j个目标质点，表示与该目标在t+1帧的搜索范围内的n个目标质点的距离中的最大值，和表示和在X
‑
O
‑
Y平面坐标系下的坐标位置。
[0021]上述进一步方案的有益效果是：利用上述公式，依据最近邻法则，采用最近邻法作为匹配优先度的决策依据：优先度越高，越先匹配，同时最近邻匹配具有计算量小，运算开销少的优点，符合交通目标探测实时性要求较高的特点。
[0022]进一步地，S6中包括以下分步骤：
[0023]S6
‑
1：将图像和毫米波雷达的时间戳对齐，同时将毫米波雷达输出的目标结构化信息投影到统一坐标系中；
[0024]S6
‑
2：利用匹配算法将图像的目标检测融合信息和毫米波雷达输出的目标结构化信息一一对应，实现图像和毫米波雷达设备的融合。
[0025]上述进一步方案的有益效果是：通过上述技术方案，完成图像的目标检测融合信息和毫米波雷达输出的目标结构化信息的融合。
[0026]进一步地，S6
‑
2中利用匹配算法将图像的目标检测融合信息和毫米波雷达输出的目标结构化信息一一对应时，目标与候选目标之间的相似性通过相似性函数计算，以巴氏系数表示相似性函数，公式为
[0027][0028]其中，表示候选目标的概率密度估计，表示目标的概率密度估计，m表示特征维度，u表示特征维度取值。
[0029]上述进一步方案的有益效果是：利用巴氏系数说明目标与候选目标之间的相似性，相似度函数值越大，则当前帧目标与下一帧的候选目标越相似，通过相似性函数与最邻近匹配算法能够有效实现图像与雷达设备的目标融合。
附图说明
[0030]图1为一种应用于交通目标探测的小目标雷视融合方法流程图。
具体实施方式
[0031]下面结合附图和具体实施例对本专利技术做进一步说明。
[0032]如图1所示，一种应用于交通目标探测的小目标雷视融合方法，包括以下步骤：
[0033]S1：将图像和毫米波雷达融合设备安装到交通路杆上，并调整设备位置、俯仰角和图像传感器的角度，满足道路交通监控的范围覆盖需求；
[0034]S2：打开图像和毫米波雷达融合设备的配置软件，通过图像预览页面预览实时图像，采用手动方式框选小目标图像的感兴趣区域，并将感兴趣区域的四个角点的像素位置保存到配置文件；
[0035]S3：基于保存的不同图像的感兴趣区域的像素位置，在原始图像视频流中提取每一帧图像，并分别分割提取出N个区域图像；
[0036]S4：将分割提取出的N个区域图像分别输入不同的深度目标检测模型中，获得每个感兴趣区域的道路交通目标检测结果；
[0037]S5：将每个感兴趣区域的道路交通目标检测结果的时间对齐，并投影到统一的坐标系中，本实施例中坐标系可选用WGS84坐标系和CGCS2000坐标系，通过最近邻匹配算法将距离、速度和类别相近的目标融合，获得整张图片的目标检测融合信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于交通目标探测的小目标雷视融合方法，其特征在于，包括以下步骤：S1：将图像和毫米波雷达融合设备安装到交通路杆上，并调整设备位置、俯仰角和图像传感器的角度，满足道路交通监控的范围覆盖需求；S2：打开图像和毫米波雷达融合设备的配置软件，通过图像预览页面预览实时图像，采用手动方式框选小目标图像的感兴趣区域，并将感兴趣区域的四个角点的像素位置保存到配置文件；S3：基于保存的不同图像的感兴趣区域的像素位置，在原始图像视频流中提取每一帧图像，并分别分割提取出N个区域图像；S4：将分割提取出的N个区域图像分别输入不同的深度目标检测模型中，获得每个感兴趣区域的道路交通目标检测结果；S5：将每个感兴趣区域的道路交通目标检测结果的时间对齐，并投影到统一的坐标系中，通过最近邻匹配算法将距离、速度和类别相近的目标融合，获得整张图片的目标检测融合信息；S6：将整张图片的目标检测融合信息与毫米波雷达输出的目标结构化信息进行融合，获得图像和毫米波雷达设备的融合输出结果。2.根据权利要求1所述的应用于交通目标探测的小目标雷视融合方法，其特征在于，所述S2中要求感兴趣区域覆盖整个道路，且相邻两个感兴趣区域的重叠范围大于或等于1/10图像像素高度，感兴趣区域的数量小于或等于10。3.根据权利要求1所述的应用于交通目标探测的小目标雷视融合方法，其特征在于，所述S4中深度目标检测模型采用YOLOV5模型，所述YOLOV5模型以CSPDarknet为主干网络，通过五次标准卷积层CBS提取图像特征，并利用...

【专利技术属性】
技术研发人员：戴金洲，张琳，刘嘉靖，韩超，吕庆斌，邬洋，沙硕，刘元晟，姚瑶，周碧晨，
申请(专利权)人：北京市计量检测科学研究院，
类型：发明
国别省市：