基于毫米波雷达与可见光图像融合的目标检测方法技术

本发明专利技术公开了一种于毫米波雷达与可见光图像融合的目标检测方法，其实现方法为：对雷达数据进行预处理，得到雷达图像；搭建毫米波雷达与可见光图像融合的目标检测网络，包括特征提取子网络、图像融合子网络以及RetinaNet网络；将经过预处理过的雷达图像和可见光图像输入毫米波雷达与可见光图像融合的目标检测网络进行训练，得到训练好的网络模型；测试集的雷达数据经过同样的预处理之后与可见光图像输入训练好的模型进行测试，得到目标检测结果。本发明专利技术相比于单独的图像检测方法，检测精度更高，能获得较好的检测结果，可用于进行目标检测。标检测。标检测。

【技术实现步骤摘要】
基于毫米波雷达与可见光图像融合的目标检测方法


[0001]本专利技术属于数据识别
，更进一步涉及应用电子设备进行识别
中的一种基于毫米波雷达与可见光图像融合的目标检测方法。本专利技术可用于对可见光图像中的目标进行检测。

技术介绍

[0002]目标检测技术是目前计算机视觉领域一个重点，热点技术，尤其是基于图像的目标检测技术更是层出不穷，模型的不断改进使得检测性能逐渐提升。但是受一些环境因素的影响，如光照，雨，雪，雾因素对目标检测的准确率造成一定影响。毫米波雷达工作在毫米波波段，具有体积小，重量轻，分辨率低，抗干扰，反隐身的特点，最重要的是毫米波雷达穿透雾、烟、灰尘的能力强，具有全天候全天时的特点。
[0003]一般情况下，使用毫米波雷达与可见光图像的融合方式有三种，分别是基于决策级别的融合，基于数据级别的融合以及基于特征级别的融合。基于决策级别的融合方式是将雷达数据和可见光图像的预测结果进行融合。基于数据级别的融合方式是将雷达数据转换到相机坐标系下，根据雷达数据生成感兴趣区域，对生成的感兴趣区域提取输入图像的对应特征，将得到的特征输入检测网络得到结果。对于基于特征级别的融合方式，近年来使用较频繁。将雷达数据转换为特定形式的数据，使用特征提取网络对可见光图像和雷达数据进行特征提取，通过融合网络进行融合，常见的融合方式包括元素级别的加，乘，拼接。融合的特征送入检测网络得到目标信息。目前对于毫米波雷达数据，常用的数据格式类型包括二维点云，三维点云，Range
‑
Azimuth Map，Range
‑
Angle
‑
Doppler(RAD)张量。
[0004]上海交通大学在其申请的专利文献“一种基于融合图像特征的毫米波雷达目标检测方法及系统”(专利申请号：202111288212.0，公开号：114218999A)中公开了一种及一种基于融合图像特征的毫米波雷达目标检测方法，该方法首先通过图像特征处理模块得到输入图像的3D鸟瞰特征图，并输入至雷达数据特征与图像特征融合模块。然后通过雷达数据特征与图像特征融合模块得到规范化后的雷达特征图，并将其与3D鸟瞰特征图进行融合，得到融合后的特征图；最后基于融合后的特征图对目标检测模块的目标检测网络进行训练，得到训练好的模型提高自动驾驶汽车目标检测的准确率。该方法仍然存在的不足之处是，将图像特征转换为3D鸟瞰特征图，转换过程较为复杂，忽略了在投影变换中产生的误差以及变形，丢失图像的部分特征，计算耗时长，降低了目标检测的效率。
[0005]Shuo Chang等人在其发表的论文“Spatial Attention Fusion for Obstacle Detection Using MmWave Radar and Vision Sensor”(Sensors(Basel,Switzerland),2020,20(4))中提出了一种新的基于毫米波雷达点云数据和可见光图像的空间注意融合的目标检测方法，该方法将雷达点云投影到图像上并对点进行扩充，扩充的方式是以某点为圆心，以指定长度为半径做圆，此圆覆盖的范围全部将像素值与圆心点一致，之后采用了多个不同尺寸的核进行进行卷积提取注意矩阵，对图像特征进行增强。所提出的融合方法可以嵌入到特征提取阶段，有效地利用了毫米波雷达和可见光图像的特征。该方法仍然存在
的不足之处是，由于雷达点云数据是经过傅里叶变换，恒虚警率CFAR过程产生的，特征有限，经过投影还会丢失一部分信息，导致目标检测的准确率降低。

技术实现思路

[0006]本专利技术的目的在于针对上述现有技术的不足，提出一种基于毫米波雷达与可见光图像融合的目标检测方法，用于解决目标检测效率低，目标检测准确率低的问题。
[0007]实现本专利技术目的的思路是，对雷达数据进行预处理，得到雷达图像，搭建一个基于毫米波雷达与可见光图像融合的目标检测网络，包括雷达特征提取子网络，可见光图像特征提取子网络，雷达与可见光图像融合子网络以及RetinaNet网络。其中本专利技术使用的雷达与可见光图像融合网络能够充分利用雷达信息对可见光图像特征增强。将经过预处理过的雷达图像和可见光图像输入毫米波雷达与可见光图像融合的目标检测网络进行训练，得到训练好的网络模型。测试集的雷达数据经过同样的预处理之后与可见光图像输入训练好的模型进行测试，得到目标检测结果。
[0008]本专利技术实现的具体步骤包括如下：
[0009]步骤1，对毫米波雷达数据进行预处理生成雷达图像：
[0010]步骤1.1，车载雷达在获取雷达传感器接收雷达回波信号数据的同一时刻，车载视觉传感器获得与雷达回波信号数据对应的可见光图像；
[0011]步骤1.2，将雷达回波信号数据转换矩阵A，矩阵A中的行代表距离，列代表角度；对矩阵A进行取模后再归一化，得到一个128*128*1大小的矩阵B，对矩阵A进行归一化后得到128*128*2的矩阵C，将矩阵B与矩阵C进行拼接得到矩阵D；
[0012]步骤1.3，将矩阵D保存成雷达图像；
[0013]步骤2，生成训练集：
[0014]将雷达图像与可见光图像均生成json格式的标注文件，将雷达图像、可见光图像及其生成的标注文件组成训练集；
[0015]步骤3，构建一个雷达特征提取子网络：
[0016]搭建一个10层的特征提取子网络，其结构依次为：第一卷积层，第一批规范化层，第二卷积层，第二批规范化层，第三卷积层，第三批规范化层，第四卷积层，第四批规范化层，第五卷积层，第五批规范化层，将第一至第五卷积层的卷积核大小分别设置为7
×
7，1
×
1，1
×
1，3
×
3，1
×
1；卷积核数量分别设置为64，256，64，64，256。将第一至第五批规范化层参用FrozenBatchNorm函数实现；
[0017]步骤4，构建可见光特征提取子网络：
[0018]搭建一个22层的可见光特征提取子网络，其结构依次为：第一卷积层，第一批规范化层，第二卷积层，第二批规范化层，第三卷积层，第三批规范化层，第四卷积层，第四批规范化层，第五卷积层，第五批规范化层，第六卷积层，第六批规范化层，第七卷积层，第七批规范化层，第八卷积层，第八批规范化层，第九卷积层，第九批规范化层，第十卷积层，第十批规范化层，第十一卷积层，第十一批规范化层。将第一至第十一卷积层的卷积核大小分别设置为7
×
7，1
×
1，1
×
1，3
×
3，1
×
1，1
×
1，3
×
3，1
×
1，1
×
1，3
×
3，1
×
1；将第一至第十一卷积层的卷积核数量分别设置为64，256，64，64，256，64，64，256，64，64，256。将第一至第十一批规范化层参用F本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于毫米波雷达与可见光图像融合的目标检测方法，其特征在于，对毫米波雷达数据进行预处理生成雷达图像，在目标检测网络中构建雷达与可见光图像融合子网络；该方法的步骤包括如下：步骤1，对毫米波雷达数据进行预处理生成雷达图像：步骤1.1，车载雷达在获取雷达传感器接收雷达回波信号数据的同一时刻，车载视觉传感器获得与雷达回波信号数据对应的可见光图像；步骤1.2，将雷达回波信号数据转换矩阵A，矩阵A中的行代表距离，列代表角度；对矩阵A进行取模后再归一化，得到一个128*128*1大小的矩阵B，对矩阵A进行归一化后得到128*128*2的矩阵C，将矩阵B与矩阵C进行拼接得到矩阵D；步骤1.3，将矩阵D保存成雷达图像；步骤2，生成训练集：将雷达图像与可见光图像均生成json格式的标注文件，将雷达图像、可见光图像及其生成的标注文件组成训练集；步骤3，构建一个雷达特征提取子网络：搭建一个10层的特征提取子网络，其结构依次为：第一卷积层，第一批规范化层，第二卷积层，第二批规范化层，第三卷积层，第三批规范化层，第四卷积层，第四批规范化层，第五卷积层，第五批规范化层，将第一至第五卷积层的卷积核大小分别设置为7
×
7，1
×
1，1
×
1，3
×
3，1
×
1；卷积核数量分别设置为64，256，64，64，256；将第一至第五批规范化层参用FrozenBatchNorm函数实现；步骤4，构建可见光特征提取子网络：搭建一个22层的可见光特征提取子网络，其结构依次为：第一卷积层，第一批规范化层，第二卷积层，第二批规范化层，第三卷积层，第三批规范化层，第四卷积层，第四批规范化层，第五卷积层，第五批规范化层，第六卷积层，第六批规范化层，第七卷积层，第七批规范化层，第八卷积层，第八批规范化层，第九卷积层，第九批规范化层，第十卷积层，第十批规范化层，第十一卷积层，第十一批规范化层；将第一至第十一卷积层的卷积核大小分别设置为7
×
7，1
×
1，1
×
1，3
×
3，1
×
1，1
×
1，3
×
3，1
×
1，1
×
1，3
×
3，1
×
...

【专利技术属性】
技术研发人员：刘向丽，范文靖，王志国，李赞，许明辉，付祎，李思远，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：