【技术实现步骤摘要】
本专利技术涉及目标检测，特别是一种基于毫米波雷达与视觉多模态融合的目标检测方法。
技术介绍
1、在现代交通、机器人导航和自动驾驶等领域，障碍物检测和识别是至关重要的。传统的障碍物检测方法主要依赖单一的传感器，如摄像头、激光雷达或毫米波雷达。然而，每种传感器都有其局限性。例如，摄像头在低光或逆光条件下可能无法正常工作，而雷达在某些复杂场景中可能会受到干扰。
2、为了提高障碍物检测的准确性和鲁棒性，研究者开始探索多模态融合技术，即结合多种传感器的数据进行检测。其中，毫米波雷达和计算机视觉的融合受到了广泛关注。毫米波雷达可以提供目标的距离、速度和角度信息，而计算机视觉可以提供目标的形状、颜色和纹理信息。通过融合这两种信息，可以实现更准确和稳定的障碍物检测。
技术实现思路
1、鉴于上述和/或现有的基于毫米波雷达与视觉多模态融合的目标检测方法中存在的问题，提出了本专利技术。
2、因此，本专利技术所要解决的问题在于如何提供一种基于毫米波雷达与视觉多模态融合的目标检测方法。
3、为解决上述技术问题，本专利技术提供如下技术方案：一种基于毫米波雷达与视觉多模态融合的目标检测方法，其包括，使用高分辨率的毫米波雷达和摄像头进行数据采集；对采集的毫米波雷达数据和图像数据进行预处理操作；对预处理后的数据进行特征提取；基于多模态融合技术，将雷达特征和图像特征进行融合；使用深度学习的目标检测模型，对融合后的数据进行目标检测，并去除重复的检测框。使用多目标跟踪算法，对检测到的目
4、作为本专利技术所述基于毫米波雷达与视觉多模态融合的目标检测方法的一种优选方案，其中：对预处理后的数据进行特征提取包括如下步骤，
5、从毫米波雷达数据提取速度特征、距离特征和角度特征，得到雷达特征fr，通过如下公式进行，
6、
7、
8、fr＝(d1，θ1，v1)、(d2，θ2，v2)……(dn，θn，vn)
9、式中，v是目标的速度，δf是多普勒频移，f0是雷达的工作频率，c是光速，θ是目标的方位角，是相位差，d是雷达到物体之间的距离，n是雷达探测到的点的总数；
10、使用卷积神经网络提取图像数据的颜色特征、纹理特征和形状特征，得到图像特征fi。
11、作为本专利技术所述基于毫米波雷达与视觉多模态融合的目标检测方法的一种优选方案，其中：基于多模态融合技术，将雷达特征和图像特征进行融合包括如下步骤，
12、对于图像特征fi，使用线性变换得到查询矩阵q，键矩阵k和值矩阵v，公式如下，
13、q＝wq×fi
14、k＝wq×fi
15、v＝wv×fi
16、式中，wq、wq和wv均为权重矩阵；
17、计算查询矩阵q和键矩阵k的点积，得到注意力得分矩阵a，公式如下，
18、
19、式中，t代表转置操作，hk是键向量的维度；
20、通过注意力得分矩阵a对值矩阵v进行加权求和，并与雷达特征fr进行融合，得到融合特征fm，公式如下，
21、fw＝a×v
22、fm＝fw+fr。
23、作为本专利技术所述基于毫米波雷达与视觉多模态融合的目标检测方法的一种优选方案，其中：使用深度学习的目标检测模型，对融合后的数据进行目标检测，并去除重复的检测框包括如下步骤，
24、根据融合后的特征维度调整yolov4的输入层；
25、使用融合后的特征和对应的标签准备训练数据，将训练数据分为训练集和验证集；
26、使用yolov4的损失函数，包括坐标损失、类别损失和置信度损失，公式如下，
27、
28、式中，l是损失，λcoord是坐标损失的权重，s是图像的分割大小，b是每个单元格的边界框数量，是一个指示器函数，表示对象是否出现在单元格中，xi和yi是预测的坐标，和是真实的坐标；
29、使用adam优化器进行模型训练，使用早停策略防止过拟合，每个epoch后在验证集上评估模型，若模型的性能在连续的几个epoch中没有提高，则停止训练；
30、加载在训练数据上训练好的yolov4模型，将融合后的特征输入到模型中，得到目标的边界框、类别和置信度。
31、作为本专利技术所述基于毫米波雷达与视觉多模态融合的目标检测方法的一种优选方案，其中：使用多目标跟踪算法，对检测到的目标进行跟踪包括如下步骤，
32、初始化一个空的跟踪器列表，用于存储当前帧中的所有跟踪器；
33、对于当前帧中的每个检测结果和跟踪器，计算它们的边界框之间的iou；
34、基于iou矩阵，使用匈牙利算法为当前帧中的每个检测结果分配一个跟踪器；
35、对于与检测结果关联的每个跟踪器，使用卡尔曼滤波器更新其状态，公式如下，
36、xk＝xk-1+pk(zk-hxk-1)
37、式中，xk是当前时刻的状态估计，xk-1是上一时刻的状态估计，pk是卡尔曼增益，zk是当前时刻的观测值，h是观测矩阵。
38、作为本专利技术所述基于毫米波雷达与视觉多模态融合的目标检测方法的一种优选方案，其中：若某个跟踪器在连续n帧中都没有与任何检测结果关联，那么将其从跟踪器列表中删除；若某个检测结果在当前帧中没有与任何跟踪器关联，那么为其创建一个新的跟踪器并添加到跟踪器列表中。
39、作为本专利技术所述基于毫米波雷达与视觉多模态融合的目标检测方法的一种优选方案，其中：对检测和跟踪的结果进行后处理，将检测和跟踪的结果实时显示在用户界面上，提供直观的反馈包括如下步骤，
40、根据预先设定的置信度阈值，筛选出置信度高于该阈值的检测结果，
41、rf＝{ri|ri.confidence>0}
42、式中，rf是筛选后的检测结果集合，ri是单个检测结果，θ是置信度阈值，ri.confidence是检测结果ri的置信度值；
43、使用nms算法去除重叠的检测框，确保每个物体只有一个检测框，其中，若两个检测框的iou大于预设的阈值，则保留置信度较高的检测框并删除另一个，公式如下，
44、
45、式中，ao表示两个边界框重叠的面积，au表示两个边界框合并后的总面积，等于两个边界框的面积之和减去它们的重叠面积
46、在原始图像上绘制每个检测结果的边界框，在每个边界框旁边标注目标的类别、置信度和唯一id，使用跟踪器的历史信息，在图像上绘制目标的移动轨迹；
47、在用户界面上实时显示带有检测和跟踪结果的图像。
48、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
49、本文档来自技高网...
【技术保护点】
1.一种基于毫米波雷达与视觉多模态融合的目标检测方法，其特征在于：包括，
2.如权利要求1所述的基于毫米波雷达与视觉多模态融合的目标检测方法，其特征在于：对预处理后的数据进行特征提取包括如下步骤，
3.如权利要求2所述的基于毫米波雷达与视觉多模态融合的目标检测方法，其特征在于：基于多模态融合技术，将雷达特征和图像特征进行融合包括如下步骤，
4.如权利要求3所述的基于毫米波雷达与视觉多模态融合的目标检测方法，其特征在于：使用深度学习的目标检测模型，对融合后的数据进行目标检测，并去除重复的检测框包括如下步骤，
5.如权利要求4所述的基于毫米波雷达与视觉多模态融合的目标检测方法，其特征在于：使用多目标跟踪算法，对检测到的目标进行跟踪包括如下步骤，
6.如权利要求5所述的基于毫米波雷达与视觉多模态融合的目标检测方法，其特征在于：若某个跟踪器在连续N帧中都没有与任何检测结果关联，那么将其从跟踪器列表中删除；若某个检测结果在当前帧中没有与任何跟踪器关联，那么为其创建一个新的跟踪器并添加到跟踪器列表中。
7.如权利要求6所
...【技术特征摘要】
1.一种基于毫米波雷达与视觉多模态融合的目标检测方法，其特征在于：包括，
2.如权利要求1所述的基于毫米波雷达与视觉多模态融合的目标检测方法，其特征在于：对预处理后的数据进行特征提取包括如下步骤，
3.如权利要求2所述的基于毫米波雷达与视觉多模态融合的目标检测方法，其特征在于：基于多模态融合技术，将雷达特征和图像特征进行融合包括如下步骤，
4.如权利要求3所述的基于毫米波雷达与视觉多模态融合的目标检测方法，其特征在于：使用深度学习的目标检测模型，对融合后的数据进行目标检测，并去除重复的检测框包括如下步骤，
5.如权利要求4所...
【专利技术属性】
技术研发人员：魏文霞，陈旭娜，
申请(专利权)人：广州海豹科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。