基于深度学习的可见光、红外和雷达融合目标检测方法技术

本发明专利技术公开了基于深度学习的可见光、红外和雷达融合目标检测方法，包括：自动对可见光相机、热红外相机和激光雷达采集到的数据进行分析和处理，先对可见光和红外的前处理阶段进行融合，实现对激光雷达点云到鸟瞰图的转换，而后对融合图和鸟瞰图进行自动金字塔型跨阶段特征提取和分岔，再进行分岔目标检测，再进行“图”匹配，最终实现融合可见光、红外和雷达三种模态的目标检测，提高了检测准确率，具有较好的鲁棒性，能适应负载的场景变化和动态变化，随着训练集目标种类的增多和训练集的增加，本发明专利技术具有更宽泛的检测性能。本发明专利技术具有更宽泛的检测性能。本发明专利技术具有更宽泛的检测性能。

【技术实现步骤摘要】
基于深度学习的可见光、红外和雷达融合目标检测方法


[0001]本专利技术涉及人工智能目标检测和匹配
，具体为基于深度学习的可见光、红外和雷达融合目标检测方法。

技术介绍

[0002]目标检测是计算机视觉领域研究的主要问题，图像分割、目标跟踪、目标行为分析等都以目标检测为基础，随着基于卷积神经网络的深度学习算法的发展，目标检测取得了巨大的突破，基于可见光相机图像的目标检测算法已经得到广泛的应用，可见光相机作为传感器的一种，有几何形状逼真、立体感强、分辨率好等优点，也有其局限性，如：可见光相机是被动相机，在受到低光照或雨雪雾等干扰时，成像质量显著下降，甚至导致算法失效；热红外相机是另一种被动相机，依靠与正常光照相当，可以用于补充可见光相机在低光照下的成像性能；激光雷达是一种主动探测器，通过向目标发射一束光(通常是一束脉冲激光)来测量目标的距离、反射率等参数，激光雷达能补充可见光相机所缺乏的距离信息，在低光照下也能有效工作；
[0003]单一、不融合的目标检测获取到的场景内的信息不够丰富，也不能帮助更好地理解目标以及周围的环境，不能适应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的可见光、红外和雷达融合目标检测方法，其特征在于：包括以下步骤：S1：搭建N种典型实验场景，选取不同场景共2N种目标，使用多模态融合传感器采集多模态数据集；S2：生成融合图和鸟瞰图，并标注融合图和鸟瞰图的目标匹配真值；S3：将数据集划分为训练集、验证集和测试集；S4：加载可见光+红外融合图和雷达鸟瞰图；S5：搭建融合检测网络FusionNet，提取、匹配检测目标，训练步骤S2划分的训练集，获取训练好的权重文件；S6：利用融合检测网络FusionNet和获取到的权重文件对测试集进行检测，获取检测结果并分析融合目标检测准确率。2.根据权利要求1所述的基于深度学习的可见光、红外和雷达融合目标检测方法，其特征在于：所述多模态数据集是指包含N种典型场景和2N种典型目标的可见光、热红外和激光雷达数据集。3.根据权利要求1所述的基于深度学习的可见光、红外和雷达融合目标检测方法，其特征在于：在步骤S2中：根据可见光和红外相机的标定文件将对应帧的可见光和红外图像进行对齐，合并生成包含可见光和红外信息的融合图，对融合图进行目标标注，设计Cloud2BEV算法，将每帧的3D激光雷达点云转换为包含雷达信息的鸟瞰图，对鸟瞰图进行目标标注，根据可见光和雷达标定文件标注融合图和鸟瞰图的目标匹配真值：分别读取融合图标注、鸟瞰图标注和原始点云数据，根据鸟瞰图的标注框确定被标注的目标包含的点云，根据标定的内外参把包含的点云投影到融合图的像素坐标下，完成鸟瞰图和融合图总同一个目标的匹配。4.根据权利要求3所述的基于深度学习的可见光、红外和雷达融合目标检测方法，其特征在于：所述Cloud2BEV算法是指将三维空间点云数据转换为鸟瞰图的算法，范围为雷达左右[
‑
10，10]米、前后[
‑
10，10]米，转换后鸟瞰图像素为640
×
640，鸟瞰图每个像素点有3个通道，分别为：像素点包含的所有线的平均反射强度、平均高度...

【专利技术属性】
技术研发人员：兰志才，王朝锟，李坚，
申请(专利权)人：上海西虹桥导航技术有限公司，
类型：发明
国别省市：