【技术实现步骤摘要】
本专利技术涉及多模态目标检测领域，具体为一种基于可见光相机、红外相机和激光雷达的目标检测方法。
技术介绍
1、目标检测技术在计算机视觉领域中是一项关键的研究任务，其应用涵盖了自动驾驶、智能监控、无人机导航等多个领域。
2、尽管目标检测技术在近年来取得了显著的进展，但仍然存在一些缺点和局限性。其中较为突出的问题是大多数目标检测算法对光照和天气条件非常敏感，可能在恶劣环境下性能下降。例如，在强烈光照或阴影下，或者在雨雪天气中，传统的视觉传感器可能表现不佳，导致目标漏检或误检。
3、针对上述，采用可见光相机、红外相机和激光雷达的传感器组合方式是一种有效的解决方案。可见光相机适用于白天和良好光照条件，而红外相机在夜晚或低光条件下表现更好，激光雷达则适用于大部分的光照条件。此外可见光图像提供了丰富的颜色和纹理信息，红外图像反映了目标的热分布特征，而激光雷达提供了准确的距离和形状信息。综合利用这些传感器，不仅可以提升系统对于不同光照条件的鲁棒性，还可以获取多维度的目标信息，有助于更准确地理解目标的特征和环境背景，提高目标检测的准确性。
4、然而多种传感器的引入也会造成额外的难题——多模态信息的整合问题，当涉及多传感器信息整合时，目标检测系统可能面临数据融合、同步和校准的挑战。确保多模态数据的有效整合，以提高目标检测的性能，是一个复杂的问题。
5、综上所述，为了解决现有目标检测方法光照条件鲁棒性差和多模态信息整合难的问题，提出了一种基于可见光相机、红外相机和激光雷达的目标检测方法，旨在充分利用三
技术实现思路
1、针对现有技术的不足，本专利技术提出一种基于可见光相机、红外相机和激光雷达的目标检测方法，具体技术方案如下：
2、本专利技术包括以下步骤：
3、s1：对车载平台采集到的原始数据，进行时间同步和数据预处理，得到红外图像iinfraed，可见光图像ivisible，激光雷达点云plidar；
4、s2：利用深度预测模块得到深度d；
5、s3：根据空间几何关系生成伪点云pvirtual；
6、s4：在三维空间中对齐多模态信息，并利用骨干网络提取融合特征；
7、s5：采用级联策略，优化输出检测结果。
8、相比于现有技术，本专利技术的有益效果如下：
9、本专利技术使用可见光图像、红外图像和激光雷达点云作为输入，首先利用可见光图像和红外图像生成深度图。然后采用逆投影的方法生成伪点云，伪点云承载了可见光信息与红外信息，并且与激光雷达点云处于同一坐标系中，从而可以根据空间几何关系实现多模态信息在三维空间中的对齐与融合特征的提取。最后采用级联策略，逐级优化候选目标框，在最后一阶段输出目标检测结果，提高目标检测的准确性与鲁棒性，实现车载道路场景下的多类别目标检测。
本文档来自技高网...【技术保护点】
1.一种基于可见光相机、红外相机和激光雷达的目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于可见光相机、红外相机和激光雷达的目标检测方法，其特征在于，所述的S2通过以下子步骤来实现：
3.根据权利要求1所述的基于可见光相机、红外相机和激光雷达的目标检测方法，其特征在于，所述的S3通过以下子步骤来实现：
4.根据权利要求3所述的基于可见光相机、红外相机和激光雷达的目标检测方法，其特征在于，所述的S4通过以下子步骤来实现：
5.根据权利要求1所述的基于可见光相机、红外相机和激光雷达的目标检测方法，其特征在于，所述的S5通过以下子步骤来实现：
6.根据权利要求5所述的基于可见光相机、红外相机和激光雷达的目标检测方法，其特征在于，
【技术特征摘要】
1.一种基于可见光相机、红外相机和激光雷达的目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于可见光相机、红外相机和激光雷达的目标检测方法，其特征在于，所述的s2通过以下子步骤来实现：
3.根据权利要求1所述的基于可见光相机、红外相机和激光雷达的目标检测方法，其特征在于，所述的s3通过以下子步骤来实现：
...【专利技术属性】
技术研发人员：宋春毅，艾福元，李泽程，宋钰莹，徐志伟，
申请(专利权)人：东海实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。