一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法和装置制造方法及图纸

技术编号:42864200 阅读:33 留言:0更新日期:2024-09-27 17:27
本发明专利技术公开了一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法和装置,对单模态目标检测模型分别进行红外模态训练和可见光模态训练,得到红外目标检测模型和可见光目标检测模型;对一个场景在红外模态下采集到的图片和在可见光模态下采集到的图片进行预测,得到融合结果。本发明专利技术无需设计复杂的多模态融合神经网络或者多模态特征提取方法,使用了贝叶斯理论作为融合策略,可以同时处理在多个模态下对齐的图像数据和非对齐的图像数据,提升检测框置信度,确保各个模态下对于弱小目标的预测可以保留,融合鲁棒性增强,可以进行模态的拓展,不仅限于对单红外模态检测结果和单可见光模态检测结果的融合。

【技术实现步骤摘要】

本专利技术涉及概率统计和深度学习领域,尤其设计一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法和装置


技术介绍

1、随着深度学习的发展,yolo系列,r-cnn系列和ssd被提出并用于处理目标检测任务。目标检测任务是指对图片中感兴趣区域进行位置和类别的确认。目标检测模型的优秀性能使其得以广泛应用于城市交通,工业检测和自动驾驶等领域。然而,在不同环境光照的条件下,不同电磁波波段的目标检测结果并不相同。例如,在白天时可见光波段的目标检测结果优于红外波段的目标检测结果,而在夜晚时可见光波段的目标检测结果则差于红外波段的目标检测结果。在自动驾驶场景下,目标检测的结果影响汽车响应行为,不稳定的检测结果会导致车祸。因此,如何确保目标检测的结果不受环境光照变化的影响变得尤为重要。

2、在这种背景下,多模态融合目标检测模型应运而生,旨在通过融合可见光波段和红外波段的信息实现稳定且可靠的目标检测,克服了环境光照变化的影响。多模态目标检测在可见光和红外线融合领域已经取得了不错的成果,能够有效融合两个波段下的检测结果从而提升最终检测结果。

3、根本文档来自技高网...

【技术保护点】

1.一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法,其特征在于,所述步骤(1)具体包括以下子步骤:

3.根据权利要求1所述的一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法,其特征在于,所述步骤(2)具体包括以下子步骤:

4.根据权利要求3所述的一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法,其特征在于,所述步骤(2.2)具体为:

5.根据权利要求3所述的一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法,其...

【技术特征摘要】

1.一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法,其特征在于,所述步骤(1)具体包括以下子步骤:

3.根据权利要求1所述的一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法,其特征在于,所述步骤(2)具体包括以下子步骤:

4.根据权利要求3所述的一种基于贝叶斯理论的多模态目标检测模型融合鲁棒增强方法,其特征在于,所述步骤(2.2)具体为:

5.根据权利要求3所述的一种基于...

【专利技术属性】
技术研发人员:沈诗婧苏蒙蒙陈晋音严云杰熊海洋郑海斌李晓豪
申请(专利权)人:杭州榕数科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1