一种基于互蒸馏属性融合网络的多模态车辆目标检测框架制造技术

本发明专利技术属于计算机视觉技术领域，本发明专利技术公开了一种基于互蒸馏属性融合网络的多模态车辆目标检测框架。首先，提出了基于最优传输理论的跨模态互蒸馏模块，利用红外图像和可见光图像的互补特性，通过跨模态空间知识互蒸馏，抑制多模态噪声干扰；其次，提出了属性分解模块，利用属性路由机制将混杂的多模态全局特征分解为独立的属性特征，并通过最大化属性熵确保了属性特征的多样性；最后，提出了属性图融合模块，独立融合不同模态的对应属性特征，并利用在特征融合过程中为每个类别定制了个性化的属性图，以建模各类目标属性特征之间的关联，从而提升模型对不同类别目标的适应性。

【技术实现步骤摘要】

本专利技术属于计算机视觉，尤其涉及一种基于互蒸馏属性融合网络的多模态车辆目标检测框架。

技术介绍

1、车辆目标检测作为自动驾驶的核心任务之一，是自动驾驶系统实现智能场景感知的关键所在。可见光图像能获取目标丰富的细节和纹理信息，可帮助车实时感知周围环境的车辆、人员等，为自动驾驶策略提供视觉支撑。然而，可见光图像在低光照的条件下往往难以为车辆提供足够的感知信息，因此仅依赖单一的可见光图像会导致安全问题。受人类多模态感知的启发，研究者们开始关注于多模态车辆目标检测。其中，红外图像由于其在不同环境下的稳健感知能力，将其和可见光图像结合可大大提升自动驾驶系统对不同环境的适应能力。因此，如何利用红外图像和可见光图像提升自动驾驶系统的场景感知能力成为了研究者们关注的重点。

2、为充分利用红外图像和可见光图像的互补属性，目前主流的解决方案是多模态特征融合，即在特征空间建立不同模态图像之间的特征交互以实现多模态特征融合，并在监督信息的引导下鼓励模型学习能够最小化目标识别和目标定位损失的多模态互补融合模式。然而，全局的粗加权策略忽略了多模态特征精细的局部空间结构。本文档来自技高网...

【技术保护点】

1.一种多模态车辆目标检测框架，其特征在于，包括骨干网络、分类器、特征解码器、属性分解模块、属性图融合模块和预测头；

2.根据权利要求1所述一种多模态车辆目标检测框架，其特征在于，还包括特征编码器；

3.根据权利要求1所述一种多模态车辆目标检测框架，其特征在于，利用最优传输理论，通过量化注意力图到注意力图的最小传输成本，描述两个模态注意力图的差异，定义了传输矩阵T＝[tij]和距离矩阵D＝[dij]；

4.根据权利要求1所述一种多模态车辆目标检测框架，其特征在于，设计了互蒸馏损失LMD，分别将红外和可见光图像分别作为教师模态和学生模态：

5...

【技术特征摘要】

1.一种多模态车辆目标检测框架，其特征在于，包括骨干网络、分类器、特征解码器、属性分解模块、属性图融合模块和预测头；

2.根据权利要求1所述一种多模态车辆目标检测框架，其特征在于，还包括特征编码器；

3.根据权利要求1所述一种多模态车辆目标检测框架，其特征在于，利用最优传输理论，通过量化注意力图到注意力图的最小传输成本，描述两个模态注意力图的差异，定义了传输矩阵t＝[tij]和距离矩阵d＝[dij]；

4.根据权利要求1所述一种多模态车辆目标检测框架，其特征在于，设计了互蒸馏损失lmd，分别将红外和可见光图像分别作为教师模态和学生模态：

5.根据权利要求1所述一种多模态车辆目标检测框架，其特...

【专利技术属性】
技术研发人员：王浩宇，刘晓敏，张威，吴世佳，刘晓毓，王兆杰，张尚，冯凯，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：