一种基于制造技术

本发明专利技术属于计算机视觉领域中的目标检测领域，提出一种基于

【技术实现步骤摘要】
一种基于RGB和偏振模态融合的汽车目标检测方法


[0001]本专利技术涉及计算机视觉领域中的目标检测领域，尤其涉及一种基于
RGB
和偏振模态融合的汽车目标检测方法
。

技术介绍

[0002]二维图像中的目标检测任务是计算机视觉领域的核心问题之一
。
其任务是找出图像中所有感兴趣的目标
(
物体
)
实例，确定它们的类别和位置
。
但由于不同物体在外观
、
形状和姿态上的差异，以及成像时光照
、
遮挡等因素的干扰，目标检测仍然是一项具有挑战性的任务
。
[0003]汽车检测方法是一项关键任务，是实现诸多自动驾驶
、
智能交通功能的基础性先决条件
。
不同的交通场景中的光照
、
天气和车辆密集程度等条件的显著差异仍然可以对现有的通用检测器或专用汽车检测算法造成挑战
。
因为不稳定的有限颜色信息对提取汽车的关键上下文语意特征造成了阻碍，这使得汽车检测的精度和可靠性下降，进一步无法满足安全性能需求极高的自动驾驶和智能交通任务要求
。
因此，让视觉系统能够发现并识别场景中的车辆实例，具有现实意义和应用价值
。
[0004]本专利技术主要用到了光的偏振原理
、
目标检测方法和多模态融合方法等相关技术
。
[0005](a)
光的偏振原理
[0006]光的偏振现象是指光波中的电场矢量在空间中的振动方向相同但振幅不同的光
。
非偏振光具有随机波动的电场而偏振光的电场方向具有明显的偏向
。
常见普通光源，如太阳
、
白炽灯和
LED
射灯等发出的光线为非偏振光，非偏振光在通过线性偏振器
、
在某些材质表面反射或者经历某些类型的散射时，会转变成部分偏振光或完全偏振光
。
偏振已经广泛用于反射去除
[、
法线
/
形状估计和语义分割等任务中
。
在本专利技术中我们只关注线性偏振光，并使用线性偏振角度
(angle of linear polarization
，
AoLP)
和线性偏振程度
(degree of linear polarization
，
DoLP)
来描述它
。
汽车的玻璃
、
橡胶和塑料部分发生反射后的光线的偏振程度通常高于来自树木
、
道路和天空部分的光线
。
这一物理线索启发了我们基于材质的偏振属性感知进行鲁棒的汽车检测
。
[0007](b)
目标检测方法
[0008]得益于深度学习的进步，目标检测方法取得了长足的进步
。
有许多的先进
(state
‑
of
‑
the
‑
art
，
SOTA)
方法采用了
ResNet、VGG
和
EfficientNet
等的强力编码器，例如两阶段
(two
‑
stage/region
‑
based)
的
Faster R
‑
CNN
和
EfficientDet
方法，单阶段
(one
‑
stage)
的
YOLO
和
SSD
方法，基于锚框
(anchor
‑
based)
的
Cascade R
‑
CNN
和
TOOD
方法，以及无锚框
(anchor
‑
free)
的
FCOS
和
FSAF
方法
。
同时，目标检测方法也向着大参数模型的趋势发展，来源于自然语言处理领域的
VisionTransformer(ViT)
结构给目标检测领域带来了显著的提升，“Nicolas Carion,Francisco Massa,Gabriel Synnaeve,Nicolas Usunier,Alexander Kirillov,and Sergey Zagoruyko.2020.End
‑
to
‑
end object detection withtransformers.In Proceedings of the European Conference on Computer Vision
(ECCV).”、“Zhu,X.,Su,W.,Lu,L.,Li,B.,Wang,X.,&Dai,J.(2020).Deformable DETR:Deformable transformers for end
‑
to
‑
end object detection.arXiv preprint arXiv:2010.04159.”和“Shilong Liu,Feng Li,Hao Zhang,Xiao Yang,Xianbiao Qi,Hang Su,Jun Zhu,and Lei Zhang.2022.DAB
‑
DETR:Dynamic Anchor Boxes are Better Queries forDETR.In International Conference on Learning Representations(ICLR).”等一系列的
DETR
方法都获得了瞩目的性能
。
但是以上这些方法大多数都依赖于清晰的
RGB
图像，这种图像在退化条件下难以获得，而对低质量图像的修复和增强又需要花费额外的硬件和时间代价，并且参数量越来越大的检测模型的开销往往超出了终端设备的硬件负载和实时任务的速度要求
。
我们基于偏振成像的材质属性感知能够进一步提升检测算法鲁棒性的同时抑制算法运行开销的增长
。
[0009](c)
多模态融合方法
[0010]多模态融合特征能够为鲁棒的目标检测提供丰富的上下文信息
。“Rachel Blin,SamiaAinouz,St
é
phaneCanu,and Fabrice Meriaudeau.2019.Roadscenes analysis in adverse weather conditions by polarization
‑
encoded imagesand adapted deep learn本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
RGB
和偏振模态融合的汽车目标检测方法，其特征在于，建立
PCDNet
网络，汽车检测数据集
RGB
‑
PCar
包括
RGB
信息
、AoLP
信息和
DoLP
信息，其输入至
PCDNet
网络中；所述
PCDNet
网络包括偏振整合模块
PI、
两条特征提取分支
、
材质感知记忆模块
MPM、
跨域需求查询模块
CDDQ、
特征金字塔
FPN
和检测头
Head
；
AoLP
信息和
DoLP
信息经偏振整合模块
PI
整合为偏振信息；两条特征提取分支分别为偏振处理分支和
RGB
处理分支，用于提取偏振特征和
RGB
特征；经特征提取分支提取多级偏振特征后，偏振特征经过材质感知记忆模块
MPM
获取不同材质区域在偏振属性表现中的差异和联系；
RGB
特征通过跨域需求查询模块
CDDQ
获取对偏振特征的引导，通过查询
‑
响应的方式从偏振特征获取补偿并协同
RGB
特征自身在通道维度上映射所有通道的相关关系，分配多模态特征融合的权重；最后，经过跨域需求查询模块
CDDQ
的特征馈入特征金字塔
FPN
结构交换不同等级的语义特征，并分别送入检测头生成最终的检测结果
。2.
根据权利要求1所述的基于
RGB
和偏振模态融合的汽车目标检测方法，其特征在于，所述汽车检测数据集
RGB
‑
PCar
构建过程如下：使用彩色偏振相机记录不同交通场景下的汽车，彩色偏振相机同时在三个颜色通道和四个方向上捕获像素对齐的偏振数据，并且每幅图像中的每一辆车都有对应的专业标注的边界框；所述三个颜色通道分别为
R
，
G
和
B
；所述四个方向分别为与相机所在平面的夹角等于0°
、45
°
、90
°
、135
°
；所述汽车检测数据集中的场景包括不同的天气条件
、
光照条件
、
交通环境和车辆密度场景
。3.
根据权利要求1或2所述的基于
RGB
和偏振模态融合的汽车目标检测方法，其特征在于，所述偏振整合模块
PI
包括最大值函数
、
平均值函数
、
级联操作层
、
边界提取操作层
、
加法操作
、
乘法操作
、
最大池化层和卷积层；
DoLP
信息经平均值函数和最大值函数所得值进行级联操作后，输入至第一卷积层中；
DoLP
信息经第二卷积层和最大池化层后，与第一卷积层输出进行加法操作，并与
AoLP
信息进行相乘操作后输入至第一3×3卷积层；
DoLP
信息原值与经边界提取操作层的输出相加，输入至第二3×3卷积层；第一3×3卷积层和第二3×3卷积层的输出级联后输入至第三3×3卷积层，得到偏振信息
F
pol
；所述
PI
模块表示为：模块表示为：其中，
φ
表示
AoLP
信息，
ρ
表示
DoLP
信息；表示卷积核大小为
k
×
k、
步长为
s、
且带有批正则化处理和
SiLU
激活函数的卷积层；
[
·
]
指的是通道维度上的级联操作；
MP
是核大小为5的最大池化；
E
代表使用舒尔算子的边界提取操作；表示像素级的乘法操作；
avg
和
max
分别指平均值函数和最大值函数；
σ
指的是
sigmoid
激活函数
。4.
根据权利要求3所述的基于
...

【专利技术属性】
技术研发人员：杨鑫，董文，魏小鹏，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：