一种基于像素级别空间感知注意力的细粒度车型识别方法技术

本发明专利技术属于车辆识别技术领域,涉及一种基于像素级别空间感知注意力的细粒度车型识别方法，首先，建立可提取更为精细的注意力区域的像素级别的空间感知注意力模块，空间感知注意力模块包含：特征捕获、特征融合和特征激励三个部分，其次，将前步骤中建立的空间感知注意力模块插入到卷积神经网络中，形成包含空间感知注意力模块的卷积神经网络，本发明专利技术提出的基于像素级别空间感知注意力模块的细粒度车型识别方法通过特征捕获、特征融合和特征激励后提高了神经网络算法的性能，将细粒度车型识别的准确性提高至90％以上。别的准确性提高至90％以上。别的准确性提高至90％以上。

【技术实现步骤摘要】
一种基于像素级别空间感知注意力的细粒度车型识别方法


[0001]本专利技术属于车辆识别
，涉及一种基于像素级别空间感知注意力的细粒度车型识别方法。

技术介绍

[0002]近年来，随着计算机视觉和智能交通技术的迅速发展，细粒度车型识别(FVGA)引起了人们的广泛关注。FVGA是细粒度目标识别的一个重要且典型的研究分支，它区别于小轿车、大卡车、公交车等的粗粒度车型识别，目标是根据车辆的表观特征识别其更加精细的属性，包括制造厂商、具体型号和生产年份等。由于能够提供更详细的车辆属性信息，FGVR在智能交通、安防监控、停车门禁系统等各个领域具有巨大的应用潜力。此外，FGVR技术可以提高基于图像的车辆检索的准确性和效率，从而带来更广泛的应用场景。当前主流车辆网站大多使用基于关键字的车辆搜索。然而，这种方法可能只适合熟悉汽车品牌的消费者，对于不熟悉汽车品牌的消费者来说，很难找到他们喜欢的车辆。因此利用FGVR技术进行精准搜索，可以显著提升用户体验。总体而言，FGVR在各种应用中具有巨大的潜力，是一个很有前景的研究课题。细粒度车辆识别是一种根据车辆的视觉外观来区分较细级别车辆的技术。它更多地关注车辆之间细微的视觉差异。如图1所示，左上车型(a)为“奥迪S6轿车2011”，左下车型(c)为“奥迪S5 Coupe 2012”。虽然两者属于同一品牌，外观相似，但它们来自不同的车型，这突出了基于局部判别区域的细粒度分类的必要性。同样，右上方车型(b)为“宾利Continental GT Coupe 2012”，右下方车型(d)为“宾利Continental GT Coupe 2007”。虽然它们属于同一品牌，具有相似的外观，但需要详细的视觉信息才能正确分类。此外，还有许多其他类型的挑战，例如由背景环境，拍摄角度，照明和其他因素引起的挑战，这些挑战会影响车辆的视觉外观并增加识别难度。因此，细粒度的车辆识别需要专注于捕获更精细的局部特征来区分子类别。
[0003]然而，传统的细粒度车型识别算法借助于提取图像的颜色、纹理、梯度、形状、空间关系等特征大致定位目标车辆的侯选位置，之后利用SVM、Adaboost等分类器进行车型的识别。然而这类手工设计的特征往往不能够包含车型之间细微的差异，无法构建足够鲁棒的图像表示，因此识别性能始终不佳。
[0004]近年来，卷积神经网络(Convolutional Neural Network，CNN)在图像分类、目标检测、图像分割等众多视觉任务上都显示出了明显优于其他同领域方法的优势。当前基于卷积神经网络的细粒度车型识别算法主要分为三类，分别是基于局部区域检测的细粒度车型识别算法、基于注意力机制的细粒度车型识别算法以及基于局部特征学习的细粒度车型识别算法。基于局部区域检测的细粒度车型识别算法由于借助人工标注的车辆边界框、部件标注点等额外信息，因此应用并不广泛。而基于注意力机制和局部特征学习的两类细粒度车型识别算法则希望在仅使用类别标签信息的条件下能够精确分类各种车型，是当前的研究趋势。其中基于注意力机制的方法利用不同的注意力策略获得注意权重的数据分布，并以“动态加权”的方式来促使卷积神经网络自动关注车辆之间的细微差异，从而实现细粒
度的车型识别。
[0005]当前基于注意力机制的细粒度车型识别算法虽然获取权值分布的方法不同，但都是基于深度卷积神经网络提取的原始特征映射图构造的。原始特征映射图在类别标签的监督下通常会聚焦于前景目标物体，可对于细粒度的车辆目标来说，单单关注前景车辆已经不足以细分其车型的差异。因此，需要识别性能更好的车型识别方法来解决上述问题。

技术实现思路

[0006]本专利技术解决技术问题所采取的技术方案是：一种基于像素级别空间感知注意力的细粒度车型识别方法，包括如下步骤：
[0007]步骤一：建立可提取更为精细的注意力区域的像素级别的空间感知注意力模块，所述空间感知注意力模块包含：特征捕获、特征融合和特征激励三个部分，所述空间感知注意力模块在与输入图像相同的空间尺度上学习注意力掩模，不仅可以有效区分目标的前景和背景特征，还可以进一步突出局部判别区域，提高网络对细粒度类别的识别能力；
[0008]步骤二：将步骤一中建立的空间感知注意力模块插入到卷积神经网络中，形成包含空间感知注意力模块的卷积神经网络；
[0009]所述特征捕获完成从主干网中选取不同卷积阶段的特征映射图进行预处理，以减少特征冗余，规范特征映射图尺寸；所述特征捕获包括如下步骤：
[0010]步骤S1
‑
1：捕获深度卷积神经网络的特征并降维得到特征图；
[0011]步骤S1
‑
2：对降维后的特征图上采样；
[0012]步骤S1
‑
3：对低级特征图降维得到输出特征图；
[0013]所述特征融合完成高低级特征融合，获得像素级别的空间感知特征；所述特征融合包括如下步骤：
[0014]步骤S2
‑
1：完成高级特征与低级特征拼接；将经捕获操作获得的高级特征F
h
′
和低级特征F
l
′
进行通道层面的拼接，得到特征
[0015]步骤S2
‑
2：使用卷积块融合高低级特征；
[0016]步骤S2
‑
3：使用Dropout降低高低层特征耦合性；
[0017]步骤S2
‑
4：输出特征图；经过一个1
×
1卷积将特征通道降低为车型类别数N，即输出特征图其中H和W是输入图像的高和宽
[0018]所述特征激励完成激励空间感知特征，获得空间感知注意力权重；所述特征激励包括如下步骤；
[0019]步骤S3
‑
1：获得空间感知特征；将步骤S2
‑
4中得到的输出特征图F
′
上采样得到空间感知特征F
′
up
；
[0020]步骤S3
‑
2：获得空间权重。
[0021]优选的，所述步骤S1
‑
1中，特征捕获需捕获深度卷积神经网络的高级特征和低级特征；捕获深度卷积神经网络的高级特征和低级特征使用1
×
1卷积先对高级特征F
h
进行降维得到特征图从而减少网络的计算量；式中，H、W、C分别表示特征图的高度、宽度和通道数；
[0022]随着卷积神经网络的不断加深，提取的特征分辨率不断降低，特征图中所蕴含的
目标信息更加抽象，包含了更多的图像语义信息；虽然低层特征图所包含的信息不足以用于图像识别，但是它包含了丰富的有助于目标像素点定的位边缘信息；因此第一步捕获需捕获深度卷积神经网络的高级特征和低级特征。
[0023]更优的，所述步骤S1
‑
2中，对降维后的特征图进行上采样操作，得到和低级特征图F
l
宽高尺寸相同(H
h
′
＝H...

【技术保护点】

【技术特征摘要】
1.一种基于像素级别空间感知注意力的细粒度车型识别方法，其特征在于，包括如下步骤：步骤一：建立可提取更为精细的注意力区域的像素级别的空间感知注意力模块，所述空间感知注意力模块包含：特征捕获、特征融合和特征激励三个部分，所述空间感知注意力模块在与输入图像相同的空间尺度上学习注意力掩模；步骤二：将步骤一中建立的空间感知注意力模块插入到卷积神经网络中，形成包含空间感知注意力模块的卷积神经网络；所述特征捕获用于完成从主干网中选取不同卷积阶段的特征映射图进行预处理，以减少特征冗余，规范特征映射图尺寸；所述特征捕获包括如下步骤：步骤S1
‑
1：捕获深度卷积神经网络的特征并降维得到特征图；步骤S1
‑
2：对降维后的特征图上采样；步骤S1
‑
3：对低级特征图降维得到输出特征图；所述特征融合用于完成高低级特征融合，获得像素级别的空间感知特征；所述特征融合包括如下步骤：步骤S2
‑
1：完成高级特征与低级特征拼接；步骤S2
‑
2：使用卷积块融合高低级特征；步骤S2
‑
3：使用Dropout降低高低层特征耦合性；步骤S2
‑
4：输出特征图；所述特征激励用于完成激励空间感知特征，获得空间感知注意力权重；所述特征激励包括如下步骤：步骤S3
‑
1：获得空间感知特征；步骤S3
‑
2：获得空间权重。2.根据权利要求1所述的一种基于像素级别空间感知注意力的细粒度车型识别方法，其特征在于，所述步骤S1
‑
1中，特征捕获需捕获深度卷积神经网络的高级特征和低级特征；捕获深度卷积神经网络的高级特征和低级特征使用1
×
1卷积先对高级特征F
h
进行降维得到特征图从而减少网络的计算量；式中，H、W、C分别表示特征图的高度、宽度和通道数。3.根据权利要求2所述的一种基于像素级别空间感知注意力的细粒度车型识别方法，其特征在于，所述...

【专利技术属性】
技术研发人员：张世娇，鲁磊，王萍，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：