一种融合全局局部与关系特征的车辆重识别方法技术

本发明专利技术提出了一种融合全局局部与关系网络的车辆重识别方法。传统的基于外观特征的车辆重识别方法忽略了车辆图像会受到视点变化、类间相似性小、光照不均匀、障碍物遮挡等因素的影响，导致识别率不高。因此本发明专利技术针对现实路况下，车辆图像所受到的不稳定因素的影响，提出了一种融合全局局部与关系网络的车辆重识别方法。该方法利用基于空间注意力的全局特征学习车辆图像中有区分度的全局特征，使得车辆重识别免受视点变化的干扰；利用基于金字塔的局部特征挖掘车辆图像中丰富的细节信息，使得车辆重识别能够有效应对类间相似性小的问题；利用基于关系网络的关系特征学习局部特征之间的关系，使得车辆图像在受光照不均匀、障碍物遮挡时也能被正确识别。碍物遮挡时也能被正确识别。

【技术实现步骤摘要】
一种融合全局局部与关系特征的车辆重识别方法


[0001]本专利技术属于人工智能与图像重识别领域，涉及一种融合全局局部与关系特征的车辆重识别方法。

技术介绍

[0002]汽车行业的蓬勃发展给我们的日常生活和工作都带来了便利，但也给交通管理带来了挑战。利用智能技术完成对特定车辆的搜索引起广泛关注。车辆重识别指的是给定一张固定摄像头下拍摄的车辆图像作为查询图像，给定其他摄像头下拍摄的车辆图像作为候选图像，在候选图像中寻找与查询对象同属一辆车的图像。传统的基于车辆外观特征的车辆重识别技术根据目标车辆的颜色、车型、品牌等外观特征，在无重叠视域的跨摄像机监控系统中，寻找该车辆在其他摄像机下出现的情况，从而描绘出目标车辆的行车轨迹。但在现实场景下，车辆图像会受到视点变化、类间相似性大、光照不均匀、障碍物遮挡、等因素的影响，传统的车辆重识别方法忽略了对这些特殊情况的考量。
[0003]本专利技术提出一种融合全局局部与关系特征的车辆重识别方法，主要包括以下内容：
[0004](1)为了解决同类别车辆在不同拍摄角度下类内差异过大的问题，本专利技术提出在车辆重识别方法中融合基于空间注意力的全局特征。通过在学习全局特征过程中引入空间注意力，灵活地学习到车辆图像中具有区分度和判别度的全局特征，从而对车辆拍摄角度的变化具有一定的鲁棒性。
[0005](2)为了解决不同车辆类间差异过小的问题，本专利技术提出在车辆重识别方法中融合基于金字塔的局部特征。通过按照金字塔的形状构建局部特征，不仅学习到不同类别车辆的局部差异，更重要的是，实现局部特征切割的平稳过渡，从而对由目标检测不准确而造成的车辆图像分辨率差异具有鲁棒性。
[0006](3)为了解决行人、车辆、树木等障碍物对目标车辆的遮挡、摄像机分辨率以及光照不均匀的影响，本专利技术提出在车辆重识别方法中融合基于关系网络的关系特征。通过学习车辆图像各区域和其他区域的关系，使得模型提取到的车辆局部特征之间不再是相互孤立的，而是相互联系，从而解决遮挡、光照不均匀造成的车辆图像信息不完整的问题。
[0007](4)针对现实场景下，车辆重识别任务面临的角度问题、类间相似性问题、遮挡问题、受光不均匀问题，本专利技术提出了融合全局局部和关系特征的车辆重识别方法。

技术实现思路

[0008]本专利技术目的在于整合基于空间注意力的全局特征、基于金字塔的局部特征、基于关系网络的关系特征到统一的网络结构中，提供了一种融合全局局部与关系特征的车辆重识别方法，该方法能够有效应对相同车辆视点变化问题；不同车辆车型、颜色等属性相似问题；光照变化不稳定问题；不同物体的遮挡、摄像机分辨率等问题的影响。
[0009]本专利技术提出的一种融合全局局部与关系特征的车辆重识别方法，包括以下三个模
块：
[0010]基于空间注意力的全局特征学习模块，用于学习车辆全局特征中有辨别度的部位；
[0011]基于金字塔的局部特征学习模块，用于学习车辆丰富的局部特征；
[0012]基于关系网络的关系特征学习模块，用于学习车辆局部特征之间的关系。
[0013]进一步地，所述基于空间注意力的全局特征学习模块中引入空间注意力的具体方式为：首先对基干网络提取到的特征映射图的每个位置沿着通道方向求和并激活，获得该位置的权重；然后将学习到的权重重新分配给特征映射图中相应的位置，进而得到这些位置的重要程度。
[0014]进一步地，所述基于金字塔的局部特征学习模块中金字塔搭建的具体方式为：按照金字塔结构对基干网络提取到的特征映射图进行切割，得到尺寸不同、内容不同的子特征映射图。
[0015]进一步地，所述基于关系网络的关系特征学习模块中关系网络构建具体方法为：首先对基干网络提取到的特征映射图进行均匀分割，并利用全局最大池化统计各分割区域特性；然后将特征向量反馈到关系网络中，并得到关系特征向量。
[0016]本专利技术的优点和积极效果是：
[0017]提取了基于空间注意力的全局特征，通过优化，使得全局特征中重点部位可以被赋予更多注意力，从而解决摄像机视点变化引起的类内差异大的问题。
[0018]提取了基于金字塔的局部特征，按照金字塔的结构构建局部特征，使得局部特征包含更加丰富、细节的信息，从而解决不同ID车辆类间差异小的问题。
[0019]提取了基于关系网络的关系特征，通过学习局部特征之间的关系，使得关系特征不仅包含自身区域信息，也包含其他区域信息，从而解决遮挡、光照不均匀所造成的图像信息不完整问题。
[0020]融合了基于空间注意力的全局特征、基于金字塔的局部特征、基于关系网络的关系特征，从而解决在现实路况下，车辆图像遇到的类内差异大、类间差异小、信息不完整等问题。
附图说明
[0021]为了更清楚的说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0022]附图1：空间注意力算法流程图。
[0023]附图2：金字塔结构图。
[0024]附图3：关系特征学习流程图。
[0025]附图4：融合全局局部与关系网络的车辆重识别方法流程图
具体实施方式
[0026]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完
整地描述。需要强调的是，本专利技术所述的实施例是说明性的，而不是限定性的，因此本专利技术并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本专利技术的技术方案得出的其他实施方式，同样属于本专利技术保护的范围。
[0027]本专利技术提出的一种融合全局局部与关系特征的车辆重识别方法，主要包括基于空间注意力的全局特征学习模块、基于金字塔的局部特征学习模块和基于关系网络的特征学习模块。
[0028]融合全局局部与关系特征的车辆重识别方法流程图(附图1)：
[0029]首先，我们将给定的查询车辆图像G输入到深度卷积神经网络ResNet50中，并输出尺寸为C
×
H
×
W的特征映射图F。
[0030]其次，通过基于空间注意力的全局特征学习模块、基于金字塔的局部特征学习模块、基于关系网络的关系特征学习模块的处理，得到多尺度的局部特征、引入空间注意力的全局特征、整合各部分信息的关系特征。
[0031]再次，对于多尺度的局部特征，我们使用全局平均池化以捕获特征图不同通道的统计属性，进而达到特征降维的目的；对于引入空间注意力的全局特征，我们使用全局最大池化以捕获不同通道的统计属性，进而达到特征降维的目的；对于整合各部分信息的关系特征，我们使用全局平均池化进行降维。
[0032]最后，我们将提取到全局局部和关系特征向量进行融合拼接，利用联合损失函数进行优化。
[0033]如空间注意力算法流程图(附图2)：
[0034]假设，给定查询车辆图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合全局局部与关系特征的车辆重识别方法，其特征在于，包括以下三个模块：基于空间注意力的全局特征学习模块，用于学习车辆全局特征中有辨别度的部位；基于金字塔的局部特征学习模块，用于学习车辆丰富的局部特征；基于关系网络的关系特征学习模块，用于学习车辆局部特征之间的关系。2.根据权利要求1所述的基于空间注意力的全局特征学习模块，其特征在于，在全局特征提取过程中引入空间注意力...

【专利技术属性】
技术研发人员：杨巨成，邢迪，王嫄，姚彤，吴超，
申请(专利权)人：天津科技大学，
类型：发明
国别省市：