基于特征增强的车辆重识别方法技术

本发明专利技术为基于特征增强的车辆重识别方法，该方法以构建具有空间注意力引导的自适应特征擦除模块和多感受野残差注意力模块的基于多注意力引导的特征增强网络，通过多感受野残差注意力在不同大小的感受野下帮助主干网络获得丰富的车辆外观特征，利用空间注意力引导的自适应特征擦除模块有选择性的擦除车辆最显著特征，使多注意力引导的特征增强网络的局部分支能够挖掘潜在局部特征，融合全局分支的全局特征和擦除分支的潜在局部特征完成车辆重识别过程。本发明专利技术方法不仅能够克服复杂的环境变化，如光照剧烈变化、障碍物遮挡而造成局部显著信息丢失的问题，而且能够满足在安全监管、智能交通系统中高效、快速的查找目标车辆的需求。的需求。的需求。

【技术实现步骤摘要】
基于特征增强的车辆重识别方法

：
[0001]本专利技术涉及用于识别图形的记录载体的处理
，具体地说是基于特征增强的车辆重识别方法，更优选地是将特征增强与知识蒸馏相结合的车辆重识别方法。

技术介绍
：
[0002]车辆重识别可以视为实例级对象搜索任务。与传统的车辆检测问题不同，车辆重识别问题是指在一个特定范围内的交通监控场景下，判断非重叠区域内拍摄的车辆图像是否属于同一辆车的检索问题。目前，国内外在交通发达的区域都安装了监控摄像头，如何更好地利用监控摄像头进行交通监管和刑侦，构建一个安全完善的智能监控系统系统，是一个非常值得研究的问题。随着深度神经网络的兴起和人工智能的快速发展，车辆重识别技术因其能够定位目标车辆而被广泛应用到城市智能监控领域。因此，提升车辆重识别的准确性成为近年来计算机视觉和多媒体领域的研究热点。
[0003]常见的车辆重识别方法主要利用多模态数据(例如，车型、颜色、车牌和时空信息等)和全局
‑
局部特征相结合的形式来提高网络提取特征的能力。CN112560932A公开了一种基于双分支网络融合的车辆重识别方法，通过双分支网络提取全局和局部特征，并加入批处理擦除策略，突出了车辆图像的类内相似性和类间差异性，提高了车辆重识别检索的效率和精确性。但是该专利技术中的批处理擦除策略只能随机的对车辆特征进行擦除并未有选择性的擦除显著特征，会在车辆重识别过程中产生次优的结果。同时，未考虑车辆重识别任务在实际应用中由于网络过于复杂而造成效率不高、实时性差，无法满足交通监管和刑侦领域需求的问题。
[0004]本专利技术方法通过构建基于多注意力引导的特征增强网络，能够提取丰富的全局特征和潜在局部特征，能够解决车辆重识别任务在真实场景下容易受到图像模糊、视图转换以及光照变化而造成关键信息被忽视的问题，同时为了满足在安全监管、智能交通系统中高效、快速的查找目标车辆的需求，使用知识蒸馏方法减少网络参数量，降低网络的复杂度，提高车辆重识别的效率。

技术实现思路
：
[0005]针对现有技术的不足，本专利技术所要解决的技术问题是：提供一种基于特征增强的车辆重识别方法。该方法以构建具有空间注意力引导的自适应特征擦除模块和多感受野残差注意力模块的基于多注意力引导的特征增强网络，通过多感受野残差注意力在不同大小的感受野下帮助主干网络获得丰富的车辆外观特征，利用空间注意力引导的自适应特征擦除模块有选择性的擦除车辆最显著特征，使多注意力引导的特征增强网络的局部分支能够挖掘潜在局部特征，最后，融合全局分支的全局特征向量和擦除分支的潜在局部特征向量完成车辆重识别过程。更优地，将带有四损失函数知识蒸馏方式引入，基于多注意力引导的特征增强网络作为教师网络，利用带有四损失函数的知识蒸馏方法将复杂的教师网络的知识转移到轻量的学生网络，使学生网络在保证重识别性能的前提下，网络参数量、测试效率
得到有效的提升。本专利技术方法不仅能够克服复杂的环境变化，如光照剧烈变化、障碍物遮挡而造成局部显著信息丢失的问题，而且能够满足在安全监管、智能交通系统中高效、快速的查找目标车辆的需求，通过知识蒸馏方法对特征增强车辆重识别网络进行处理，使网络更加轻量、高效。
[0006]本专利技术解决该技术问题所采用的技术方案是：
[0007]一种基于特征增强的车辆重识别方法，该方法包括以下内容：
[0008]获取车辆图像，经预处理后获得训练集、查询集和图库集；在测试阶段，重识别时在查询集中每次选择一张图像，在图库集中寻找匹配的车辆图像；
[0009]构建基于多注意力引导的特征增强网络：该特征增强网络包括ResNet
‑
50主干网络，在主干网络的最后四层的相邻层之间均引入多感受野残差注意力模块，主干网络最后一层的输出分别进入两个分支：全局分支和局部分支；
[0010]所述局部分支引入空间注意力引导的自适应擦除模块，所述空间注意力引导的自适应擦除模块也包括两个分支，分别为擦除剩余分支和多感受野分支；
[0011]擦除剩余分支利用空间注意力去定位高级语义特征中最显著的特征区域，并设置函数自动在通道、高度、宽度三个维度上寻找特征中的最大像素值，设置擦除概率，利用空间注意力定位的最显著的特征区域的最大像素值进行乘法计算擦除阈值，并将大于擦除阈值的像素值设置为0，小于擦除阈值的像素值设置为1得到二进制擦除掩膜，通过与主干网络在最后一层输出的高级语义特征进行元素相乘得到了擦除高级语义特征中最显著特征后的剩余特征；
[0012]多感受野分支直接由主干网络在最后一层输出连接一个多感受野残差注意力模块组成；
[0013]在基于多注意力引导的特征增强网络的下次分类时以等概率随机选择经过空间注意力引导的自适应特征擦除模块后得到的剩余特征或者经过多感受野残差注意力模块所提取的多感受野残差特征，捕捉和提取车辆的潜在局部特征；
[0014]所述多感受野残差注意力模块用于通过不同大小的感受野，学习不同层次的特征；
[0015]融合全局分支的全局特征和局部分支的潜在局部特征获得增强特征向量，完成车辆重识别过程。
[0016]车辆图像预处理的过程包括对在道路监控系统中采集的车辆图像进行裁剪、翻转等预处理。构建基于多注意力引导的特征增强网络，利用多感受野残差注意力模块在不同的感受野下提取更多的车辆外观特征。通过空间注意力定位具有最显著性特征区域并进行特征擦除来捕捉和提取车辆的潜在局部特征。
[0017]所述多感受野残差注意力模块包括四个感受野不同的分支，第一个分支的卷积核大小为1
×
1、第二个分支的卷积核大小为3
×
3，第三个分支使用两个卷积核大小为3
×
3的卷积串联形成与5
×
5卷积核相同的感受野，第四个分支使用三个卷积核大小为3
×
3的卷积串联形成与7
×
7卷积核相同的感受野；四个分支得到四个不同的子特征，四个子特征拼接后再利用3
×
3的卷积得到与原始特征具有相同维度、相同尺寸的多感受野特征，最后使用Sigmoid函数将多感受野特征归一化到(0，1)区间得到多感受野注意力特征，将多感受野残差注意力模块的原始输入特征与多感受野注意力特征相乘，得到最终多感受野残差特征。
[0018]该车辆重识别方法，以基于多注意力引导的特征增强网络作为教师网络，并设计一种类似于教师网络结构的、轻量的双分支网络作为学生网络，然后，使用四个损失函数来指导和监督学生网络，四个损失函数分别为交叉熵损失、三元组损失、蒸馏损失、相似度损失，学生网络不仅能够学习到教师网络的特征分布，而且能够让学生网络自主的学习与教师网络不同的车辆的特征。
[0019]具体地，本专利技术基于特征增强与知识蒸馏的车辆重识别方法，具体步骤如下：
[0020]第一步，车辆图像预处理：
[0021]首先，将在不同摄像头下采集的原始图像集X＝{x1，x2，
…
，x
m
}划分为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征增强的车辆重识别方法，该方法包括以下内容：获取车辆图像，经预处理后获得训练集、查询集和图库集；构建基于多注意力引导的特征增强网络：该特征增强网络包括ResNet
‑
50主干网络，在主干网络的最后四层的相邻层之间均引入多感受野残差注意力模块，主干网络最后一层的输出分别进入两个分支：全局分支和局部分支；所述局部分支引入空间注意力引导的自适应擦除模块，所述空间注意力引导的自适应擦除模块也包括两个分支，分别为擦除剩余分支和多感受野分支；擦除剩余分支利用空间注意力去定位高级语义特征中最显著的特征区域，并设置函数自动在通道、高度、宽度三个维度上寻找特征中的最大像素值，设置擦除概率，利用空间注意力定位的最显著的特征区域的最大像素值进行乘法计算擦除阈值，并将大于擦除阈值的像素值设置为0，小于擦除阈值的像素值设置为1得到二进制擦除掩膜，通过与主干网络在最后一层输出的高级语义特征进行元素相乘得到了擦除高级语义特征中最显著特征后的剩余特征；多感受野分支直接由主干网络在最后一层输出连接一个多感受野残差注意力模块组成；在基于多注意力引导的特征增强网络的下次分类时以等概率随机选择经过空间注意力引导的自适应特征擦除模块后得到的剩余特征或者经过多感受野残差注意力模块所提取的多感受野残差特征，捕捉和提取车辆的潜在局部特征；所述多感受野残差注意力模块用于通过不同大小的感受野，学习不同层次的特征；融合全局分支的全局特征和局部分支的潜在局部特征获得增强特征向量，完成车辆重识别过程。2.根据权利要求1所述的基于特征增强的车辆重识别方法，其特征在于，所述多感受野残差注意力模块包括四个感受野不同的分支，第一个分支的卷积核大小为1
×
1、第二个分支的卷积核大小为3
×
3，第三个分支使用两个卷积核大小为3
×
3的卷积串联形成与5
×
5卷积核相同的感受野，第四个分支使用三个卷积核大小为3
×
3的卷积串联形成与7
×
7卷积核相同的感受野；四个分支得到四个不同的子特征，四个子特征拼接后再利用3
×
3的卷积得到与原始特征具有相同维度、相同尺寸的多感受野特征，最后使用Sigmoid函数将多感受野特征归一化到(0,1)区间得到多感受野注意力特征，将多感受野残差注意力模块的原始输入特征与多感受野注意力特征相乘，得到最终多感受野残差特征。3.根据权利要求1所述的基于特征增强的车辆重识别方法，其特征在于，该车辆重识别方法，以基于多注意力引导的特征增强网络作为教师网络，并使用一种类似于教师网络结构的、轻量的双分支网络作为学生网络，然后，使用四个损失函数来指导和监督学生网络，四个损失函数分别为交叉熵损失、三元组损失、蒸馏损失、相似度损失，学生网络不仅能够学习到教师网络的特征分布，而且能够让学生网络自主的学习与教师网络不同的车辆的特征。4.根据权利要求1所述的基于特征增强的车辆重识别方法，其特征在于，所述相似度损失按照公式(10)获得，能够让学生网络的特征分布与教师网络的特征分布相似，
其中，表示教师网络在主干网络最后一层输出的高级语义特征，表示学生网络在主干网络最后一层输出的高级语义特征；t表示车辆训练集图像的数量，表示计算训练集图像损失之和，||
·
||1表示L1范数；交叉熵损失和三元组损失能够让学生网络自主的去学习车辆的特征表示，所述三元组损失的公式为公式(13)，其中，分别表示目标样本、正样本、负样本，β是控制到目标样本的正样本和负样本之间的距离余量，||
·
||2表示L2范数。5.一种基于特征增强的车辆重识别方法，该车辆重识别方法的具体步骤是：第一步，车辆图像预处理：首先，将在不同摄像头下采集的原始图像集X＝{x1，x2，
…
，x
m
}划分为训练集T＝{x1，x2，
…
，x
t
；t＜m}、查询集Q＝{x
t+1
，
…
，x
q
；t＜q＜m}、图库集G＝{x
q+1
，
…
，x
m
；q＜g≤m}，其中，x
i
代表每一张原始车辆图像，车辆重识别数据集的划分是随机的，i∈[1，m]仅代表每一张图像的下标，t，q，g分别代表训练集、查询集、图库集中最后一张图像的下标；训练集T的分类标签定义为Y
T
＝{y1，y2，
…
，y
N
}，其中，y
i
代表训练集中车辆图像的标签，N代表训练集中有N种不同的车辆；然后，在训练阶段对训练集T中的车辆图像采用双线性内插法，将图像尺寸从原始大小转化为[256，256]并按照概率P＝0.5进行随机水平翻转；最后，根据公式(1)，按照ImageNet数据集标准的RGB模式均值和方差将车辆图像归一化并转化为tensor张量；其中，均值mean＝[0.485，0.456，0.406]，方差std＝[0.229，0.224，0.225]，X
p
表示原车辆图像像素值，Y表示归一化后的像素值；第二步，构建基于多注意力引导的特征增强网络：第2.1步，主干网络：采用ResNet
‑
50作为主干网络，ResNet
‑
50网络共包含5层，分别定义为stage0～4，其中，stage1～stage4每层包含多个Bottleneck，在ResNet
‑
50的stage4中将最后一个卷积层的步长设置为1来提高车辆特征的分辨率，保留更多的特征信息；根据主干网络预测的特征映射，在全局分支使用全局平均池化层将特征映射转化为全局特征向量，局部分支使用GeM池化将特征映射转化为局部特征向量；然后，全局分支和局部分支分别利用两个全连接层(FC
‑
2048、FC
‑
512)将特征向量从2048维编码到512维再到固定维；第2.2步，构建多感受野残差注意力模块：原始...

【专利技术属性】
技术研发人员：于明，何坤，于洋，阎刚，朱叶，师硕，郝小可，郭迎春，刘依，吕华，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：