基于跨上下文和特征响应注意力机制的车辆重识别方法技术

本发明专利技术涉及车辆重识别技术领域，具体地涉及一种基于跨上下文和特征响应注意力机制的车辆重识别方法，首先提出了局部混合跨上下文

【技术实现步骤摘要】
基于跨上下文和特征响应注意力机制的车辆重识别方法


[0001]本专利技术涉及车辆重识别
，具体地涉及一种基于跨上下文和特征响应注意力机制的车辆重识别方法。

技术介绍

[0002]随着深度学习的发展以及大型数据集的提出，基于卷积神经网络(CNNs)的车辆重识别方法凭借其丰富的表示能力显著地提升了视觉任务的性能。然而，不同实例之间的相似性是车辆重识别任务中存在的不容忽视的难题之一。一个有效的解决方案是既要建立长距离依赖还要关注信息丰富的车辆部件，例如，挂饰、摆件、制造商标志等，也就是在进行车辆重识别任务时不仅要从图像的整体中捕获全局特征，还要进行局部的鉴别性信息提取。
[0003]现如今，注意力机制被广泛应用于各种计算机视觉领域，如图像分类、物体检测、语义分割、行人重识别等，它是一种基于输入图像特征的动态权重调整过程，即资源的分配偏向于有用信息量较大的部分来帮助网络关注有意义的特征并抑制不必要的特征。在深度学习任务中正确联合注意力模块是显著提高卷积神经网络学习能力的有效手段之一。
[0004]现有技术中，将图像划分为一系列不重叠的patch，利用多头自注意力层学习全局表示并将其与全连接层、归一化层和GELU激活函数结合进行特征提取来完成图像识别，但其自注意力机制使用全局感受野捕获全局信息，在单个样本中聚合所有其他位置的特征来优化每个位置的表示，这导致了计算成本将与每张图像的像素数量成平方比例，网络的复杂度大幅度增加，影响图像识别精度和工作效率。

技术实现思路

[0005]本专利技术的目的在于克服现有技术存在的缺点，提出设计一种基于跨上下文和特征响应注意力机制的车辆重识别方法，以提高车辆重识别网络的识别精度及工作效率。
[0006]本专利技术解决其技术问题所采取的技术方案是：一种基于跨上下文和特征响应注意力机制的车辆重识别方法，包括：步骤1、将车辆图像作为输入，采用Resnet50作为骨干网络，res_conv4_1之后的部分被划分为三个独立的分支；三个独立的分支分别是：一个全局分支Global Branch、两个局部分支Part_1 Branch和Part_2 Branch；步骤2、在Global Branch分支的res_conv5层后添加通道注意力模块，通道注意力模块分别基于通道间的成对关系以及两种不同的压缩方式构建上下文信息和特征响应；再使用1D卷积对区域内的上下文和特征响应进行混合，从而以一种高效的方式同时编码全局信息和局部信息，获取通道间的长距离依赖和鉴别性特征；步骤3、对于Part_1 Branch和Part_2 Branch，res_conv5层的输出被输入到空间注意力模块中；空间注意力模块利用位置间的自相关性获取上下文信息，在空间方向上捕获长距离依赖关系，同样以两种不同的挤压方式得到特征响应来确保每个空间位置的自身信息的整合，再以卷积的方式高效混合上下文和特征响应以获取局部关系，实现车辆重识
别，使模型更准确地定位和识别感兴趣的目标。
[0007]进一步的，针对于两个局部分支，将输出特征图水平划分为两个部分来进一步提取细粒度特征，具体的，包括：在每个分支上应用全局平均池化（GAP）操作，得到维数为2048的特征向量；使用包括1*1卷积、BN层（批量归一化层）和ReLU激活函数的一系列操作将维数减少至256；将得到的256维的特征向量用于三元组损失的训练中，然后将256维的特征向量输入到全连接层中用于交叉熵损失的训练；在两个局部分支的空间模块中添加非相似性约束，以促使两个分支的空间模块获得的注意力掩码之间的相似度尽可能小，使得两个分支聚焦于不同空间位置的重要性信息，提取出不同的显著特征。
[0008]进一步的，所述通道注意力模块的结构为：以res_conv5层的输出特征图作为通道注意力模块的输入，其中、和分别指特征图的通道数、高度和宽度；首先，输入特征图经过变形得到一个尺寸为的矩阵，同时通过分组卷积并变形得到一个尺寸为的矩阵；将分组数为的分组卷积作用于输入特征图，并在分组卷积的过程中将特征图的输出通道的大小缩减至， ，，其中，代表分组卷积；接着，矩阵和矩阵经过矩阵乘法运算和、激活函数得到通道上下文关系矩阵；函数使得矩阵中代表了某通道与其他各个通道成对依赖关系的每列元素相加都等于1；的计算公式表示为：，其中，代表矩阵相乘运算符。
[0009]在行方向上并行不同的挤压操作，分别利用平均池化（求均值）和最大池化（求最大值）生成基于通道成对关系的统计性信息和显著性信息，进而得到两个不同含义的全局上下文描述符，记为和，；其次，对输入特征图实施池化操作将空间信息嵌入到通道中进行编码并推断出更精细的通道注意力；通过跨空间维度聚合特征图产生通道统计性特征响应描述符和通道显著性特征响应描述符，记为和，；
将这四个代表不同意义的通道描述符堆叠起来，使其输入到一个由卷积核大小为3*3的1D卷积和激活层组成的嵌入函数中并变形得到输出向量，，其中代表堆叠后的描述符集合，表示为，表示卷积核为3*3的1D卷积；将的输出向量与原始输入特征图进行元素点乘，添加到原始特征图中即进行残差操作得到特征图；对依次进行批量归一化（BN）和GELU激活函数操作得到最终输出特征图，，，其中，为点乘操作。
[0010]进一步的，所述空间注意力模块的结构为：以res_conv5层的输出特征图作为输入，其中是特征图的通道数，和分别为特征图的高度和宽度；在该模块中，特征图经过变形得到尺寸为的矩阵，同时通过深度卷积并变形得到尺寸为的矩阵；具体来说，本专利技术使用卷积核尺寸为、步幅为的深度卷积来缩小矩阵的空间大小；，，矩阵和经过矩阵乘法运算和函数得到空间上下文关系矩阵；经过函数后，矩阵列方向上的和为1，的计算公式为：；使用行方向的平均池化和最大池化操作聚合矩阵的位置上下文信息，生成两个不同的全局上下文描述向量，即基于位置关系的空间统计性上下文描述向量和空间显著性上下文描述向量：和；和经过变形得到空间上下文描述符以及，两者分别表示平均池化特征和最大池化特征；通过不同的压缩方法得到的上下文描述符分别建模了全局统计性上下文和全局显著性上下文，聚合跨通道维度的成对位置依赖关系产生上下文全局分布的嵌入，捕获长距离依赖关系；；通过跨通道维度聚合特征图产生空间统计性特征响应描述符和空间显著性特征响应描述符和，表示跨通道的平均池化特征和最大池化特征；两
个特征响应描述符蕴含了空间方面的统计信息以及显著信息，通过这种方式有效并精准的保存了位置信息；；得到四个不同类型的空间描述符，将在通道方向上拼接起来的空间描述符表示为；采用一个由函数和2D卷积组成的嵌入函数来混合某一位置的区域内的跨上下文和特征响应，同时学习全局表示和局部表示，得到空间注意力图，，其中，代表2D卷积；将注意力图与原始输入特征图进行元素点乘和残差操作得到特征图；依次施加批量归一化（BN）和GELU激活函数操作得到最终输出特征图；，。
[0011]进一步的，本专利技术利用交叉熵损失对不同类别的样本进行分类，其中，标准交叉熵损失函数的表述为：，其中，代表训练集中类的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于跨上下文和特征响应注意力机制的车辆重识别方法，其特征在于，包括：步骤1、将车辆图像作为输入，采用Resnet50作为骨干网络，res_conv4_1之后的部分被划分为三个独立的分支；三个分支分别是：全局分支Global Branch、两个局部分支Part_1 Branch和Part_2 Branch；步骤2、在Global Branch分支的res_conv5层后添加通道注意力模块，通道注意力模块分别基于通道间的成对关系以及两种不同的压缩方式构建上下文信息和特征响应；再使用1D卷积对区域内的上下文和特征响应进行混合，同时编码全局信息和局部信息，获取通道间的长距离依赖和鉴别性特征；步骤3、对于Part_1 Branch和Part_2 Branch，res_conv5层的输出被输入到空间注意力模块中；空间注意力模块利用位置间的自相关性获取上下文信息，在空间方向上捕获长距离依赖关系，同样以两种不同的挤压方式得到特征响应来确保每个空间位置的自身信息的整合，再以卷积的方式高效混合上下文和特征响应以获取局部关系，实现车辆重识别。2.根据权利要求1所述的基于跨上下文和特征响应注意力机制的车辆重识别方法，其特征在于，针对于两个局部分支，将输出特征图水平划分为两个部分来进一步提取细粒度特征，具体的，包括：在每个分支上应用全局平均池化操作，得到维数为2048的特征向量；使用包括1*1卷积、BN层和ReLU激活函数将维数减少至256；将得到的256维的特征向量用于三元组损失的训练中，然后将256维的特征向量输入到全连接层中用于交叉熵损失的训练；在两个局部分支的空间模块中添加非相似性约束。3.根据权利要求1所述的基于跨上下文和特征响应注意力机制的车辆重识别方法，其特征在于，所述通道注意力模块的结构为：以res_conv5层的输出特征图 作为通道注意力模块的输入，其中、和分别指特征图的通道数、高度和宽度；输入特征图经过变形得到一个尺寸为的矩阵，同时通过分组卷积并变形得到一个尺寸为的矩阵；将分组数为的分组卷积作用于输入特征图，并在分组卷积的过程中将特征图的输出通道的大小缩减至；矩阵和矩阵过矩阵乘法运算和、激活函数得到通道上下文关系矩阵 ；函数使得矩阵中代表了某通道与其他各个通道成对依赖关系的每列元素相加都等于1；的计算公式表示为：，其中，代表矩阵相乘运算符；在行方向上并行不同的挤压操作，分别利用平均池化和最大池化生成基于通道成对关系的统计性信息和显著性信息，进而得到两个不同含义的全局上下文描述符，记为和，
，对输入特征图实施池化操作将空间信息嵌入到通道中进行编码并推断出更精细的通道注意力；通过跨空间维度聚合特征图产生通道统计性特征响应描述符和通道显著性特征响应描述符，记为和，，将这四个代表不同意义的通道描述符堆叠起来，使其输入到一个由卷积核大小为3*3的1D卷积和激活层组成的嵌入函数中并变形得到...

【专利技术属性】
技术研发人员：庞希愚，孙珂，郑美凤，李曦，周厚仁，周晓颖，田佳琛，王成，栗世涛，
申请(专利权)人：山东交通学院，
类型：发明
国别省市：