基于视觉表征跨传感器不变性的车辆重识别方法技术

本发明专利技术公开了基于视觉表征跨传感器不变性的车辆重识别方法，包括步骤：获取遥感图像，依次输入神经网络的第一卷积层、第二卷积层、关系感知的全局注意力模块、第三卷积层、关系感知的全局注意力模块和第四卷积层；第四卷积层将处理结果依次输入关系感知的全局注意力模块、第五卷积层、关系感知的全局注意力模块和BNNECK，还依次输入全尺度模块、全尺度模块和BNNECK；本发明专利技术从局部和全局两个角度区分车辆，缓解视角变化带来的影响，获取判别性更高的局部特征；全尺度分支通过四个不同大小的感受野对不同尺度的特征进行融合，获取判别性最高的特征组合，本发明专利技术在数据集上取得了令人满意的表现。意的表现。意的表现。

【技术实现步骤摘要】
基于视觉表征跨传感器不变性的车辆重识别方法


[0001]本专利技术属于车辆识别
，尤其涉及基于视觉表征跨传感器不变性的车辆重识别方法。

技术介绍

[0002]遥感图像视觉表征的跨传感器不变性即在多传感器感影像数据中不随传感器变化的特征。通过捕捉多传感器遥感影像数据中不随传感器变化的特征，可以提高多种遥感应用技术的服务。受限于实验数据和设施，本章通过遥感图像的重识别问题说明提取不随传感器变化的特征将有效地提升重识别精度。
[0003]利用视觉信息的重识别任务就是从不同的摄像机网络捕捉到的图像中识别目标。重识别任务可以分为行人重识别和车辆重识别两种。车辆重识别作为跨传感器追踪任务中的一个重要研究方向，其目的是将目标车辆将车辆图像与已经捕获的车辆图像进行匹配，来确定车辆的从属。
[0004]当前车辆重识别任务存在的两个主要问题就是视角变化和尺度变化。同一车辆目标在不同的成像视角下形态相差很大。在不同的尺度下，车辆数据提供的信息也不尽相同。

技术实现思路

[0005]随着无人机技术的发展，无人机遥感摄像技术已经成为了智能交通领域的一个重要的数据获取途径。无人机视角下的车辆重识别任务也受到了越来越来多的关注。跨传感器追踪任务一直是遥感研究领域的一个重要研究任务，一个重要的思路就是通过挖掘具有跨传感器不变性的特征进行判别。车辆重识别作为跨传感器追踪任务中的一个重要应用，其根本思想是捕捉具有跨传感器不变性的特征。因此可以用无人机视角下的车辆重识别任务探究遥感图像视觉表征跨传感器不变性。无人机视角下的车辆重识别任务的关键点在于提取图片中不随角度变化和尺度变化的特征。有鉴于此，本专利技术提出了基于视觉表征跨传感器不变性的车辆重识别方法(GASNet)，重点考虑了无人机视角下的车辆重识别任务存在的最主要的两个问题，即丰富的视角变化和尺度变化，通过在网络中引入全局关系感知的注意力机制捕获具有全局信息的局部特征，这种局部特征对于视角变化有很好的鲁棒性。通过一个全尺度分支关联同尺度或不同尺度的特征以便找到特征区分度最大的组合，全尺度分支对不同尺度的车辆图片有很好的鲁棒性。GASNet在VRU数据集上取得了令人满意的表现。
[0006]本专利技术公开的基于视觉表征跨传感器不变性的车辆重识别方法，包括以下步骤：
[0007]获取遥感图像，依次输入神经网络的第一卷积层、第二卷积层、第一关系感知的全局注意力模块、第三卷积层、第二关系感知的全局注意力模块和第四卷积层；
[0008]所述第四卷积层将处理结果依次输入第三关系感知的全局注意力模块、第五卷积层、第四关系感知的全局注意力模块和第一BNNECK，所述第四卷积层还将处理结果依次输入第一全尺度模块、第二全尺度模块和第二BNNECK；
[0009]其中所述第一关系感知的全局注意力模块、第二关系感知的全局注意力模块、第三关系感知的全局注意力模块和第四关系感知的全局注意力模块生成具有全局感知的空间注意力权重和具有全局信息的通道注意力权重，所述第一全尺度模块和第二全尺度模块根据输入图像的特性分配不同的权重给不同尺度的图像特征，所述第一BNNECK和第二BNNECK分别输出ID损失函数和三元组损失函数；
[0010]将训练后的图像特征进行车辆重识别。
[0011]进一步地，所述第一关系感知的全局注意力模块、第二关系感知的全局注意力模块、第三关系感知的全局注意力模块和第四关系感知的全局注意力模块由全局感知的空间注意力机制和全局感知的通道注意力机制组成。
[0012]进一步地，所述全局感知的空间注意力机制如下：
[0013]对于通过卷积层得到的特征X∈R
C
×
H
×
W
，其中C代表通道数，H代表特征的高，W代表特征的宽，将每一个通道维度的特征向量作为一个特征节点展开，得到N＝H
×
W个维度特征节点，计算每一个维度特征节点与其他维度特征节点之间的相关性后，得到一个大小为N
×
N的关联矩阵；
[0014]对所述关联矩阵中的每个维度特征节点进行注意力学习，得到空间关系感知特征y
i
，其计算公式如下：
[0015][0016]其中X
i
为第i个维度特征节点的特征，r
i
为第i个维度特征节点与其它维度特征节点的相关性，ψ
s
表示将原始局部特征映射到特征空间内，表示将关系感知映射到特征空间内，ψ
s
和均为一个1
×
1的卷积操作之后接上一个BN层，再使用ReLU激活，pool
c
()表示全局平均池化操作，利用该操作将通道维度缩小到1；
[0017]通过y
i
生成具有全局感知的空间注意力权重a
i
，其计算公式如下：
[0018][0019]其中W1和W2都表示一个1
×
1的卷积操作之后接上一个BN层的操作，W1缩小通道维度，W2将通道维度降为1，Sigmoid和ReLU为激活函数。4.根据权利要求1所述的基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，所述全局感知的通道注意力机制如下所示：
[0020]对于通过卷积模块得到的特征X∈R
C
×
H
×
W
，其中C代表通道数，H代表特征的高，W代表特征的宽，将每一个通道处的d＝H
×
W的特征图作为一个特征节点展开，得到G＝C
×
C个特征图节点；计算一个特征图节点与其他特征图节点之间的相关性；
[0021]对每个特征图节点进行注意力学习，得到通道关系感知特征z
i
，其计算公式如下：
[0022][0023]其中Y
i
为第i个特征图节点的特征，r
i
为第i个特征图节点与其它特征图节点的相关性，ψ
s
表示将原始局部特征映射到特征空间内，表示将关系感知映射到特征空间内，ψ
s
和均为一个1
×
1的卷积操作之后接上一个BN层，再使用ReLU激活，pool
c
()表示全局平均池化操作，利用该操作将通道维度缩小到1；
[0024]通过z
i
生成具有全局信息的通道注意力权重b
i
，其计算公式如下：
[0025][0026]其中W3和W4都表示一个1
×
1的卷积操作之后接上一个BN层的操作，W3缩小通道维度，W4将通道维度降为1，Sigmoid和ReLU为激活函数。5.根据权利要求1所述的基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，所述第一全尺度模块和第二全尺度模块分别包含两个动态全卷积结构，所述第一全尺度模块和第二全尺度模块关联不同尺度的特征，获取具有高判别性的特征。
[0027]进一步地，所述动态全卷积结构包括输入层、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，包括以下步骤：获取遥感图像，依次输入神经网络的第一卷积层、第二卷积层、第一关系感知的全局注意力模块、第三卷积层、第二关系感知的全局注意力模块和第四卷积层；所述第四卷积层将处理结果依次输入第三关系感知的全局注意力模块、第五卷积层、第四关系感知的全局注意力模块和第一BNNECK，所述第四卷积层还将处理结果依次输入第一全尺度模块、第二全尺度模块和第二BNNECK；其中所述第一关系感知的全局注意力模块、第二关系感知的全局注意力模块、第三关系感知的全局注意力模块和第四关系感知的全局注意力模块生成具有全局感知的空间注意力权重和具有全局信息的通道注意力权重，所述第一全尺度模块和第二全尺度模块根据输入图像的特性分配不同的权重给不同尺度的图像特征，所述第一BNNECK和第二BNNECK分别输出ID损失函数和三元组损失函数；将训练后的图像特征进行车辆重识别。2.根据权利要求1所述的基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，所述第一关系感知的全局注意力模块、第二关系感知的全局注意力模块、第三关系感知的全局注意力模块和第四关系感知的全局注意力模块由全局感知的空间注意力机制和全局感知的通道注意力机制组成。3.根据权利要求1所述的基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，所述全局感知的空间注意力机制如下：对于通过卷积层得到的特征X∈R
C
×
H
×
W
，其中C代表通道数，H代表特征的高，W代表特征的宽，将每一个通道维度的特征向量作为一个特征节点展开，得到N＝H
×
W个维度特征节点，计算每一个维度特征节点与其他维度特征节点之间的相关性后，得到一个大小为N
×
N的关联矩阵；对所述关联矩阵中的每个维度特征节点进行注意力学习，得到空间关系感知特征y
i
，其计算公式如下：其中X
i
为第i个维度特征节点的特征，r
i
为第i个维度特征节点与其它维度特征节点的相关性，ψ
s
表示将原始局部特征映射到特征空间内，表示将关系感知映射到特征空间内，ψ
s
和均为一个1
×
1的卷积操作之后接上一个BN层，再使用ReLU激活，pool
c
()表示全局平均池化操作，利用该操作将通道维度缩小到1；通过y
i
生成具有全局感知的空间注意力权重a
i
，其计算公式如下：其中W1和W2都表示一个1
×
1的卷积操作之后接上一个BN层的操作，W1缩小通道维度，W2将通道维度降为1，Sigmoid和ReLU为激活函数。4.根据权利要求1所述的基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，所述全局感知的通道注意力机制如下所示：对于通过卷积模块得到的特征X∈R
C
×

【专利技术属性】
技术研发人员：李海峰，白建东，黄威，陈力，
申请(专利权)人：中国人民解放军六三九二一部队，
类型：发明
国别省市：