一种基于代表性空间特征的车辆重识别方法技术

本发明专利技术提出一种基于代表性空间特征的车辆重识别方法，通过分析基于代表性空间方向的有效细微表征特征，分离车辆的代表性空间SRS信息和非空间区域的辨别信息，来完成车辆重识别任务，包括以下步骤；步骤一、选择并训练用于提取车辆关键点信息的识别网络，并通过关键点信息捕捉到有代表性的局部空间区域；步骤二、利用局部空间区域的代表性空间特征和非空间区域的区分性特征来消除空间转移产生的干扰，同时增强识别网络的模型稳健性；步骤三、结合全局鉴别性信息、代表性空间信息进行车辆再识别，以提高模型的性能；本发明专利技术能够明显提高车辆识别任务的性能，有效地提高了模型对空间视角信息变化的处理能力，解决了各种时空状态下的物体匹配问题。的物体匹配问题。的物体匹配问题。

【技术实现步骤摘要】
一种基于代表性空间特征的车辆重识别方法


[0001]本专利技术涉及计算机视觉与车辆再识别(ReID)领域，尤其是一种基于代表性空间特征的车辆重识别方法。

技术介绍

[0002]车辆重识别是指给定一张车辆图像，找出其他摄像头拍摄的同一车辆，可将车辆再识别问题看作图像检索的子问题。在真实交通监控系统中，车辆再识别可以起到对目标车辆进行定位、监管、刑侦的作用。随着深度神经网络的兴起和大型数据集的提出，提升车辆再识别的准确度成为近年来计算机视觉和多媒体领域的研究热点。随着深度神经网络在计算机视觉和多媒体领域的发展，车辆再识别技术引起了学术界和工业界的广泛关注，并成为深度学习领域的热点研究问题。与以往的近邻重复图像检索问题不同的是，在车辆再识别任务中，摄像头的位置不同会产生光照变化、视角变化及分辨率的差异，这导致同一车辆在不同视角下产生自身差别或不同车辆因型号相同形成类间相似，这就使得车辆再识别任务的研究人员面临巨大的挑战。车辆再识别(ReID)作为一个复杂的图像分类问题，要求模型通过不同空间方向的摄像机捕捉车辆的各种代表性特征。然而，据观察，现有的模型往往侧重于提取具有较强辨识度的特征，而忽略了其他有价值的空间特征。此外，现有的方法缺乏对空间变化引起的噪声的有效抑制。

技术实现思路

[0003]本专利技术提出一种基于代表性空间特征的车辆重识别方法，能够明显提高车辆识别任务的性能，有效地提高了模型对空间视角信息变化的处理能力，解决了各种时空状态下的物体匹配问题，具有较高的应用价值。
[0004]本专利技术采用以下技术方案。
[0005]一种基于代表性空间特征的车辆重识别方法，通过分析基于代表性空间方向的有效细微表征特征，分离车辆的代表性空间SRS信息和非空间区域的辨别信息，来完成车辆重识别任务，所述方法包括以下步骤；
[0006]步骤一、选择并训练用于提取车辆关键点信息的识别网络，并通过关键点信息捕捉到有代表性的局部空间区域；
[0007]步骤二、利用局部空间区域的代表性空间特征和非空间区域的区分性特征来消除空间转移产生的干扰，同时增强识别网络的模型稳健性；
[0008]步骤三、结合全局鉴别性信息、代表性空间信息进行车辆再识别，以提高模型的性能。
[0009]所述识别网络为空间编码器网络；
[0010]步骤一具体包括：
[0011]步骤S1、在输入查询图片时，给定一个输入图像其中输入H、W和C分别代表高度、宽度和通道数，编码器SRS从识别网络的主干网络中提取第一层隐藏特征图f0，并
从空间编码器网络中提取全局空间信息f
s
生成N
‑
MASK和补丁MASK；
[0012]步骤S2、特征f0经过转发得到f1和f2，最后得到全局特征图e1，用递归网络来处理MASK和N
‑
MASK产生的空间特征。
[0013]所述步骤S1中，SRS使用OSNet作为骨干，全局编码器第一层f0对应于骨干网络上的三个卷积层，卷积层至OSN_Conv3；
[0014]全局空间编码器f
spatial
同样基于卷积神经网络，SRS利用它从输入中提取空间信息，步骤S1中，采用车辆关键点的估计模块和视点的估计模块作为SRS的f
s
模块。
[0015]步骤S1中，识别网络训练过程使用样本库内图片的20个车辆关键点信息来学习包含关键点和视点的空间信息，20个车辆关键点如下表所示，
[0016][0016][0017]在步骤S1中，GM将全局空间编码器得到的cls方向类信息和的关键点信息作为SRS需要的空间区域的MASK，其中H、W和C分别代表特征层的高度、宽度和关键点数量，为了便于下一步操作，对每个k2的关键点特征图进行平均，并转换为代表点，然后取最大值，因此得到点如以下公式所示：
[0018][0019]其中F
i
代表H
×
W的张量滑动，N是关键点的数量，P的第一列代表行索引，P的第二列代表列索引。执行以下选择操作，以确定局部SPA矩形区域(x1,y1)、(x1,y2)、(x2,y1)和(x2,y2)如以下公式所示：
[0020]x1＝max(min(P[：，0])，0)
[0021]x2＝min(max(P[：，0])，H)
[0022]y1＝max(min(P[：，1])，0)
[0023]y2＝min(max(P[：，1])，W)
[0024]公式二；
[0025]在步骤S1中，矩形区域的位置信息与不同层的全局特征相结合，得到MASK局部空间特征L
m
，而N
‑
MASK特征区域等于
[0026]在步骤S2中，将全局编码器分为f1和f2，分别对应于骨干网络上的第四个卷积层(OSN_Conv3至OSN_Conv4)和最后一个卷积层(OSN_Conv5)。在转发步骤中，f1和f2层分别提取384维和512维的特征；
[0027]在步骤S2中，本地空间编码器采用递归网络RNN来处理由MASK和N
‑
MASK产生的空间特征。由全局特征f0和GM1融合产生的特征区域被称为MASK空间特征区域，而N
‑
MASK则是
在非MASK区域提取的。在r0层和N
‑
r0层生成256
‑
dim的特征图，并继续向前串联到r2层和N
‑
r2层，得到1152
‑
dim的两个特征图。
[0028]所述步骤二、步骤三具体包括；
[0029]步骤S3、全局特征图e1经过全局平均池化得到而通过批处理归一化层(BN)，空间特征和非空间特征通过注意力层；
[0030]步骤S4、最后，获得的多样化特征(e1，F
m
和F
N
‑
m
)；
[0031]步骤S5、多样化特征和数据库图片中的特征计算相似度并找出前10个与输入相似度最高的图片。
[0032]在步骤S3中，512
‑
dim.的特征图e1通过全局平均池化层，得到在BN层之前，特征进入三重损失，用于度量学习，而在BN层之后，特征被用于ID损失；
[0033]空间特征和非空间特征被输入到注意力层，得到512
‑
dim的F
m
和F
N
‑
m
特征向量；
[0034]在步骤S3中，SRS在训练阶段应用了三种损失函数，即三联体损失、交叉熵损失和收缩率损失；对比度损失对于提取空间特征和非空间特征的代表性特征至关重要。特征和非空间特征，具体如以下公式：
[0035][0036]D
w
＝||x1‑
x2||2ꢀꢀ
公式四；
[0037]其中N表示小批量图像的数量，D
w
表示X1和X2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于代表性空间特征的车辆重识别方法，通过分析基于代表性空间方向的有效细微表征特征，分离车辆的代表性空间SRS信息和非空间区域的辨别信息，来完成车辆重识别任务，其特征在于：所述方法包括以下步骤；步骤一、选择并训练用于提取车辆关键点信息的识别网络，并通过关键点信息捕捉到有代表性的局部空间区域；步骤二、利用局部空间区域的代表性空间特征和非空间区域的区分性特征来消除空间转移产生的干扰，同时增强识别网络的模型稳健性；步骤三、结合全局鉴别性信息、代表性空间信息进行车辆再识别，以提高模型的性能。2.根据权利要求1所述的一种基于代表性空间特征的车辆重识别方法，其特征在于：所述识别网络为空间编码器网络；步骤一具体包括：步骤S1、在输入查询图片时，给定一个输入图像其中输入H、W和C分别代表高度、宽度和通道数，编码器SRS从识别网络的主干网络中提取第一层隐藏特征图f0，并从空间编码器网络中提取全局空间信息f
s
生成N
‑
MASK和补丁MASK；步骤S2、特征f0经过转发得到f1和f2，最后得到全局特征图e1，用递归网络来处理MASK和N
‑
MASK产生的空间特征。3.根据权利要求2所述的一种基于代表性空间特征的车辆重识别方法，其特征在于：所述步骤S1中，SRS使用OSNet作为骨干，全局编码器第一层f0对应于骨干网络上的三个卷积层，卷积层至OSN_Conv3；全局空间编码器f
spatial
同样基于卷积神经网络，SRS利用它从输入中提取空间信息，步骤S1中，采用车辆关键点的估计模块和视点的估计模块作为SRS的f
s
模块。4.根据权利要求2所述的一种基于代表性空间特征的车辆重识别方法，其特征在于：步骤S1中，识别网络训练过程使用样本库内图片的20个车辆关键点信息来学习包含关键点和视点的空间信息，20个车辆关键点如下表所示，。5.根据权利要求2所述的一种基于代表性空间特征的车辆重识别方法，其特征在于：在步骤S1中，GM将全局空间编码器得到的cls方向类信息和的关键点信息作为SRS需要的空间区域的MASK，其中H、W和C分别代表特征层的高度、宽度和关键点数量，为了便于下一步操作，对每个k2的关键点特征图进行平均，并转换为代表点，然后取最大值，因此得到点如以下公式所示：
其中F
i
代表H
×
W的张量滑动，N是关键点的数量，P的第一列代表行索引，P的第二列代表列索引。执行以下选择操作，以确定局部SPA矩形区域(x1,y1)、(x1,y2)、(x2,y1)和(x2,y2)如以下公式所示：x1＝max(min(P[：，0])，0)x2＝min(max(P[：，0])，H)y1＝max(min(P[：，1])，0)y2＝min(max(P[：，1])，W)公式二；在步骤S1中，矩形区域的位置信息与不同层的全局特征相结合，得到MASK局部空间特征L
m
，而N
‑
MASK特征区域等于6.根据权利要求2所述的一种基于代表性空间特征的车辆重识别方法，其特征在于：在步骤S2中，将全局编码器分为f1和f2，分别对应于骨干网络上的第四个卷积层(OSN_Conv3至OSN_Conv4)和最后一个卷积层(OSN_C...

【专利技术属性】
技术研发人员：吴芸，陈盼盼，连加未，王大寒，陈思，朱顺痣，葛德武，
申请(专利权)人：厦门理工学院，
类型：发明
国别省市：