基于自引导特征挖掘网络的车辆重识别方法技术

本发明专利技术公开了一种基于自引导特征挖掘网络的车辆重识别方法，步骤如下：构造自引导特征挖掘网络；训练自引导特征挖掘网络，自引导特征挖掘网络中主干网络部分使用ImageNet

【技术实现步骤摘要】
基于自引导特征挖掘网络的车辆重识别方法


[0001]本专利技术涉及车辆重识别
，具体涉及一种基于自引导特征挖掘网络的车辆重识别方法。

技术介绍

[0002]在深度学习技术兴起前，传统的车辆重识别只能通过不断抓拍车辆图像，并以车牌作为车辆身份的唯一ID进行识别。这种技术过度依赖于对车辆车牌，且图像精度要求较高。在一些违法犯罪事件中，车牌牌照常常被遮挡、移除甚至伪造，依靠人力来进行车辆重识别是非常低效的。
[0003]而目前基于深度学习的车辆重识别做法通常是提取输入的整张图像特征，然后提取特征的相似度，根据相似的最相似的车辆图像。这种提取整张图像特征的方式存在两个问题，一是图像背景对特征提取的干扰，二是难以挖掘细粒度特征。解决第一个问题的现有方法是额外训练一个背景分割模型，先将车辆图像的背景分割，然后对没有背景的车辆图像进行特征提取；解决第二个问题的现有方法是标记车辆的车灯、车标等细节位置，然后再额外使用一个定位网络找出这些标记的位置后，再进行特征提取。
[0004]上诉两个问题的现有解决方法都需要额外引入一个网络模型，将车辆重识别任务分为两个步骤，增加了特征提取的计算开销。

技术实现思路

[0005]本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种基于自引导特征挖掘网络的车辆重识别方法。该方法能够同时提取特征、消除图像背景的干扰、挖掘细粒度特征，并且不需要额外的网络模型辅助，也无需使用除图像ID外的其他标签信息。
[0006]本专利技术的目的可以通过采取如下技术方案达到：
[0007]一种基于自引导特征挖掘网络的车辆重识别方法，所述车辆重识别方法包括以下步骤：
[0008]S1、构造自引导特征挖掘网络，所述自引导特征挖掘网络包括主干网络和全局分支、噪音补丁过滤分支、显著特征提取分支；
[0009]S2、输入车辆图像数据集，对自引导特征挖掘网络进行训练；
[0010]S3、采用已训练的自引导特征挖掘网络进行车辆重识别。
[0011]进一步地，所述主干网络中从输入至输出的连接关系如下：
[0012]图像分块层、Cls嵌入层、位置编码嵌入层、DP层Dropout、第一转换层、第二转换层、第三转换层、第四转换层、第五转换层、第六转换层、第七转换层、第八转换层、第九转换层、第十转换层、第十一转换层；
[0013]其中，图像分块层将输入的图像分割成图像补丁；Cls嵌入层添加特征Cls；位置编码层给特征Cls和图像补丁加上相应的位置编码；第一转换层、第二转换层、第三转换层、第四转换层、第五转换层、第六转换层、第七转换层、第八转换层、第九转换层、第十转换层、第
十一转换层是结构相同的转换层，转换层的具体结构如下：
[0014]从输入层至输出层依次连接为：Norm层Norm_layer1、Attn层Attention1、DP层Dropout1、Norm层Norm_layer2、MLP层MLP1、DP层Dropout2。
[0015]进一步地，所述全局分支中从输入到输出的连接关系如下：
[0016]全局分支的输入传递至第十二层转换层、第十二转换层连接全局特征、全局特征分别连接三元组损失函数层和BNNECK层、BNNECK层连接交叉熵损失函数层、三元组损失函数层的输出与交叉熵损失函数层的输出相加作为全局分支的输出；
[0017]其中全局分支的作用是提取图像全局特征，补充噪音补丁过滤分支和显著特征提取分支可能丢失的特征信息，使得自引导特征挖掘网络提取完整的车辆特征信息。
[0018]进一步地，所述噪音补丁过滤分支中从输入到输出的连接关系如下：
[0019]噪音补丁过滤分支的输入传递至第十三转换层、第十三转换层连接噪音补丁过滤层、噪音补丁过滤层分别连接第一噪音补丁过滤特征和第一全局平均池、第一噪音补丁过滤特征分别连接第一三元组损失函数层和第一BNNECK层、第一BNNECK层连接第一交叉熵损失函数层、第一全局平均池连接第二噪音补丁过滤特征、第二噪音补丁过滤特征分别连接第二三元组损失函数层和第二BNNECK层、第二BNNECK层连接第二交叉熵损失函数层、第一三元组损失函数层与第一交叉熵损失函数层的相加之和同第二三元组损失函数层与第二交叉熵损失函数层的相加之和再相加作为噪音补丁过滤分支的输出；
[0020]其中噪音补丁过滤分支的作用是不使用背景标签信息帮助自引导特征挖掘网络将背景补丁过滤，以消除背景对车辆特征提取的干扰。
[0021]进一步地，所述显著特征提取分支中从输入到输出的连接关系如下：
[0022]显著特征提取分支的输入传递至第十四转换层、第十四转换层连接显著特征提取层、显著特征提取层分别连接到第一显著特征提取特征和第二全局平均池、第一显著特征提取特征分别连接第三三元组损失函数层和第三BNNECK层、第三BNNECK层连接第三交叉熵损失函数层、第二全局平均池连接到第二显著特征提取特征、第二显著特征提取特征分别连接第四三元组损失函数层和第四BNNECK层、第四BNNECK层连接第四交叉熵损失函数层、第三三元组损失函数层与第三交叉熵损失函数层的相加之和同第四三元组损失函数层与第四交叉熵损失函数层的相加之和再相加作为显著特征提取分支的输出；
[0023]其中显著特征提取分支的作用是不使用车辆部件标签帮助自引导特征挖掘网络找到车辆关键部位，挖掘细粒度特征增强特征的区分性能够更好的鉴别相似车辆。
[0024]进一步地，所述噪音补丁过滤层中，
[0025]由第十三转换层中Attn层Attention13的多头自注意力机制计算自注意力头的得分矩阵A∈R
(N+1)
*(N+1)如下：A＝[a0；a1；a2；...a
i
...；a
N
][0026]其中，i＝0、1、2...N为主干网络图像位置编码嵌入层嵌入的位置编码，位置编码0对应主干网络Cls嵌入层嵌入的特征Cls的位置编码，位置编码i＝1、2...N对应主干网络图像分块层第i个图像补丁的位置编码，a
i
表示位置编码为i的图像补丁分别与位置编码为0的特征Cls、位置编码为1至N的N个图像补丁的注意力得分构成的N+1维度的向量，表达式如下：
[0027]a
i
＝[a
i,0
；a
i,1
；a
i,2
；..a
i,j
....；a
i,N
][0028]其中，j＝0、1、2...N，a
i,j
表示位置编码为i的图像补丁与位置编码为j的图像补丁
的注意力得分值；
[0029]第十三转换层中Attn层Attention13的多头自注意力共有K个特征注意力头，对于K个特征注意力头中的任意一个注意力头都能计算得到一个得分矩阵A，对所有特征注意力头的得分矩阵求平均得到平均得分矩阵Aavg，平均得分矩阵Aavg与得分矩阵A表达式相同，区别在于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自引导特征挖掘网络的车辆重识别方法，其特征在于，所述车辆重识别方法包括以下步骤：S1、构造自引导特征挖掘网络，所述自引导特征挖掘网络包括主干网络和全局分支、噪音补丁过滤分支、显著特征提取分支；S2、输入车辆图像数据集，对自引导特征挖掘网络进行训练；S3、采用已训练的自引导特征挖掘网络进行车辆重识别。2.根据权利要求1所述的基于自引导特征挖掘网络的车辆重识别方法，其特征在于，所述主干网络中从输入至输出的连接关系如下：图像分块层、Cls嵌入层、位置编码嵌入层、DP层Dropout、第一转换层、第二转换层、第三转换层、第四转换层、第五转换层、第六转换层、第七转换层、第八转换层、第九转换层、第十转换层、第十一转换层；其中，第一转换层、第二转换层、第三转换层、第四转换层、第五转换层、第六转换层、第七转换层、第八转换层、第九转换层、第十转换层、第十一转换层是结构相同的转换层，转换层的具体结构如下：从输入层至输出层依次连接为：Norm层Norm_layer1、Attn层Attention1、DP层Dropout1、Norm层Norm_layer2、MLP层MLP1、DP层Dropout2。3.根据权利要求1所述的基于自引导特征挖掘网络的车辆重识别方法，其特征在于，所述全局分支中从输入到输出的连接关系如下：全局分支的输入传递至第十二层转换层、第十二转换层连接全局特征、全局特征分别连接三元组损失函数层和BNNECK层、BNNECK层连接交叉熵损失函数层、三元组损失函数层的输出与交叉熵损失函数层的输出相加作为全局分支的输出。4.根据权利要求1所述的基于自引导特征挖掘网络的车辆重识别方法，其特征在于，所述噪音补丁过滤分支中从输入到输出的连接关系如下：噪音补丁过滤分支的输入传递至第十三转换层、第十三转换层连接噪音补丁过滤层、噪音补丁过滤层分别连接第一噪音补丁过滤特征和第一全局平均池、第一噪音补丁过滤特征分别连接第一三元组损失函数层和第一BNNECK层、第一BNNECK层连接第一交叉熵损失函数层、第一全局平均池连接第二噪音补丁过滤特征、第二噪音补丁过滤特征分别连接第二三元组损失函数层和第二BNNECK层、第二BNNECK层连接第二交叉熵损失函数层、第一三元组损失函数层与第一交叉熵损失函数层的相加之和同第二三元组损失函数层与第二交叉熵损失函数层的相加之和再相加作为噪音补丁过滤分支的输出。5.根据权利要求1所述的基于自引导特征挖掘网络的车辆重识别方法，其特征在于，所述显著特征提取分支中从输入到输出的连接关系如下：显著特征提取分支的输入传递至第十四转换层、第十四转换层连接显著特征提取层、显著特征提取层分别连接到第一显著特征提取特征和第二全局平均池、第一显著特征提取特征分别连接第三三元组损失函数层和第三BNNECK层、第三BNNECK层连接第三交叉熵损失函数层、第二全局平均池连接到第二显著特征提取特征、第二显著特征提取特征分别连接第四三元组损失函数层和第四BNNECK层、第四BNNECK层连接第四交叉熵损失函数层、第三三元组损失函数层与第三交叉熵损失函数层的相加之和同第四三元组损失函数层与第四交叉熵损失函数层的相加之和再相加作为显著特征提取分支的输出。
6.根据权利要求4所述的基于自引导特征挖掘网络的车辆重识别方法，其特征在于，所述噪音补丁过滤层中，由第十三转换层中Attn层Attention13的多头自注意力机制计算自注意力头的得分矩阵A∈R
(N+1)*(N+1)
如下：A＝[a0；a1；a2；...a
i
...；a
N
]其中，i＝0、1、2...N为主干网络图像位置编码嵌入层嵌入的位置编码，位置编码0对应主干网络Cls嵌入层嵌入的特征Cls的位置编码，位置编码i＝1、2...N对应主干网络图像分块层第i个图像补丁的位置编码，a
i
表示位置编码为i的图像补丁分别与位置编码为0的特征Cls、位置编码为1至N的N个图像补丁的注意力得分构成的N+1维度的向量，表达式如下：a
i
＝[a
i,0
；a
i,1
；a
i,2
；..a
i,j
....；a
i,N
]其中，j＝0、1、2...N，a
i,j
表示位置编码为i的图像补丁与位置编码为j的图像补丁的注意力得分值；第十三转换层中Attn层Attention13的多头自注意力共有K个特征注意力头，对于K个特征注意力头中的任意一个注意力头都能计算得到一个得分矩阵A，对所有特征注意力头的得分矩阵求平均得到平均得分矩阵Aavg，平均得分矩阵Aavg与得分矩阵A表达式相同，区别在于矩阵中的值不一样；根据平均得分矩阵Aavg中a0得到特征Cls与位置编码1、2...N的图像补丁的注意力得分，对N个平均注意力得分从大到小进行排序，选择平均注意力得分较大的M个位置编码，其中，M为小于N的正整数；将位置编码为0的特征Cls输入到第一噪音补丁过滤特征，将平均注意力得分较大的M个位置编码对应的图像补丁输入到第一全局平均池。7.根据权利要求5所述的基于自引导特征挖掘网络的车辆重识别方法，其特征在于，所述显著特征提取层中，由第十四转换层中Attn层Attention14的多头自注意力机制计算自注意力头的得分矩阵A∈R
(N+1)*(N+1)
如下：A＝[a0；a1；a2；...a
i
...；a
N
]其中，i＝0、1、2...N为主干网络图像位置编码嵌入层嵌入的位置编码，位置编码0对应主干网络Cls嵌入层嵌入的特征Cls的位置编码，位置编码i＝1、2...N对应主干网络图像分块层第i个图像补丁的位置编码，a
i
表示位置编码为i的图像补丁分...

【专利技术属性】
技术研发人员：邓玉辉，李章伟，
申请(专利权)人：暨南大学，
类型：发明
国别省市：