用于车辆重识别的自适应划分和先验强化部位学习网络制造技术

本发明专利技术涉及车辆重识别技术领域，具体地涉及一种用于车辆重识别的自适应划分和先验强化部位学习网络，提出了一个自适应划分部件学习模块，能够根据多头自注意力的语义聚集过程生成空间上不重叠的多样性部件掩码来解耦部件的学习，让一个头仅关注一个部件的语义聚集；还提出了一个先验强化部件学习模块，它通过自注意力建立刚性划分的一个部位与所有部位间的联系来生成语义上连续的部位，这一过程同时从全局角度强调了部件内重要的细节信息来有效地抑制噪声的干扰，基于以上两个模块，构建了一个自适应划分和先验增强部位学习网络，以自适应的方式和先验的方式，有助于区分相似车辆的细粒度语义信息，提高了网络的特征表征能力。表征能力。表征能力。

【技术实现步骤摘要】
用于车辆重识别的自适应划分和先验强化部位学习网络


[0001]本专利技术涉及车辆重识别
，具体地涉及一种用于车辆重识别的自适应划分和先验强化部位学习网络。

技术介绍

[0002]车辆重识别旨在从不同摄像机拍摄到的大量的车辆图像中识别出属于同一车辆的图像。学习部件中细微的鉴别性信息是应对车辆重识别中类间差异小这一挑战的关键。使用额外模型和标注的方法可以精确地定位部件的位置来学习部件级特征，但需要更多的计算成本和人力成本。刚性划分策略是将图像/特征图在空间维度上均匀划分为多个区域来学习部件级特征，因为每个区域能够直观的对应着目标中的语义部件，因此能够充分利用先验信息来学习可解释性强的部件特征，然而将一幅图像刚性地划分成多个区域会破坏部件语义的连续性，同时使得背景、遮挡等噪声的干扰变大，这限制了细微的鉴别性信息的有效学习。

技术实现思路

[0003]本专利技术的目的在于克服现有技术存在的缺点，提出设计一种用于车辆重识别的自适应划分和先验强化部位学习网络，能够有效学习图像细微的鉴别性信息，提高了网络的特征表征能力。
[0004]本专利技术解决其技术问题所采取的技术方案是：一种用于车辆重识别的自适应划分和先验强化部位学习网络，将ResNet
‑
50网络的res_conv4_2之前的块作为主干网络，将ResNet
‑
50网络的res_conv4_2及之后的剩余块划分为三个分支：Global，Local
‑
1，Local
‑
2；Global分支用于学习车辆的全局特征；在Local
‑
1分支嵌入自适应划分部件学习模块，在Local
‑
2分支嵌入先验强化部件学习模块；所述自适应划分部件学习模块包括部件感知子模块和多样性掩码生成子模块；所述部件感知子模块用多个注意力头将输入特征图中车辆的整体语义信息分解到多个部件感知特征图中，每个头生成的部件感知特征图通过自注意力计算捕获特定部件的上下文，并聚集相关语义；所述多样性掩码生成子模块推断出所述注意力头所关注的部件的空间位置，然后通过竞争机制来为每个头生成空间上不重叠的部件掩码；将部件多样性掩码分别引入到每个头的自注意力计算过程中，来只聚集相应掩码所指示的部件信息，使一个注意力头仅关注一个部件；所述先验强化部件学习模块将车辆特征图水平地划分为多个均匀的局部特征图（部件），然后以所有部件的像素为查询矩阵，单个部件的像素为键矩阵和值矩阵来独立的对每个部件实施自注意力计算，建立一个部件与所有部件在语义上的关联，可以从全局角度强化部件内重要的细节信息，从而有效地缓解因分割导致的噪声干扰变大的缺陷。此外，用所有的部件查询一个部件进行自注意力计算，不仅编码了该部件的语义信息，还编码了
与该部件联系紧密的其他部件的部分语义信息，从而保证了部件语义的连续性。
[0005]上述技术方案，通过Global分支学习车辆的全局特征，以学习最显著的外观线索来表征不同车辆的身份；通过Local
‑
1分支和Local
‑
2分支分别来以自适应的方式和以先验的方式学习，有助于区分相似车辆的细粒度语义信息，它们互相促进和补充，提高了网络的特征表征能力。
[0006]进一步的，所述自适应划分部件学习模块的结构为：部件感知子模块设模块的输入特征图为，其中H和W分别表示特征图X的高度和宽度，C表示通道维度；为了使用自注意力机制捕获部件的上下文信息并生成部件感知特征图，将输入特征图X的二维空间（H，W）展平形成一个一维的序列，并把序列通过线性映射转换成查询矩阵、键矩阵、值矩阵，公式为：，，，其中，是线性映射的权重矩阵，矩阵Q、K、V中的第i行Q
i
、K
i
、V
i
分别表示第i个位置（像素）的查询向量、键向量和值向量；使用G个注意力“头”来分别聚集不同部件的语义信息，即对输入特征图X并行施加G个自注意力计算得到一组成对亲和性矩阵和一组部件感知特征图，以分解多个部件的语义特征；成对亲和性矩阵和部件感知特征图的公式为：，，其中，i=1,2,...,G，，，，每个头生成的部件感知特征图F
i
的特征维度为C，增大特征维度可以捕获每个部件内丰富的细节信息；多样性掩码生成子模块多样性掩码生成子模块对矩阵A
i
沿着行轴方向求和来生成空间注意力矩阵。中的第k个元素越大，则第i个头对位置k处的部件的关注度越高，表明了第i个头所关注的部件在图像中的位置；为了减少不同的头所关注的区域间的重叠面积，多样性掩码生成子模块在所有的头产生的G个空间注意力矩阵之间施加一个竞争机制，从而使得每个头关注不同的部件：，其中Softmax函数沿的通道方向实施。部件多样性掩码在相同的空间位置仅有一个最大的响应值；将部件多样性掩码的大小都重塑为HW
×
1，并分别引入到每个头的感知特征图F
i
的公式中，得到部件感知强化的特征图：，
其中，表示矩阵逐元素相乘，该过程使得每个头关注不同的部件，减少部件感知特征图所编码的部件信息之间的冗余。
[0007]进一步的，所述部件多样性掩码还用于解耦输入特征图中的多个部件的信息，部件感知特征图和从原始特征图中解耦得到的部件信息对应融合成每个部件的最终特征表示。具体的，将部件多样性掩码的大小都重塑为H
×
W后分别与输入特征图X相乘来对原始特征图中部件的语义信息进行分解，得到解耦的部件语义特征：，在将每个头所产生的的大小重塑为H
×
W
×
C后，将它们拼接起来得到一个大小为H
×
W
×
GC的张量，并将其与G个拼接在一起形成的张量逐元素相加，得到自适应划分部件学习模块的最终输出特征图：。
[0008]进一步的，所述成对亲和性矩阵的计算过程为：将第i个位置的查询Q
i
，与所有位置的键进行点积计算后再应用Softmax函数，得到第i个位置与其他位置间的成对亲和性向量：，其中，表示矩阵乘法，是为了提供适当的规范化。A
i
中的第j个元素A
i,j
表示第i个位置和第j个位置间的相似性。本专利技术应用Softmax函数来得到所有空间位置之间的成对亲和性矩阵：，其中，Softmax函数沿着矩阵的列方向应用。成对亲和性矩阵A计算了所有位置之间的相似性得分，A中的第i行第j列的元素A
i,j
建模了第i个位置和第j个位置之间的关系。
[0009]进一步的，所述部件感知特征图的计算过程为：用第i个位置与其他位置之间的成对亲和性对值向量V1到V
HW
进行加权求和，来得到重构后的第i个位置的特征向量，，F
i
聚集了与第i个像素语义相关的空间像素。本专利技术将A与所有位置组成的值矩阵V相乘，来得到部件感知特征图：，F中的每个像素都聚集了与它自身语义相关的像素。因为同一部件内的像素比不同部件间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于车辆重识别的自适应划分和先验强化部位学习网络，其特征在于：将ResNet
‑
50网络的res_conv4_2之前的块作为主干网络，将ResNet
‑
50网络的res_conv4_2及之后的剩余块划分为三个分支：Global，Local
‑
1，Local
‑
2；Global分支用于学习车辆的全局特征；在Local
‑
1分支嵌入自适应划分部件学习模块，在Local
‑
2分支嵌入先验强化部件学习模块；所述自适应划分部件学习模块包括部件感知子模块和多样性掩码生成子模块；所述部件感知子模块用多个注意力头将输入特征图中车辆的整体语义信息分解到多个部件感知特征图中，每个头生成的部件感知特征图通过自注意力计算捕获部件的上下文，并聚集相关语义；所述多样性掩码生成子模块推断出所述注意力头所关注的部件的空间位置，然后通过竞争机制来为每个头生成空间上不重叠的部件掩码；将部件多样性掩码分别引入到每个头的自注意力计算过程中，使一个注意力头仅关注一个部件；所述先验强化部件学习模块将车辆特征图水平地划分为多个均匀的局部特征图，然后以所有部件的像素为查询矩阵，单个部件的像素为键矩阵和值矩阵来独立的对每个部件实施自注意力计算，建立一个部件与所有部件在语义上的关联。2.根据权利要求1所述的用于车辆重识别的自适应划分和先验强化部位学习网络，其特征在于：所述自适应划分部件学习模块的结构为：部件感知子模块设模块的输入特征图为，其中H和W分别表示特征图X的高度和宽度，C表示通道维度；将输入特征图X的二维空间展平形成一个一维的序列，并把序列通过线性映射转换成查询矩阵、键矩阵、值矩阵，公式为：，，，其中，是线性映射的权重矩阵，矩阵Q、K、V中的第i行Q
i
、K
i
、V
i
分别表示第i个位置的查询向量、键向量和值向量；对输入特征图X并行施加G个自注意力计算得到一组成对亲和性矩阵和一组部件感知特征图；成对亲和性矩阵和部件感知特征图公式为：，，其中，i=1,2,...,G，，，，每个头生成的部件感知特征图F
i
的特征维度为C；多样性掩码生成子模块多样性掩码生成子模块对矩阵A
i
沿着行轴方向求和来生成空间注意力矩阵，表明了第i个头所关注的部件在图像中的位置；多样性掩码生成子模块在所有的头产生的G个空间注意力矩阵之间施加一个竞争机制：，
其中，Softmax函数沿的通道方向实施，部件多样性掩码在相同的空间位置仅有一个最大的响应值；将部件多样性掩码的大小都重塑为HW
×
1，并分别引入到每个头的感知特征图F
i
的公式中，得到部件感知强化的特征图：，其中，表示矩阵逐元素相乘。3.根据权利要求2所述的用于车辆重识别的自适应划分和先验强化部位学习网络，其特征在于：所述部件多样性掩码还用于解耦输入特征图中的多个部件的信息，部件感知特征图和从原始特征图中解耦得到的部件信息对应融合成每个部件的最终特征表示；具体的，将部件多样性掩码的大小都重塑为H
×
W后分别与输入特征图X相乘来对原始特征图中部件的语义信息进行分解，得到解耦的部件语义特征：，在将每个头所产生的的大小重塑为H
×
W
×
C后，进行拼接起来得到一个大小为H
×
W
×
GC的张量，然后与G个拼接在一起形成的张量逐元素相加，得到自适应划分部件学习模块的最终输出特征图：。4.根据权利要求2所述的用于车辆重...

【专利技术属性】
技术研发人员：庞希愚，周厚仁，张峰，周晓颖，田佳琛，李曦，孙珂，郑美凤，聂秀山，尹义龙，
申请(专利权)人：山东交通学院，
类型：发明
国别省市：