一种属性和状态引导的结构嵌入车辆重识别系统和方法技术方案

一种属性和状态引导的结构嵌入车辆重识别系统和方法，属于计算机视觉技术领域，解决车辆重识别中的相同车辆间的类内差异和不同车辆间类间差异的问题，系统通过基于属性的增强和基于状态的弱化来学习车辆重识别中具有判别力的特征，包括：残差网络模块、基于属性的增强和扩展模块、基于状态的削弱和收缩模块以及全局结构嵌入模块；方法，含两个阶段：训练阶段和测试阶段；利用属性的增强和扩展来增加不同车辆间的特征间距，利用状态的弱化和收缩来减小相同车辆间的特征间距，从而更好的帮助网络学习车辆的特征。络学习车辆的特征。络学习车辆的特征。

An attribute and State guided structure embedded vehicle recognition system and method

【技术实现步骤摘要】
一种属性和状态引导的结构嵌入车辆重识别系统和方法


[0001]本专利技术属于计算机视觉
，涉及一种属性和状态引导的结构嵌入车辆重识别系统和方法。

技术介绍

[0002]车辆重识别的任务是在不重叠的监控摄像头中匹配车辆图像。由于它在视频监控，社会治安，智慧城市和智慧交通等领域的广泛应用，因此它是一项活跃而具有挑战性的计算机视觉任务，并引起了广泛的关注。尽管最近在车辆重识别方面取得了突破，但它仍然面临着两个严峻的挑战。
[0003]如图1(a)和(b)所示，在不同状态下(例如不同的相机角度、车辆视角以及拍摄时间)的相同车辆图片间存在着较大类内差异。如图1(b)、(c)和(d)所示，不同的车辆间存在细微的类间差异，特别是两辆车有着相同或相似的属性，例如颜色、型号和生产商等。因此，解决相同车辆间的类内差异和不同车辆间类间差异已成为车辆重识别中的重要任务。
[0004]现有的解决方式提出了不同的方法来解决上述的两个挑战。具有代表性的方法主要分为四类：1)基于全局特征的方法，通过特定的度量学习方法提取车辆图像的全局手工/深度特征；2)基于路径的方法，在推理阶段通常采用时空信息去除不合理的车辆，细化检索结果；3)基于视角的方法，其目的是通过度量学习来处理视角变化，并学习车辆Re
‑
ID的多视角特征；4)基于局部信息增强的方法，通过提供一些稳定的具有判别力的线索来增强车辆重识别中的类间差异。
[0005]但是在针对车辆重识别中存在的相同车辆间有较大的类内差异和不同车辆间有着较小的类间差异的两大挑战时，现有的解决方式存在着如下缺点：
[0006]1)基于全局特征的方法只考虑了车辆图像的外观，通常难以捕捉类内相似性和类间差异；
[0007]2)基于路径的方法往往在车辆特征的学习阶段，忽略了车辆因时空变化引起的外观变化；
[0008]3)基于视角的方法尽管显著减少了类内差异，但它们忽略了车辆的内在状态因素(如相机视角和捕捉时间)，忽视了细微类间差异的挑战；
[0009]4)基于局部信息增强的方法需要有局部区域提取操作，然而，局部区域提取模型通常需要大量的标注数据，耗时费力。
[0010]现有技术中，公开日期为2019年的文献《基于多属性的车辆重识别方法研究》(厦门大学，李科)，公开了一个融合车辆角度的车辆重识别算法、提出了融合车辆颜色和车型的车辆重识别算法、构建了基于网页平台的车辆重识别演示系统；但是该文献虽然考虑了车辆的属性信息，但只是将属性信息直接拼接在车辆特征上当做辅助信息进行使用，虽然这样也获得了较好的车辆重识别性能，但没有考虑对属性信息和车辆特征进行同时优化。公开日期为2020年的文献《多视图稀疏融合与多尺度注意力的车辆重识别方法研究》(安徽大学，董家成)设计了一个基于多尺度注意力机制的车辆重识别网络，利用骨架网络提取车
辆特征图，之后利用二次插值方法，生成其他尺度的车辆特征图，并且分别送入对应的包含空间通道注意力模块的子网络中。分别训练这些子网络后，利用结合层来融合多尺度注意力特征图，并且微调整个网络。该网络通过融合多尺度的互补信息，并且利用注意力机制挖掘判别性的局部细节，获得了更为鲁棒的特征；但是该文献并且没有考虑属性和状态的信息的问题。

技术实现思路

[0011]本专利技术的目的在于如何设计一种属性和状态引导的结构嵌入车辆重识别方法和系统，解决车辆重识别中的相同车辆间的类内差异和不同车辆间类间差异的问题。
[0012]本专利技术是通过以下技术方案解决上述技术问题的：
[0013]一种属性和状态引导的结构嵌入车辆重识别系统，通过基于属性的增强和基于状态的弱化来学习车辆重识别中具有判别力的特征，包括：残差网络模块、基于属性的增强和扩展模块、基于状态的削弱和收缩模块以及全局结构嵌入模块；
[0014]所述的残差网络模块用于提取可见光特征图，然后将特征图复制成三份，一份输入到基于属性的增强和扩展模块，一份输入到基于状态的弱化和收缩模块，一份通过全局平均池化和全连接操作得到类别得分；
[0015]所述的基于属性的增强和扩展模块用于通过与身份相关的属性信息来增强对车辆特征的识别，并通过设基于属性的扩展损失函数来增加不同车辆之间的特征间距；
[0016]所述的基于状态的削弱和收缩模块用于弱化干扰识别的状态信息，并通过基于状态的收缩损失函数来减小类内特征间距；
[0017]所述的全局结构嵌入模块用于基于属性的增强和基于状态的弱化运算得到最终的车辆特征向量，通过最终的特征向量来计算类别得分，将类别得分传递给检索库，判断车辆有没有在其他摄像机中出现。
[0018]本专利技术的技术方案提出了一种属性和状态引导的结构嵌入车辆重识别方法，利用属性的增强和扩展来增加不同车辆间的特征间距，利用状态的弱化和收缩来减小相同车辆间的特征间距，从而更好的帮助网络学习车辆的特征。
[0019]一种应用于所述的属性和状态引导的结构嵌入车辆重识别系统的方法，其特征在于，含两个阶段：训练阶段和测试阶段；
[0020]所述的训练阶段包括如下步骤：
[0021]步骤1)：获取一辆车的一张可见光图像，输入系统；
[0022]步骤2)：经过残差网络提取可见光特征图，然后将特征图复制成三份，一份输入到基于属性的增强和扩展模块，一份输入到基于状态的弱化和收缩模块，一份通过全局平均池化和全连接操作得到类别得分；使用交叉熵函数计算预测的类别与真值的类别约束损失值，共有属性、状态和身份三个约束的类别损失值，三者按照比例相加构成多标签的类别损失函数来对三者的类别进行预测；
[0023]步骤3)：通过属性的扩展损失函数扩展属性的特征分布，从而增加类间属性的差异；通过状态的收缩损失函数缩小状态的分布，从而减少类内状态的差异；
[0024]步骤4)：使用全局结构嵌入损失函数，通过异类样本分离和同类样本靠扰训练所有样本，使得异类样本的车辆特征距离随着属性的扩展而增大直到达到上边界，同类样本
的车辆特征距离随着状态的收缩而靠扰，直到小于下边界；
[0025]步骤5)：模型的最终损失定义为多标签分类损失、基于属性的扩展损失、基于状态的收缩损失和全局结构嵌入损失之和；在每一次训练中，属性和状态引导的结构嵌入系统反传最终的损失值，以降低损失值为目标，用自适应的动量随机梯度下降法更新残差块的模型参数以及属性增强模块和状态弱化模块参数，多次迭代后，系统的损失值不再减小，所有参数达到最优，则系统的训练结束；
[0026]所述的测试阶段包括如下步骤：
[0027]步骤a)：载入一张车辆的可见光图像，输入已经训练完成的系统；
[0028]步骤b)：经过一个已经训练好的残差网络提取可见光特征图；
[0029]步骤c)：可见光特征图分别经过训练好的基于属性的增强和扩展模块和基于状态的弱化和收缩模块，并得到属性增强特征张量和状态弱化特征张量；
[0030]步骤d)：经过基于属性的增强和基于状态的弱化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种属性和状态引导的结构嵌入车辆重识别系统，其特征在于，通过基于属性的增强和基于状态的弱化来学习车辆重识别中具有判别力的特征，包括：残差网络模块、基于属性的增强和扩展模块、基于状态的削弱和收缩模块以及全局结构嵌入模块；所述的残差网络模块用于提取可见光特征图，然后将特征图复制成三份，一份输入到基于属性的增强和扩展模块，一份输入到基于状态的弱化和收缩模块，一份通过全局平均池化和全连接操作得到类别得分；所述的基于属性的增强和扩展模块用于通过与身份相关的属性信息来增强对车辆特征的识别，并通过设基于属性的扩展损失函数来增加不同车辆之间的特征间距；所述的基于状态的削弱和收缩模块用于弱化干扰识别的状态信息，并通过基于状态的收缩损失函数来减小类内特征间距；所述的全局结构嵌入模块用于基于属性的增强和基于状态的弱化运算得到最终的车辆特征向量，通过最终的特征向量来计算类别得分，将类别得分传递给检索库，判断车辆有没有在其他摄像机中出现。2.一种应用于权利要求1所述的属性和状态引导的结构嵌入车辆重识别系统的方法，其特征在于，含两个阶段：训练阶段和测试阶段；所述的训练阶段包括如下步骤：步骤1)：获取一辆车的一张可见光图像，输入系统；步骤2)：经过残差网络提取可见光特征图，然后将特征图复制成三份，一份输入到基于属性的增强和扩展模块，一份输入到基于状态的弱化和收缩模块，一份通过全局平均池化和全连接操作得到类别得分；使用交叉熵函数计算预测的类别与真值的类别约束损失值，共有属性、状态和身份三个约束的类别损失值，三者按照比例相加构成多标签的类别损失函数来对三者的类别进行预测；步骤3)：通过属性的扩展损失函数扩展属性的特征分布，从而增加类间属性的差异；通过状态的收缩损失函数缩小状态的分布，从而减少类内状态的差异；步骤4)：使用全局结构嵌入损失函数，通过异类样本分离和同类样本靠扰训练所有样本，使得异类样本的车辆特征距离随着属性的扩展而增大直到达到上边界，同类样本的车辆特征距离随着状态的收缩而靠扰，直到小于下边界；步骤5)：模型的最终损失定义为多标签分类损失、基于属性的扩展损失、基于状态的收缩损失和全局结构嵌入损失之和；在每一次训练中，属性和状态引导的结构嵌入系统反传最终的损失值，以降低损失值为目标，用自适应的动量随机梯度下降法更新残差块的模型参数以及属性增强模块和状态弱化模块参数，多次迭代后，系统的损失值不再减小，所有参数达到最优，则系统的训练结束；所述的测试阶段包括如下步骤：步骤a)：载入一张车辆的可见光图像，输入已经训练完成的系统；步骤b)：经过一个已经训练好的残差网络提取可见光特征图；步骤c)：可见光特征图分别经过训练好的基于属性的增强和扩展模块和基于状态的弱化和收缩模块，并得到属性增强特征张量和状态弱化特征张量；步骤d)：经过基于属性的增强和基于状态的弱化运算，得到最终的车辆特征向量；步骤e)：通过最终的特征向量来计算类别得分，将类别得分传递给检索库，判断车辆有
没有在其他摄像机中出现。3.根据权利要求2所述的所述的属性和状态引导的结构嵌入车辆重识别系统的方法，其特征在于，步骤3)中的通过属性的扩展损失函数扩展属性的特征分布，从而增加类间属性的差异的方法为：输入一张图像大小为256
×
256的车辆图像I，首先经过一个50层的残差网络可以获取到这张车辆图像的特征图T，T＝ResNet50(I)；将车辆图像的特征图T拷贝三份，其中第一份传入基于属性的增强和扩展模块；然后将特征图T输入不同属性对应的1
×
1的卷积块，获得与属性相关的特征图：将与属性相关的特征图进行批正则化BN操作和修正线性单元ReLU操作：将与属性相关的特征图进行全局平均池化操作，得到与属性相关的特征：引入属性相关的标签增加一层全连接层FC，使得与属性相关的特征在端到端的训练中受到标签的约束，属性相关的标签约束公式化为：然后计算当前车辆相对于所有车辆的属性的均值的特征分布，‖
·
‖2代表l2范数求特征平方和的平方根：设计一个基于属性的扩展损失函数，迫使网络在端到端的训练中让与属性相关的特征分布不断扩展，扩展公式为：其中，i代表属性的种类，本实施例中分别为：车辆的颜色属性、车辆的类型属性、车辆的厂商属性；系统的训练朝着扩展损失的下降方向进行反传损失函数，使得属性特征分布不断扩展，从而带动不同车辆的特征距离不断远离；利用S型函数，使得与属性相关的特征图归一化为0
‑
1之间，并与车辆特征图T进行元素层面的乘积操作，得到与属性相关的增强图T
e
，公式为：在系统的迭代过程中，不断执行属性的扩展，利用与属性相关的特征图增强车辆特征图T，车辆增强的特征图T
′
的计算公式为：T
′
＝T+T
e
其中，T
e
表示与属性相关的增强图，T表示车辆图像的特征...

【专利技术属性】
技术研发人员：郑爱华，高亚飞，李洪潮，李成龙，汤进，罗斌，
申请(专利权)人：安徽大学，
类型：发明
国别省市：