基于弱监督定位和子类别相似性度量的细粒度车型识别方法技术

本发明专利技术公开了一种基于弱监督定位和子类别相似性度量的细粒度车型识别方法，包括：1）弱监督定位：用预训练好的VGG‑Net网络对图像目标定位，对卷积层的掩码图进行处理，获取目标物体的边界框；2）构建模糊相似矩阵：将训练集中定位后的图片利用B‑CNN网络提取特征，根据softmax分类结果得到度量各子类别相似性的模糊相似矩阵；3）采样组建三元组集：在模糊相似矩阵基础上采样组建三元组；4）联合学习改进的损失函数：利用改进的损失函数联合学习改进的triplet损失和加权的softmax损失对同一子类别样本间距离进行限制，增大不同子类别样本间的距离。本发明专利技术较原始模型定位更加准确、并且在分类准确性上有明显提升，能够很好地对车辆目标进行定位。

【技术实现步骤摘要】
基于弱监督定位和子类别相似性度量的细粒度车型识别方法
本专利技术涉及一种基于弱监督定位和子类别相似性度量的细粒度车型识别方法。
技术介绍
细粒度车型识别作为细粒度图像分类问题的子问题，在传统车型识别只识别出车辆生产商的基础上，还要区分出同一车辆品牌旗下不同车辆的型号，如奥迪S5和奥迪S4等。细粒度车型识别的目的是识别任意角度及场景下的车辆外观图像判断出车辆生产厂家、车辆型号等信息，在智慧交通、安防、汽车销售等领域具有重要意义。细粒度车型识别问题中不同车型类别间的差别往往很细微，具有显著区分度的信息只存在于细小的区域，因此需要对这些区域的信息进行特征编码。近年来随着大数据、硬件计算能力的提升，利用深度学习提取特征来改善细粒度车型识别效果已逐渐成为一种新的需求，与传统识别方法相比，有效的利用卷积神经网络可在训练数据驱动下自适应地构建深度特征描述，从而获取数据更抽象、更本质的表征。利用细粒度车型识别技术，可以在智能交通领域对道路交通情况进行统计，在汽车销售领域帮助潜在购车用户更好地了解感兴趣的车辆信息。尽管细粒度车型识别的方法不同，但基本研究主要集中在以下两个方面：第一类是通过人工设计的特征提取方法来对输入图片进行特征提取，这类方法往往会通过对齐、校准、3D重建等方法消除车辆姿势及视角的影响。大多数基于人工设计特征的方法都是使用人为设计的特征提取方法将输入车辆图片转换为特征向量，再基于特征向量和分类算法来训练模型。Deng等人提出气泡集方法(BB)，人为划分具有区分度的图像区域，提取该区域的尺度不变特征变换及颜色直方图特征，使用支持向量机分类在车型识别数据集上取得了较好的识别效果，但缺点是需要大量人工标注信息。Krause等人通过建立图像的3维几何估计，将BB方法提升到了3维空间来消除不同视角的影响，大幅提升了识别准确率，但由于数据处理的复杂性因此难以扩展到较大的数据集。总得来说，基于人工特征的方法特征表征能力相对较弱，并且为了消除车辆姿势及视角的影响加大了整体模型的复杂度，计算也更耗时；第二类是基于深度学习的方法，这类方法利用卷积神经网络在训练数据驱动下自适应地构建特征描述，找出具有区分度的部件信息来预测每款车辆的具体型号。当前，机器学习、深度学习研究方兴未艾，很多学者提出了基于卷积神经网络的细粒度车型识别方法，充分利用卷积神经网络的特征提取能力，并针对细粒度分类视觉差异主要集中在局部部件的特点进行优化。Yang等人建立了一个大规模的车辆数据库“CompCars”，通过深度网络的训练将结果用于车型分类、车型验证和车辆属性研究。Fu等人提出循环注意力卷积神经网络(RACNN)以相互强化的方式学习区域定位与特征表征，由粗到细迭代生成区域注意力，以端到端的训练方式大幅提升了识别精度。Hu等人则结合车辆位置信息与视觉显著性来对车辆精确定位，联合优化车型识别及车辆的视角分类两个任务，引入更多信息对视角变化的情况进行处理。Lin等人提出端到端的B-CNN模型，用两个神经网络在每个位置同时提取特征，然后将两个特征外积得到双线性特征，虽然提取的是全局特征，但是也包含了局部信息，因此它在不需要人工标记的同时，准确率也可以和基于部件的模型相媲美。基于深度学习的方法抛弃了人工特征改用卷积神经网络提取深度特征取得了显著的成果，但是深度学习模型计算量巨大，因此需要在网络优化的同时进一步提高网络的分类能力。就细粒度车型识别而言，现有方法主要存在两个问题：1、精准的车辆定位。在细粒度车型识别问题中，带有区分性的信息往往存在于细小的局部区域，且由于光照强度不同、背景复杂、车辆被遮挡等因素，使得针对具有显著区分度的区域的检测非常困难，因此需要先对图像进行定位获取目标物体的边界框。目前主流的目标检测和定位算法大多依赖于额外的标注信息，导致实用性大打折扣。虽然出现了一些弱监督的目标检测定位方法，但其通常重点关注某一局部区域的定位，丢失了其他局部细节信息，因此需要先对车辆进行精准的目标定位。2、另外一个值得关注的问题是子类别相似。细粒度图像分类各子类别存在类间差异小，类内差异大的现象，且各子类别间的模糊相似程度不同，奥迪S4和S5间相似度就远远高于奥迪S4与宝马Z4之间的相似度。现有的细粒度车型识别方法都是对所有子类别同等对待，导致相似度高的子类别之间的区分度不高，因此车型识别时需要对各类别间的整体相似度进行度量，并扩大类间差异且减少类内差异。
技术实现思路
本专利技术解决的技术问题是提供一种基于弱监督定位和子类别相似性度量的细粒度车型识别方法。本专利技术的技术方案是：一种基于弱监督定位和子类别相似性度量的细粒度车型识别方法，包括以下步骤：1)弱监督定位：首先用预训练好的VGG-Net网络对图像目标定位，以减少背景干扰，接着对卷积层的掩码图进行处理，获取目标物体的边界框；2)构建模糊相似矩阵：将训练集中定位后的图片利用B-CNN网络提取特征，之后根据softmax分类结果得到度量各子类别相似性的模糊相似矩阵；3)采样组建三元组集：在模糊相似矩阵基础上采样组建三元组，相似度越高的两个不同子类别采样比率越高，特征间距越大的同一子类别的图像越容易被选中；4)联合学习改进的损失函数：利用改进的损失函数联合学习改进的triplet损失和加权的softmax损失对同一子类别样本间距离进行限制，同时增大不同子类别样本间的距离。进一步的，本专利技术中步骤1)具体包括：1.1)获取掩码图输入图像I送入VGG-Net，“pool5”表示经过最大池化后最后一层卷积层的响应，即d张h×w的二维特征图，记为F＝{Fn}(n＝1,...,d)，其中Fn对应第n个通道h×w的二维特征图，F共有h×w个位置，每个位置(i,j)含有一个1×d维的卷积描述子x(i,j)∈Rd(i∈{1,...,h},j∈{1,...,w})；然后将pool5响应沿深度方向加和，得到二维矩阵最后选取F所有位置响应的平均值作为阈值来指导弱监督定位，并将F中大于阈值的这部分区域称作掩码图M；1.2)两层掩码图融合获取比pool5浅三层的relu5_2层的掩码图M'，根据M'大小将pool5层对应的掩码图上采样，对两个掩码图进行融合，只有当两个掩码图在同一位置(i,j)处对应元素均为1时该位置才予以保留，得到最终relu5_2层的目标掩码图1.3)获取边界框在二值图像上标记连通区域，选出最大连通区域并在对应的掩码图进行凸包处理，确保连通区域包含更多的目标，将最大连通区域所对应的最小外接矩形作为最终的目标边界框。进一步的，本专利技术中步骤1)还包括在步骤1.3)之后，对定位准确性进行判别，通过采用交并比来验证目标边界框是否为目标位置，A是定位得到的边界框，B为真实标注框，IoU是A和B的交集占A和B的并集的比率，选取0.5作为阈值进行判断，即定位所得的边界框与标注框重合度大于等于0.5就认为定位正确，否则定位错误。进一步的，本专利技术中步骤2)具体包括：对于图像I，提取双线性特征f后采用softmax分类，将k个分类返回值连接成一个新的特征向量fs，fs(i)表示将图像I分为第i类的softmax返回值；然后对属于同一子类别内所有样本的softmax返回值求期望，得到该子类别整体上被分类为所有类别的平均概率值；最后求出本文档来自技高网...

【技术保护点】
1.一种基于弱监督定位和子类别相似性度量的细粒度车型识别方法，其特征在于，包括以下步骤：1)弱监督定位首先用预训练好的VGG‑Net网络对图像目标定位，以减少背景干扰，接着对卷积层的掩码图进行处理，获取目标物体的边界框；2)构建模糊相似矩阵将训练集中定位后的图片利用B‑CNN网络提取特征，之后根据softmax分类结果得到度量各子类别相似性的模糊相似矩阵；3)采样组建三元组集在模糊相似矩阵基础上采样组建三元组，相似度越高的两个不同子类别采样比率越高，特征间距越大的同一子类别的图像越容易被选中；4)联合学习改进的损失函数利用改进的损失函数联合学习改进的triplet损失和加权的softmax损失对同一子类别样本间距离进行限制，同时增大不同子类别样本间的距离。

【技术特征摘要】
1.一种基于弱监督定位和子类别相似性度量的细粒度车型识别方法，其特征在于，包括以下步骤：1)弱监督定位首先用预训练好的VGG-Net网络对图像目标定位，以减少背景干扰，接着对卷积层的掩码图进行处理，获取目标物体的边界框；2)构建模糊相似矩阵将训练集中定位后的图片利用B-CNN网络提取特征，之后根据softmax分类结果得到度量各子类别相似性的模糊相似矩阵；3)采样组建三元组集在模糊相似矩阵基础上采样组建三元组，相似度越高的两个不同子类别采样比率越高，特征间距越大的同一子类别的图像越容易被选中；4)联合学习改进的损失函数利用改进的损失函数联合学习改进的triplet损失和加权的softmax损失对同一子类别样本间距离进行限制，同时增大不同子类别样本间的距离。2.根据权利要求1所述的基于弱监督定位和子类别相似性度量的细粒度车型识别方法，其特征在于：步骤1)具体包括：1.1)获取掩码图输入图像I送入VGG-Net，“pool5”表示经过最大池化后最后一层卷积层的响应，即d张h×w的二维特征图，记为F＝{Fn}(n＝1,...,d)，其中Fn对应第n个通道h×w的二维特征图，F共有h×w个位置，每个位置(i,j)含有一个1×d维的卷积描述子x(i,j)∈Rd(i∈{1,...,h},j∈{1,...,w})；然后将pool5响应沿深度方向加和，得到二维矩阵最后选取F所有位置响应的平均值作为阈值来指导弱监督定位，并将F中大于阈值的这部分区域称作掩码图M；1.2)两层掩码图融合获取比pool5浅三层的relu5_2层的掩码图M'，根据M'大小将pool5层对应的掩码图上采样，对两个掩码图进行融合，只有当两个掩码图在同一位置(i,j)处对应元素均为1时该位置才予以保留，得到最终relu5_2层的目标掩码图1.3)获取边界框在二值图像上标记连通区域，选出最大连通区域并在对应的掩码图进行凸包处理，确保连通区域包含更多的目标，将最大连通区域所对应的最小外接矩形作为最终的目标边界框。3.根据权利要求2所述的基于弱监督定位和子类别相似性度量的细粒度车型识别方法，其特征在于：步骤1)还包括在步骤1.3)之后，对定位准确性进行判别，通过采用交并比来验证目标边界框是否为目标位置，A是定位得到的边界框，B为真实标注框，IoU是A和B的交集占A和B的并集的比率，选取0.5作为阈值进行判断，即定位所得的边界框与标注框重合度大于等于0.5就认为定位正确，否则定位错误。4.根据权利要求1所述的基于弱监督定位和子类别相似性度量的细粒度车型识别方法，其特征在于：步骤2)具体包括：对于图像I...

【专利技术属性】
技术研发人员：戴兴华，王朝晖，刘纯平，钟珊，龚声蓉，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏,32