一种车辆细粒度识别的方法及装置制造方法及图纸

本发明专利技术公开了一种基于多重注意力机制与区域特征约束相结合的车辆细粒度识别的方法及装置，所述方法包括：构建多注意力卷积神经网络模型，并对所述多注意力卷积神经网络模型进行预训练；对训练数据集进行多尺度区域信息标注，得到第一训练数据集；基于改进的包围盒约束算法和海伦约束算法对第一训练数据集进行处理，得到第二训练数据集；采用所述第二训练数据集训练多注意力卷积神经网络模型的目标参数的参数值，得到训练之后的多注意力卷积神经网络模型。本发明专利技术相比于现有技术，减少了需预先标注图像类别或选框标注对象位置的工作量，节省成本，提高了效率。

A method and device for fine-grained vehicle identification

【技术实现步骤摘要】
一种车辆细粒度识别的方法及装置
本专利技术涉及图像检索
，具体涉及一种基于多重注意力机制与区域特征约束相结合的车辆细粒度识别的方法、装置、终端设备及计算机可读介质。
技术介绍
车辆细粒度识别是计算机视觉领域的一个重要研究方向。相同车型的车辆识别对于传统方法难度较大，因为往往同类车辆之间的差异十分微小。不同之处可能仅仅在于其之上的年检标志，或者是车内某些小装饰。伴随着最近几年深度学习的兴起，很多研究者基于此也尝试将深度学习应用于目标检测识别领域。其中细粒度级别图像分析是针对此类问题的一项计算机视觉领域热门研究课题，其目标是对上述细粒度级别图像中的物体子类进行定位、识别及检索等若干视觉分析任务的研究，具有真实场景下广泛的应用价值。与此同时，随着智能城市的不断推进，城市的道路交通安全越来越受到人们的重视。然而，现有车辆图像检索算法对同类型车识别率不高，信息提取不清晰。
技术实现思路
有鉴于此，本专利技术提供了一种基于多重注意力机制与区域特征约束相结合的车辆细粒度识别方法、装置、计算机设备及存储介质，用以解决现有技术对于需要搜索信息的车辆图像定位不准确，信息提取不清晰等问题。本专利技术实施例的第一方面提供了一种基于多重注意力机制与区域特征约束相结合的车辆细粒度识别的方法，包括：构建多注意力卷积神经网络模型，并对所述多注意力卷积神经网络模型进行预训练；对训练数据集进行多尺度区域信息标注，得到第一训练数据集；基于改进的包围盒约束算法和海伦约束算法对第一训练数据集进行处理，得到第二训练数据集；采用所述第二训练数据集训练多注意力卷积神经网络模型的目标参数的参数值，得到训练之后的多注意力卷积神经网络模型；将待识别车辆图像输入训练好的多注意力卷积神经网络模型进行识别，获得与所述待识别车辆图像同类型的目标车辆图像。进一步地，所述多注意力卷积神经网络模型包括基础网络层、通道聚类层和局部分类子网络层。进一步地，所述基于改进的包围盒约束算法和海伦约束算法对第一训练数据集进行处理的步骤，包括：根据所述第一训练数据集图片中多尺度区域互相包含的关系对检测的结果进行包围盒约束算法优化,筛选出图片中包含目标物体和多尺度目标中心的检测框；采用FASTER-RCNN提取包含物体得分概率分数排序靠前且满足海伦检测约束条件的目标物体和各尺度中心部分检测框。进一步地，所述采用所述第二训练数据集训练多注意力卷积神经网络模型的目标参数的参数值的步骤，包括：所述第二训练数据集中的图像输入多注意力卷积神经网络模型，通过所述多注意力卷积神经网络模型模型最后一层激活卷积层提取图像特征后，输出n个二维特征映射，每个特征映射分布式表示有多个激活响应的特征显著性区域；将所述n个二维特征映射叠加，并设定一个阈值，选取叠加后激活响应高于阈值的区域，得到一个掩映图；采用双三次插值的方法调整所述掩映图的大小，使其与输入图像同样大小，并将掩映图覆盖到输入图像上；选取所述掩映图中所占面积最大的激活响应高于阈值的区域，该区域在输入图像中所对应的区域即为图像主要目标对象位置，激活响应特征即为目标对象的特征。本专利技术实施例的第二方面提供了一种基于多重注意力机制与区域特征约束相结合的车辆细粒度识别的装置，其特征在于，包括：模型构建模块，构建多注意力卷积神经网络模型，并对所述多注意力卷积神经网络模型进行预训练；第一获取模块，用于对训练数据集进行多尺度区域信息标注，得到第一训练数据集；处理模块，用于基于改进的包围盒约束算法和海伦约束算法对第一训练数据集进行处理，得到第二训练数据集；训练模块，用于采用所述第二训练数据集训练多注意力卷积神经网络模型的目标参数的参数值，得到训练之后的多注意力卷积神经网络模型；识别模块，用于将待识别车辆图像输入训练好的多注意力卷积神经网络模型进行识别，获得与所述待识别车辆图像同类型的目标车辆图像。进一步地，所述多注意力卷积神经网络模型包括基础网络层、通道聚类层和局部分类子网络层。进一步地，所述处理模块包括：包围盒约束模块，用于根据所述第一训练数据集图片中多尺度区域互相包含的关系对检测的结果进行包围盒约束算法优化,筛选出图片中包含目标物体和多尺度目标中心的检测框；海伦约束模块，用于采用FASTER-RCNN提取包含物体得分概率分数排序靠前且满足海伦检测约束条件的目标物体和各尺度中心部分检测框。进一步地，所述训练模块包括：提取模块，用于将所述第二训练数据集中的图像输入多注意力卷积神经网络模型，通过所述多注意力卷积神经网络模型模型最后一层激活卷积层提取图像特征后，输出n个二维特征映射，每个特征映射分布式表示有多个激活响应的特征显著性区域；叠加模块，用于将所述n个二维特征映射叠加，并设定一个阈值，选取叠加后激活响应高于阈值的区域，得到一个掩映图；调整模块，用于采用双三次插值的方法调整所述掩映图的大小，使其与输入图像同样大小，并将掩映图覆盖到输入图像上；判断模块，用于选取所述掩映图中所占面积最大的激活响应高于阈值的区域，该区域在输入图像中所对应的区域即为图像主要目标对象位置，激活响应特征即为目标对象的特征。本专利技术实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于多重注意力机制与区域特征约束相结合的车辆细粒度识别的方法的步骤。本专利技术实施例的第四方面提供了一种计算机可读介质，所述计算机可读介质存储有计算机程序，所述计算机程序被处理执行时实现上述基于多重注意力机制与区域特征约束相结合的车辆细粒度识别的方法的步骤。在本专利技术实施例中，通过采用多注意力卷积神经网络模型自动定位图像对象的方式，通过深度学习提取图像细粒度特征，并与参照图像特征进行相似度比较，识别与参照图像对象同类的图像。相比于现有技术，减少了需预先标注图像类别或选框标注对象位置的工作量，节省成本，提高了效率。并采用全局平均池化取代全连接层的神经网络模型，减少了模型参数数量，提高了运算速度，更适用于大规模图像集的检索识别。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种基于多重注意力机制与区域特征约束相结合的车辆细粒度识别的方法的流程图；图2是本专利技术实施例提供的一种基于多重注意力机制与区域特征约束相结合的车辆细粒度识别的方法中的MA-CNN的整体框架图；图3是本专利技术实施例提供的一种基于多重注意力机制与区域特征约束相结合的车辆细粒度识别的方法中的海伦约束的示意图；图4是本专利技术实施例提供的基于多重注意力机制与本文档来自技高网...

【技术保护点】
1.一种基于多重注意力机制与区域特征约束相结合的车辆细粒度识别方法，其特征在于，包括：/n构建多注意力卷积神经网络模型，并对所述多注意力卷积神经网络模型进行预训练；/n对训练数据集进行多尺度区域信息标注，得到第一训练数据集；/n基于改进的包围盒约束算法和海伦约束算法对第一训练数据集进行处理，得到第二训练数据集；/n采用所述第二训练数据集训练多注意力卷积神经网络模型的目标参数的参数值，得到训练之后的多注意力卷积神经网络模型；/n将待识别车辆图像输入训练好的多注意力卷积神经网络模型进行识别，获得与所述待识别车辆图像同类型的目标车辆图像。/n

【技术特征摘要】
1.一种基于多重注意力机制与区域特征约束相结合的车辆细粒度识别方法，其特征在于，包括：
构建多注意力卷积神经网络模型，并对所述多注意力卷积神经网络模型进行预训练；
对训练数据集进行多尺度区域信息标注，得到第一训练数据集；
基于改进的包围盒约束算法和海伦约束算法对第一训练数据集进行处理，得到第二训练数据集；
采用所述第二训练数据集训练多注意力卷积神经网络模型的目标参数的参数值，得到训练之后的多注意力卷积神经网络模型；
将待识别车辆图像输入训练好的多注意力卷积神经网络模型进行识别，获得与所述待识别车辆图像同类型的目标车辆图像。


2.根据权利要求1所述的基于多重注意力机制与区域特征约束相结合的车辆细粒度识别的方法，其特征在于，所述多注意力卷积神经网络模型包括基础网络层、通道聚类层和局部分类子网络层。


3.根据权利要求2所述的基于多重注意力机制与区域特征约束相结合的车辆细粒度识别的方法，其特征在于，所述基于改进的包围盒约束算法和海伦约束算法对第一训练数据集进行处理的步骤，包括：
根据所述第一训练数据集图片中多尺度区域互相包含的关系对检测的结果进行包围盒约束算法优化，筛选出图片中包含目标物体和多尺度目标中心的检测框；
采用FASTER-RCNN提取包含物体得分概率分数排序靠前且满足海伦检测约束条件的目标物体和各尺度中心部分检测框。


4.根据权利要求1所述的基于多重注意力机制与区域特征约束相结合的车辆细粒度识别的方法，其特征在于，所述采用所述第二训练数据集训练多注意力卷积神经网络模型的目标参数的参数值的步骤，包括：
所述第二训练数据集中的图像输入多注意力卷积神经网络模型，通过所述多注意力卷积神经网络模型模型最后一层激活卷积层提取图像特征后，输出n个二维特征映射，每个特征映射分布式表示有多个激活响应的特征显著性区域；
将所述n个二维特征映射叠加，并设定一个阈值，选取叠加后激活响应高于阈值的区域，得到一个掩映图；
采用双三次插值的方法调整所述掩映图的大小，使其与输入图像同样大小，并将掩映图覆盖到输入图像上；
选取所述掩映图中所占面积最大的激活响应高于阈值的区域，该区域在输入图像中所对应的区域即为图像主要目标对象位置，激活响应特征即为目标对象的特征。


5.一种基于多重注意力机制与区域特征约束相结合的车辆细粒度识别的装置，其特征在于，包括：
模型构建模块，构建多注意力卷积神经网络模型，并对所述多注意力卷积神经网络模型进行预训练；
第...

【专利技术属性】
技术研发人员：张斯尧，罗茜，王思远，蒋杰，张诚，李乾，谢喜林，黄晋，
申请(专利权)人：深圳久凌软件技术有限公司，
类型：发明
国别省市：广东;44