一种卡口图像车辆检索方法及系统技术方案

一种卡口图像车辆检索方法及系统,该方法构建了卡口图像车辆检索模型，卡口图像车辆检索模型由获取目标车辆图像块的检测网络、车辆关键点定位网络、车辆图像块编码网络三个子网络组成；然后利用训练样本对卡口图像车辆检索模型进行训练。采集卡口车辆图片输入训练好的卡口图像车辆检索模型，从数据库中检索得到属于同一辆车的不同图像。本发明专利技术方法将包括相机姿态、车辆类别等全局信息用于辅助车辆关键点的定位，从而得到准确的车辆图像块；车辆图像块编码网络采用样本空间结构感知的四元损失函数，充分发掘负样本信息，解决三元损失函数性能改进有限的问题。本发明专利技术方法有效提高车辆图片检索的准确率。

A Method and System of Vehicle Retrieval Based on Gate Image

A vehicle retrieval method and system based on card-port image is presented. The vehicle retrieval model of card-port image is constructed. The vehicle retrieval model is composed of three sub-networks: detection network for acquiring target vehicle image blocks, vehicle key point positioning network and vehicle image block coding network. Then, the vehicle retrieval model of card-port image is trained with training samples. Gathering the image of the car at the entrance of the entrance and inputting the trained vehicle retrieval model of the entrance image, retrieving different images belonging to the same car from the database. The method of the invention uses global information including camera attitude, vehicle category, etc. to assist vehicle key point positioning, so as to obtain accurate vehicle image blocks; the vehicle image block coding network uses the quadrivariate loss function perceived by the sample space structure, fully exploits negative sample information, and solves the problem of limited performance improvement of the three-variate loss function. The method of the invention effectively improves the accuracy of vehicle image retrieval.

【技术实现步骤摘要】
一种卡口图像车辆检索方法及系统
本专利技术属于图像车辆检索领域，涉及一种卡口图像车辆检索方法及系统。
技术介绍
随着大量的卡口摄像头被部署，车辆流速监测，违规驾驶取证，车辆走向监测等卡口图像识别的广泛应用，卡口图像车辆检索成为了交通行业关注的热点。近几年时间，随着深度学习的广泛应用，许多分类和回归任务已经大规模地采用卷积神经网络的方法，而且使用CNN的方法在基于内容的图像检索上也已经实现了许多成功的研究。在图像车辆检索中，许多车辆图像仅占总图像的一部分，并且如果图像中包括太多不相关的背景因素，检索结果则将受到影响。在这种情况下，现在主流的方法是采用实例检索(instanceretrieval)来匹配图像块。然而，当涉及实例检索时，基于CNN的方法则会遇到两个问题：第一点是如何准确地定位出图像中的车辆图像块；第二点是当负样本的数量远远大于正样本的数量时，如何将训练数据中的信息有效利用起来。
技术实现思路
针对上述
技术介绍
介绍中存在的问题，本专利技术的目的在于提供一种卡口图像车辆检索方法及系统，融合局部与全局信息，获得更为准确的车辆图像块，增强样本空间结构的感知能力，充分发掘负样本信息，提高卡口图像的检索效果。本专利技术采用的技术方案是：一种卡口图像车辆检索方法,采集的卡口图像输入卡口图像车辆检索模型，获得卡口图像数据库中与采集的卡口图像车辆相同的卡口图像；其中，卡口图像车辆检索模型用于提取输入卡口图像车辆的关键点，利用关键点提取车辆图像块，根据车辆图像块的输出特征图检索获得与输入卡口图像车辆相同的卡口图像。进一步，卡口图像车辆检索模型由检测网络、车辆关键点定位网络、车辆图像块编码网络组成，检测网络用于提取卡口图像中的车辆潜在区域，车辆关键点定位网络用于提取车辆潜在区域中车辆的关键点，利用关键点提取车辆图像块，车辆图像块编码网络用于提取所述车辆图像块的输出特征图，使得查询车辆的输出特征图和卡口图像数据库中相同车辆的输出特征图的差异小于卡口图像数据库中其它车辆的输出特征图，从而检索得到卡口图像数据库中和查询车辆来自相同车辆的其它图片。进一步，车辆关键点定位网络由关键点预测网络、全局信息预测网络、信息融合网络组成，关键点预测网络用于获取车辆潜在区域中车辆的关键点预测信息；全局信息预测网络用于获取影响车辆的关键点预测信息的全局信息；信息融合网络用于融合关键点预测信息和全局信息，提取车辆潜在区域中车辆的关键点，利用关键点提取车辆图像块，其中在训练阶段，查询车辆的图像为正样本，其它车辆的为负样本。进一步，获取车辆潜在区域中车辆的关键点预测信息，包括采用神经网络，满足以下一种或组合条件：4.1)关键点的预测位置与实际位置之间的均方误差(MSE)损失函数：其中表示关键点u的第u个预测热图中最大激活值的位置，yu是关键点u的实际位置，U是关键点u的总个数；4.2)限制关键点预测位置间距与实际位置间距的差距:其中是预测的第u和第v个关键点预测位置之间的距离，du，v是相应的第u和第v个关键点实际位置之间的距离。进一步，获取影响车辆的关键点预测信息的全局信息，具体为根据全局影响因素获取对应的全局信息Ψ＝{a，s，t}，其中a、s、t为全局影响因素，分别表示摄像机视图、车辆的规模、车辆的类型，摄像机视图采用摄像机的俯仰、平扫和旋转角度来描述。进一步，融合关键点预测信息和全局信息，可以表示为：其中b(u)是第u个关键点的相邻关键点，为根据第v个相邻关键点的预测位置和全局信息Ψ对应的相邻关键点影响信息，为根据第个u关键点的预测位置和综合相邻关键点影响信息的融合信息；提取车辆潜在区域中车辆的关键点，具体为：其中为第u个关键点的预测位置第l次迭代结果，l为设定的迭代次数。进一步，车辆图像块编码网络用于提取所述车辆图像块的输出特征图，所述输出特征图使得查询车辆的输出特征图和卡口图像数据库中相同车辆的输出特征图的差异小于卡口图像数据库中其它车辆的输出特征图，从而检索得到卡口图像数据库中和查询车辆来自相同车辆的其它图片，具体为：满足条件：Lquadru＝max{α+δposδneg1，0}+max{β+δposδneg2，0}δpos＝d(f(xa)，f(xp))其中，xa为目标样本，即车辆图像块，xp为正样本，为负样本I，为负样本II，f(xa)为目标样本的输出特征图，d(f(xa)，f(xp))为目标样本xa和正样本xp输出特征图之间的距离，为负样本I和负样本II之间的相似距离，α和β为根据经验调整的参数。进一步，车辆的关键点为车辆的车窗左上、左下、右上、右下、左车灯、右车灯、左保险杆、右保险杆八个点。一种卡口图像车辆检索系统，由检测网络、车辆关键点定位网络、车辆图像块编码网络组成，车辆关键点定位网络由关键点预测网络、全局信息预测网络、信息融合网络组成；其中，检测网络用于提取卡口图像中的车辆潜在区域，关键点预测网络用于获取车辆潜在区域中车辆的关键点预测信息；全局信息预测网络用于获取影响车辆的关键点预测信息的全局信息；信息融合网络用于融合关键点预测信息和全局信息，提取车辆潜在区域中车辆的关键点，利用关键点提取车辆图像块；车辆图像块编码网络用于提取所述车辆图像块的输出特征图，所述输出特征图使得查询车辆的输出特征图和卡口图像数据库中相同车辆的输出特征图的差异小于卡口图像数据库中其它车辆的输出特征图，从而检索得到卡口图像数据库中和查询车辆来自相同车辆的其它图片。进一步，检测网络采用CascadeR-CNN网络；关键点预测网络结构包括7×7卷积层、最大池化层、4个残差层、2个沙漏网络；全局信息预测网络结构包括3个残差层、2个全连接层；车辆图像块编码网络在VGG网络基础上采用MAC编码方法，得到车辆图像块的输出特征图。本专利技术与现有技术相比，其显著优点包括：(1)融合局部的车辆关键点预测信息与全局的摄像机视图、车辆规模、车辆类型信息，有效地提高关键点定位的准确性，从而得到准确的车辆图像块。(2)采用样本空间结构感知的四元损失函数，充分发掘负样本信息，在车辆检索代价函数中使用多个负样本信息，有效提高车辆图片检索的准确率。附图说明图1为本专利技术实施例提供的车辆检索中难点示意图。图2为本专利技术实施例提供的卡口图像车辆检索方法框架示意图。图3为本专利技术实施例提供的关键点预测网络框架示意图。图4为本专利技术实施例提供的不准确对齐结果的示意图。图5为本专利技术实施例提供的不同损失函数的示意图。图6为本专利技术实施例提供的卡口图像数据集中的检测结果。图7为本专利技术实施例提供的卡口图像车辆检索系统框架示意图。具体实施方式下面结合具体实施例来对本专利技术进行进一步说明，但并不将本专利技术局限于这些具体实施方式。本领域技术人员应该认识到，本专利技术涵盖了权利要求书范围内所可能包括的所有备选方案、改进方案和等效方案。参见图1(a)，目前的卡口图像车辆检索过程中，卡口图像数据集中可能存在同一车辆的不同图像，其中某些图像的车辆的姿势、被遮挡程度、在原图像中的比例大小和被拍摄时车辆的照明条件等各不相同，为卡口图像车辆检索带来难度。参见图1(b)卡口图像数据集可能出现负样本远远超过正样本的情况，边界线右侧为负样本，边界线左侧为正样本，影响搜索性能。实施例1，参见图2、图3、图4、图5、图6，一种卡口图像车辆检索方本文档来自技高网...

【技术保护点】
1.一种卡口图像车辆检索方法,其特征在于：采集的卡口图像输入卡口图像车辆检索模型，获得卡口图像数据库中与所述采集的卡口图像车辆相同的卡口图像；其中，所述卡口图像车辆检索模型用于提取输入卡口图像车辆的关键点，利用所述关键点提取车辆图像块，根据车辆图像块的输出特征图检索获得与输入卡口图像车辆相同的卡口图像。

【技术特征摘要】
1.一种卡口图像车辆检索方法,其特征在于：采集的卡口图像输入卡口图像车辆检索模型，获得卡口图像数据库中与所述采集的卡口图像车辆相同的卡口图像；其中，所述卡口图像车辆检索模型用于提取输入卡口图像车辆的关键点，利用所述关键点提取车辆图像块，根据车辆图像块的输出特征图检索获得与输入卡口图像车辆相同的卡口图像。2.根据权利要求1所述的一种卡口图像车辆检索方法，其特征在于：所述卡口图像车辆检索模型由检测网络、车辆关键点定位网络、车辆图像块编码网络组成，所述检测网络用于提取卡口图像中的车辆潜在区域，所述车辆关键点定位网络用于提取车辆潜在区域中车辆的关键点，利用所述关键点提取车辆图像块，所述车辆图像块编码网络用于提取所述车辆图像块的输出特征图，使得查询车辆的输出特征图和卡口图像数据库中相同车辆的输出特征图的差异小于卡口图像数据库中其它车辆的输出特征图，从而检索得到卡口图像数据库中和查询车辆来自相同车辆的其它图片。3.根据权利要求2所述的一种卡口图像车辆检索方法，其特征在于：所述的车辆关键点定位网络由关键点预测网络、全局信息预测网络、信息融合网络组成，所述关键点预测网络用于获取车辆潜在区域中车辆的关键点预测信息；所述全局信息预测网络用于获取影响车辆的关键点预测信息的全局信息；所述信息融合网络用于融合关键点预测信息和全局信息，提取车辆潜在区域中车辆的关键点，利用所述关键点提取车辆图像块；其中在训练阶段，查询车辆的图像为正样本，其它车辆的为负样本。4.根据权利要求3所述的一种卡口图像车辆检索方法，其特征在于：所述的获取车辆潜在区域中车辆的关键点预测信息，包括采用神经网络，满足以下一种或组合条件：4.1)关键点的预测位置与实际位置之间的均方误差(MSE)损失函数：其中表示关键点u的第u个预测热图中最大激活值的位置，yu是关键点u的实际位置，U是关键点u的总个数；4.2)限制关键点预测位置间距与实际位置间距的差距:其中是预测的第u和第v个关键点预测位置之间的距离，du，v是相应的第u和第v个关键点实际位置之间的距离。5.根据权利要求3所述的一种卡口图像车辆检索方法，其特征在于：所述获取影响车辆的关键点预测信息的全局信息，具体为根据全局影响因素获取对应的全局信息Ψ＝{a，s，t}，其中a、s、t为全局影响因素，分别表示摄像机视图、车辆的规模、车辆的类型，所述摄像机视图采用摄像机的俯仰、平扫和旋转角度来描述。6.根据权利要求3所述的一种卡口图像车辆检索方法，其特征在于：所述融合关键点预测信息和全局信息，可以表示为：其中b(u)是第u个关键点的相邻...

【专利技术属性】
技术研发人员：钱小鸿，陈涛，李建元，田彦，虞世豪，
申请(专利权)人：银江股份有限公司，
类型：发明
国别省市：浙江,33