基于全局和局部特征融合的大角度车型识别方法和系统技术方案

本发明专利技术公开一种基于全局和局部特征融合的大角度车型识别方法和系统，当车辆经过车型识别采集区时截取出包含车辆的图像，首先对截取的包含车辆的图像进行裁剪，得到去除复杂背景的车辆图片，将车辆图片分割为车脸图像分块、车尾图像分块和车轮图像分块。再将车辆图片、车脸图像分块、车尾图像分块和车轮图像分块导入到深层多分支卷积神经网络中对车辆的全局和局部特征进行特征训练，并将车辆图片特征和各个分块特征进行特征融合。后通过分类器对融合后的特征进行分类识别。本发明专利技术将大角度车辆的全局和局部特征进行融合，能够明显的提高大角度车型识别的准确率。

【技术实现步骤摘要】
基于全局和局部特征融合的大角度车型识别方法和系统
本专利技术涉及智能识别
，具体涉及一种基于全局和局部特征融合的大角度车型识别方法和系统。
技术介绍
车辆型号识别技术已经成为社会发展的需要，是智能交通系统中的一个重要的研究领域，同时也是人工智能图像识别、图像处理和模式识别研究的热门课题，在智能交通以及犯罪车辆的追踪等方面有着重要的应用价值和研究意义。传统的车辆型号识别总是依托于人工识别和车牌识别，且都使用卡口图片，其中人工识别的方法效率极低，并且识别准确率也不高，车牌识别的方法难以对伪造的车牌、套牌等违法犯罪车辆进行有效的识别。此外，大角度车辆所处的场景多变，车身外观多变，比如颜色、形状、尺寸等，另外每个摄像头拍摄的距离不同，拍摄角度不同都会影响最终车辆的型号识别的结果。
技术实现思路
本专利技术针对现有的车辆型号识别方法存在识别准确率不高的问题，提供一种基于全局和局部特征融合的大角度车型识别方法和系统。为解决上述问题，本专利技术是通过以下技术方案实现的：基于全局和局部特征融合的大角度车型识别方法，包括步骤如下：步骤1、当车辆经过车型识别采集区时，截取出包含车辆的图像；步骤2、对截取的包含车辆的图像进行预处理：步骤2.1、先将获取的图像使用标注框对图像进行裁剪，得到去除复杂背景的车辆图片；步骤2.2、对车辆图片使用目标检测SSD算法分别检测车辆的车脸部分、车尾部分和车轮部分，得到车脸图像分块、车尾图像分块和车轮图像分块；步骤2.3、对车辆图片、车脸图像分块、车尾图像分块和车轮图像分块进行旋转和镜像，用于数据增强，并将增强后的车辆图片、车脸图像分块、车尾图像分块和车轮图像分块裁剪成统一大小，构建车辆数据库；步骤3、将所构建的车辆数据库导入到所述的深层多分支卷积神经网络中对车辆的全局和局部特征进行特征训练；步骤4、将特征训练所得到的车辆图片、车脸图像分块、车尾图像分块和车轮图像分块的特征进行加权特征融合；步骤5、通过分类器对融合后的特征进行分类识别。上述步骤2.2中，目标检测SSD算法的具体步骤如下：步骤2.2.1、输入去除复杂背景的车辆图片，进行前向传播得到车辆的基本特征；步骤2.2.2、在特征的各个位置设置不同大小、不同长宽比的候选区域；步骤2.2.3、将候选区域和真实框进行匹配；步骤2.2.4、通过预测器将每个候选区域的位置偏移量进行预测和类别置信度输出；步骤2.2.5、通过多任务的损失函数经过反向转播计算并调整每个层的权重。上述步骤2.2.5中，多任务的损失函数为位置损失函数和置信度损失函数之和。上述步骤4中，在对特征进行加权特征融合时，车辆图像分块权重系数w1为：w1＝k1/(k1+k2+k3+k4)；车脸图像分块权重系数w2为：w2＝k2/(k1+k2+k3+k4)；车尾图像分块权重系数w3为：w3＝k3/(k1+k2+k3+k4)；车轮图像分块权重系数w4为：w4＝k4/(k1+k2+k3+k4)；其中，k1是车辆图像分块的权重，k2是车脸图像分块的权重，k3是车尾图像分块的权重，k4是车轮图像分块的权重。基于上述方法所设计的一种基于全局和局部特征融合的大角度车型识别系统，由依次连接的视频图像采集模块、车辆图片检测模块、车辆图片分割模块、车辆全局和局部图像特征提取模块、车辆全局和局部图像融合模块、以及大角度车辆型号识别模块组成；视频图像采集模块：用于获取车辆监控视频；车辆图片检测模块：用于对获取的道路交通十字路口监控视频中的车辆进行检测，并且截取出视频监控中的车辆；车辆图片分割模块：用于检测车辆的车脸、车尾、车轮部分，将车辆的车脸、车尾、车轮部分进行分割。车辆全局和局部图像特征提取模块；通过深度多分支卷积神经网络分别对整车图像，车脸图像分块、车尾图像分块、车轮图像分块进行特征提取；车辆全局和局部图像融合模块；然后将各个分支提取的特征进行特征融合，从而能够获取车辆更丰富的特征。大角度车辆型号识别模块：用于对融合后的特征对大角度车辆型号进行识别，从而识别出车辆测试库中车辆的型号。上述方案中，视频图像采集模块为设置在4个对角线上的4台高清摄像机。与传统的车型识别方法相比，本专利技术对车辆进行局部分割，通过深层多分支卷积神经网络将全局和局部特征进行提取、融合和分类，使得在识别准确率方面有很大的提升。附图说明图1为基于全局和局部特征融合的大角度车型识别方法流程图。图2为一种基于全局和局部特征融合的大角度车型识别系统结构图。图3为深层多分支卷积神经网络结构图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本专利技术进一步详细说明。如图1所示，一种基于全局和局部特征融合的大角度车型识别方法和系统，具体步骤如下：步骤S1：当车辆经过车型识别采集区(道路交通十字路口)时，定位车辆的位置，并且截取出包含车辆的图像。步骤S2：对截取的包含车辆的图像进行预处理。步骤S21：获取道路交通十字路口包含车辆图片的信息。步骤S22：将获取的图像使用标注框对图像进行裁剪，得到去除复杂背景的车辆图片。步骤S23：得到车辆图片之后，使用目标检测SSD算法分别检测车辆的车脸部分、车尾部分和车轮部分，得到车脸图像分块、车尾图像分块、车轮图像分块。所述目标检测SSD算法具体包括：(1)输入去除复杂背景的车辆图片，进行前向传播得到车辆的基本特征；(2)在特征的各个位置设置不同大小、不同长宽比的候选区域；(3)将候选区域和真实框进行匹配；(4)通过预测器将每个候选区域的位置偏移量预测和类别置信度输出；(5)通过多任务的损失函数经过反向转播计算并调整每个层的权重。其中多任务损失函数为位置损失函数(lloc)和置信度损失函数(lconf)的和。多任务损失函数公式如下：其中，N代表匹配的候选框区域的个数，代表权重因子。置信度损失函数公式如下：其中，c表示置信度。位置损失函数公式如下：其中，l代表预测框，g代表真实值，d代表候选区域框，(cx，cy)代表中心点，宽为w，高为h。步骤S24：将车辆图片、车脸图像分块、车尾图像分块、车轮图像分块分别进行旋转和镜像，用于数据增强，对增强后的车辆图片和各个分块图片裁剪成统一大小，构建车辆数据库。步骤S3：构建深层多分支卷积神经网络，将车辆图片、车脸图像分块、车尾图像分块、车轮图像分块导入到所述的深层多分支卷积神经网络中对车辆的全局和局部特征进行特征训练，然后将车辆图片特征和各个分块特征进行特征融合。所述的深层多分支卷积神经网络如图3所示，其具体包括：车辆图片分支依次连接的卷积层Conv1、池化层Pool1、卷积层Conv2、池化层Pool2、卷积层Conv3、池化层Pool3、卷积层Conv4、池化层Pool4,车脸图像分块分支依次连接的卷积层Conv5、池化层Pool5、卷积层Conv6、池化层Pool6、卷积层Conv7、池化层Pool7、卷积层Conv8、池化层Pool8，车尾图像分块分支依次连接的卷积层Conv9、池化层Pool9、卷积层Conv10、池化层Pool10、卷积层Conv11、池化层Pool11、卷积层Conv12、池化层Pool12，车轮图像分块分支依次连接的卷积层Conv13、池化层Pool13、卷积层Conv14、池化层Pool14、卷积本文档来自技高网...

【技术保护点】
1.基于全局和局部特征融合的大角度车型识别方法，其特征是，包括步骤如下：步骤1、当车辆经过车型识别采集区时，截取出包含车辆的图像；步骤2、对截取的包含车辆的图像进行预处理：步骤2.1、先将获取的图像使用标注框对图像进行裁剪，得到去除复杂背景的车辆图片；步骤2.2、对车辆图片使用目标检测SSD算法分别检测车辆的车脸部分、车尾部分和车轮部分，得到车脸图像分块、车尾图像分块和车轮图像分块；步骤2.3、对车辆图片、车脸图像分块、车尾图像分块和车轮图像分块进行旋转和镜像，并将增强后的车辆图片、车脸图像分块、车尾图像分块和车轮图像分块裁剪成统一大小，构建车辆数据库；步骤3、将所构建的车辆数据库导入到所述的深层多分支卷积神经网络中对车辆的全局和局部特征进行特征训练；步骤4、将特征训练所得到的车辆图片、车脸图像分块、车尾图像分块和车轮图像分块的特征进行加权特征融合；步骤5、通过分类器对融合后的特征进行分类识别。

【技术特征摘要】
1.基于全局和局部特征融合的大角度车型识别方法，其特征是，包括步骤如下：步骤1、当车辆经过车型识别采集区时，截取出包含车辆的图像；步骤2、对截取的包含车辆的图像进行预处理：步骤2.1、先将获取的图像使用标注框对图像进行裁剪，得到去除复杂背景的车辆图片；步骤2.2、对车辆图片使用目标检测SSD算法分别检测车辆的车脸部分、车尾部分和车轮部分，得到车脸图像分块、车尾图像分块和车轮图像分块；步骤2.3、对车辆图片、车脸图像分块、车尾图像分块和车轮图像分块进行旋转和镜像，并将增强后的车辆图片、车脸图像分块、车尾图像分块和车轮图像分块裁剪成统一大小，构建车辆数据库；步骤3、将所构建的车辆数据库导入到所述的深层多分支卷积神经网络中对车辆的全局和局部特征进行特征训练；步骤4、将特征训练所得到的车辆图片、车脸图像分块、车尾图像分块和车轮图像分块的特征进行加权特征融合；步骤5、通过分类器对融合后的特征进行分类识别。2.根据权利要求1所述的基于全局和局部特征融合的大角度车型识别方法，其特征是，步骤2.2中，目标检测SSD算法的具体步骤如下：步骤2.2.1、输入去除复杂背景的车辆图片，进行前向传播得到车辆的基本特征；步骤2.2.2、在特征的各个位置设置不同大小、不同长宽比的候选区域；步骤2.2.3、将候选区域和真实框进行匹配；步骤2.2.4、通过预测器将每个候选区域的位置偏移量进行预测和类别置信度输出；步骤2.2.5、通过多任务的损失函数经过反向转播计算并调整每个层的权重。3.根据权利要求2所述的基于全局和局部特征融合的大角度车型识别方法，其特征是，步骤2.2.5中，多任务的损失函数为位置损失函数和置信度损失函数之...

【专利技术属性】
技术研发人员：蒋行国，万今朝，李海鸥，李琦，张法碧，肖功利，陈永和，傅涛，孙堂友，蔡晓东，苏欣欣，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西,45