基于双线性模型多层特征融合的细粒度车型识别方法技术

本发明专利技术公开一种基于双线性模型多层特征融合的细粒度车型识别方法，包括如下步骤：(10)第一层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，将参数矩阵分解为两个一阶向量；(20)第二层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，将参数矩阵分解为两个一阶向量；(30)层间互相关信息提取：根据双线性模型卷积层各层间卷积特征，提取不同卷积层间的层间互相关信息双线性特征，将参数矩阵分解为两个一阶向量；(40)多层特征融合：融合多层特征，得到车型细粒度特征。本发明专利技术的细粒度车型识别方法，计算复杂度低、准确性高。

Fine grained vehicle recognition method based on multi-level feature fusion of bilinear model

【技术实现步骤摘要】
基于双线性模型多层特征融合的细粒度车型识别方法
本专利技术属于智能图像识别
，特别是一种具基于双线性模型多层特征融合的细粒度车型识别方法。
技术介绍
细粒度车型识别是对同一大类下不同子类别车型进行更加精细化的分类。其目的是对任意角度及场景下的车辆图像判断出车辆生产厂商、车辆型号等具体信息。利用细粒度车型识别技术可以在自动驾驶领域对路况进行更好的分析，同时交警也能过通过细粒度车型识别更方便的对违章车辆进行排查。除此之外，细粒度车型识别在其他许多领域也具有广泛的应用价值，例如路段交通流量监测分析、车辆销售辅助分析和道路视频监控等。细粒度车型识别方法主要集中在以下两个方面：车辆的目标检测和对检测目标的分类。首先通过目标检测算法对车辆的前脸、大灯等部件进行定位，接着分别对每个部件提取特征，最后将所有部件的特征综合起来对目标车辆进行分类。其中根据使用的是手工设计的特征还是卷积神经网络特征，可以将细粒度车型识别方法分为基于手工特征和基于深度卷积特征两大类。由于细粒度图像研究的目标在视觉上非常相似，带有区分性的信息往往存在于细小的局部区域，因此早期很多方法采用人为设计的特征对输入车辆图片先进行目标检测，之后再提取特征进行分类。但总体而言，手工设计的特征对于最终分类而言未必是最优的，且在复杂场景下很难准确对车辆进行检测，因而泛化能力不强。近年来随着硬件计算能力的提升和深度学习技术的快速发展，一些国内外学者开始借助卷积神经网络优异的特征提取能力开展细粒度车型识别的研究。基于深度卷积特征的方法在细粒度车型识别任务上取得了显著成果，但是卷积神经网络针对部件的检测非常耗时，模型的计算复杂度很高，这对于大规模图像分析任务而言是致命的。因此，现有技术存在的问题是：细粒度车型识别计算复杂度高、准确度低。
技术实现思路
本专利技术的目的在于提供一种基于双线性模型多层特征融合的细粒度车型识别方法，计算复杂度低、准确性高。实现本专利技术目的的技术方案为：一种基于双线性模型多层特征融合的细粒度车型识别方法，包括如下步骤：(10)第一层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；(20)第二层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；(30)层间互相关信息提取：根据双线性模型卷积层各层间卷积特征，提取不同卷积层间的层间互相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；(40)多层特征融合：采用成对跨层交互的双线性池化和单个跨层交互的双线性池化，融合多层特征，得到车型细粒度特征。与现有技术相比，本专利技术的显著优点为：1、计算复杂度低：本专利技术采用B-CNN模型完成端到端的分类，避免了对局部区域的检测，简化了网络模型，降低了计算复杂度；2、准确性高：本专利技术基于B-CNN提取局部细节特征，基于跨层双线性池化方法，将各卷积层的层间交互信息、层内自相关信息进行融合，充分利用中间卷积层激活，获得更加鲁棒的特征表达，提高了细粒度车型识别的准确率。附图说明图1为本专利技术基于双线性模型多层特征融合的细粒度车型识别方法的主流程图。图2为图1中第一层层内自相关信息提取步骤的流程图。图3为图1中第二层层内自相关信息提取步骤的流程图。图4为图1中层间互相关信息提取步骤的流程图。图5为图1中多层特征融合步骤的流程图。图6为VGG-16上双线性融合的网络结构图。图7为不同维度对精度的影响对比图。具体实施方式如图1所示，本专利技术基于双线性模型多层特征融合的细粒度车型识别方法，包括如下步骤：(10)第一层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；如图2所示，所述(10)第一层的层内自相关信息提取步骤包括：(11)第一层层内双线性特征表示：第一层的层内自相关信息C×C维的双线性特征表示为，bilinear(l,I,fA,fA)＝fA(l,I)TfA(l,I)＝XTX(1)式中，X为第一层卷积层提取的特征记，维度为C×M，x表示X在某一位置的特征分量，即卷积神经网络某一通道的特征向量；(12)第一层层内双线性特征表示输出：完整的双线性模型为：zi＝xTWix(2)其中Wi∈Rc×c为投影矩阵，zi为该位置B-CNN的双线性特征表示输出；(13)投影矩阵分解：将投影矩阵Wi分解为两个一阶向量：其中Ai∈Rc；(14)层内自相关信息输出：学习张量表示W＝[W1,W2,...,Wo]∈Rc×c×o，获得第一层卷积层的层内自相关信息，o维输出z∈Ro：其中A∈Rc×d为投影矩阵，P∈Rd×o是分类矩阵，是Hadamard积，d则是决定联合嵌入维数的超参数。(20)第二层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；如图3所示，所述(20)第二层层内自相关信息提取步骤包括：(21)第二层层内双线性特征表示：第二层的层内自相关信息C×C维的双线性特征表示为，bilinear(l,I,fA,fA)＝fA(l,I)TfA(l,I)＝YTY(5)式中，第二层卷积层提取的特征记为Y，维度为C×N，y表示Y在某一位置的特征分量；(22)第二层层内双线性特征表示输出：完整的双线性模型为：zi＝yTWiy(6)其中Wi∈Rc×c为投影矩阵，zi为该位置B-CNN的双线性特征表示输出。(23)第二层投影矩阵分解：将投影矩阵Wi分解为两个一阶向量，其中Bi∈Rc。(24)第二层层内自相关信息输出：学习张量表示W＝[W1,W2,...,Wo]∈Rc×c×o，获得第二层卷积层的层内自相关信息，o维输出z∈Ro：其中B∈Rc×d为投影矩阵，P∈Rd×o是分类矩阵，是Hadamard积，d则是决定联合嵌入维数的超参数。(30)层间互相关信息提取：根据双线性模型卷积层各层间卷积特征，提取不同卷积层间的层间互相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；如图4所示，所述(30)层间互相关信息提取步骤包括：(31)层间互相关信息获取：层间互相关信息XTY、YTX是对不同卷积层提取到的两个特征求外积，bilinear(l,I,fA,fB)＝fA(l,I)TfB(l,I)＝XTY(9)bilinear(l,I,fA,fB)＝fB(l,I)TfA(l,I)＝YTX(10)其中，fA、fB提取到的两个相邻卷积层的特征记为X和Y，维度分别为C×M和C×N，x和y分别表示X和Y在同一位置处的特征分量，即卷积神经网络同一通道的特征向量；(32)层间双线性模型输出：完整的双线性模型分别为：zi＝xTWiy(11)zi＝yTWix(12)其中Wi∈Rc×c为投影矩阵，zi为该位置B-CNN的双线性特征表示输出；(33)层间投影矩阵分解：将投影矩阵Wi分别分解为两个一阶向量：其中Ai∈Rc、Bi∈Rc、(34)层间互相关信息输出：学习张量表示W＝[W1,W2,...,Wo]∈Rc×c×o，获得层间互相关信息XTY、YTXo维本文档来自技高网...

【技术保护点】
1.一种基于双线性模型多层特征融合的细粒度车型识别方法，其特征在于，包括如下步骤：(10)第一层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；(20)第二层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；(30)层间互相关信息提取：根据双线性模型卷积层各层间卷积特征，提取不同卷积层间的层间互相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；(40)多层特征融合：采用成对跨层交互的双线性池化和单个跨层交互的双线性池化，融合多层特征，得到车型细粒度特征。

【技术特征摘要】
1.一种基于双线性模型多层特征融合的细粒度车型识别方法，其特征在于，包括如下步骤：(10)第一层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；(20)第二层层内自相关信息提取：根据双线性模型卷积层各层内卷积特征，提取层内自相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；(30)层间互相关信息提取：根据双线性模型卷积层各层间卷积特征，提取不同卷积层间的层间互相关信息双线性特征，同时采用分解双线性池化将参数矩阵分解为两个一阶向量；(40)多层特征融合：采用成对跨层交互的双线性池化和单个跨层交互的双线性池化，融合多层特征，得到车型细粒度特征。2.根据权利要求1所述的细粒度车型识别方法，其特征在于，所述(10)第一层的层内自相关信息提取步骤包括：(11)第一层层内双线性特征表示：第一层的层内自相关信息C×C维的双线性特征表示为，bilinear(l,I,fA,fA)＝fA(l,I)TfA(l,I)＝XTX(1)式中，X为第一层卷积层提取的特征记，维度为C×M，x表示X在某一位置的特征分量，即卷积神经网络某一通道的特征向量；(12)第一层层内双线性特征表示输出：完整的双线性模型为：zi＝xTWix(2)其中Wi∈Rc×c为投影矩阵，zi为该位置B-CNN的双线性特征表示输出；(13)投影矩阵分解：将投影矩阵Wi分解为两个一阶向量：其中Ai∈Rc；(14)层内自相关信息输出：学习张量表示W＝[W1,W2,...,Wo]∈Rc×c×o，获得第一层卷积层的层内自相关信息，o维输出z∈Ro：其中A∈Rc×d为投影矩阵，P∈Rd×o是分类矩阵，是Hadamard积，d则是决定联合嵌入维数的超参数。3.根据权利要求1所述的细粒度车型识别方法，其特征在于，所述(20)第二层层内自相关信息提取步骤包括：(21)第二层层内双线性特征表示：第二层的层内自相关信息C×C维的双线性特征表示为，bilinear(l,I,fA,fA)＝fA(l,I)TfA(l,I)＝YTY(5)式中，第二层卷积层提取的特征记为Y，维度为C×N，y表示Y在某一位置的特征分量；(22)第二层层内双线性特征表示输出：完整的双线性模型为：zi＝yTWiy(6)其中Wi∈...

【专利技术属性】
技术研发人员：龚声蓉，戴兴华，王朝晖，刘纯平，钟珊，
申请(专利权)人：常熟理工学院，
类型：发明
国别省市：江苏,32