一种基于多任务卷积神经网络的前方车辆参数识别方法技术

本发明专利技术公开了一种基于多任务卷积神经网络的车辆多参数识别方法，包括以下步骤：卷积神经网络结构的设计及训练；基于卷积神经网络的车辆参数识别。本发明专利技术采用卷积神经网络，使原始数据通过简单而非线性的模型转变成为更抽象的高层表达。因此，卷积神经网络能够从大量的训练样本中学习到反映待识别目标本质的隐性特征；相比浅层学习分类器，具有更强的可扩展性，满足交通环境中的多类目标的识别，识别精度也更高。尤其应用于复杂的交通环境当中，本发明专利技术体现出很强的抗环境干扰能力。本发明专利技术将卷积神经网络的应用扩展到车辆的多参数识别，以训练好的卷积神经网络识别图像中车辆的类型特征、位姿信息及车灯状态，增强了车辆潜在行为的可预知性。

【技术实现步骤摘要】

本专利技术属于车辆智能化领域，尤其涉及一种前方车辆参数的识别方法。
技术介绍
交通场景中的车辆识别属于车辆智能化范畴。准确有效地识别车辆参数信息是提高智能车辆和安全辅助驾驶系统(ADAS)智能化程度、实现车辆间防碰撞的关键因素，也是实现对碰撞作出判断和预防的关键前提。车辆参数的识别是指对交通场景图像中的车辆目标进行识别，并获取能够反映前车对本车可能具有影响的信息的过程，以便驾驶员对信息作出预判，防止碰撞的发生。目前前方车辆参数的识别方法通常仅是对车辆的某一特征参数进行识别的。而主流的车辆识别的方法可概括为基于先验特征的方法和基于机器学习的方法。基于先验特征方法一般利用视觉系统获取车辆的固有特征或运动特征，以其作为目标车辆识别算法的约束条件。然而复杂道路场景中噪声的干扰将导致其识别的可靠度和鲁棒性下降，且仅实现对目标车辆是否存在这一层次上的识别。基于机器学习的方法主要是利用分类器对目标进行分类，例如支持向量机(SVMs)、Adaboost等浅层学习模型，通过学习识别车辆与非车辆的判定边界或验证生成的车辆候选区域，同时要求具有良好的特征提取器，且仅能对目标进行复杂的显性特征提取。浅层学习模型有限的层次深度使其仅局限于解决二分类问题，难以应对目标多参数识别的问题，具有不易扩展的局限性。以上描述的现有技术大都仅在目标车辆是否存在这一层次上进行识别，存在车辆参数识别单一化的问题，以致于难以实现多参数的同时获取。
技术实现思路
为解决现有技术存在的上述问题，本专利技术要设计一种环境适应性强、识别精度高及易扩展的基于多任务卷积神经网络的前方车辆多参数的识别方法，以实现提取反映图像中目标本质的多类隐性特征，并实现对前方车辆诸如车型、车灯状态等多信息参数的获取，从而有利于驾驶员更确切地预知目标车辆的潜在行为，预防交通事故的发生。为了实现上述目的，本专利技术以车辆阴影标记区域图像作为卷积神经网络的输入，同时引入目标的显性特征到卷积神经网络的全连接层，以实现车辆多参数的识别。具体技术方案如下：一种基于多任务卷积神经网络的车辆多参数识别方法，包括以下步骤：A、卷积神经网络结构的设计及训练A1、卷积神经网络是一种深度学习理论基础上的权值共享多层神经网络。卷积神经网络的输入图像W为RGB-D图像，即一种包含彩色及深度信息的四通道颜色深度图像。为了修正场景中光照不均、突出图像的边缘特征、加快卷积神经网络训练的快速收敛，将输入图像W进行局部对比度归一化的预处理，表示形式为： I ^ ( i , j ) = I ( i , j ) - μ ( i , j ) σ ( i , j ) + C - - - ( 1 ) ]]>式中：μ、σ分别是以像素点(i,j)为中心的局部小邻域内的像素均值和标准差，所述的局部小邻域大小为2×2～4×4；C是常数；I是像素点(i,j)的灰度值，(i,j)∈W。卷积神经网络的隐含层由4个卷积层组及一层全连接层组成。其中，每个卷积层组都包括卷积操作、线性修正激活函数ReLU修正特征图和平均池化操作。输出层的神经元个数应与待识别目标类别数量相一致。对于隐含层中所有的卷积过程来说，设定它们的卷积核数目均相同，也就有卷积输出的特征图数目相同，而特征图是由相应层的神经元权值共享的神经元集合，每个神经元的输入与前一层的局部感知域相连，并提取该局部感知域的特征。卷积过程的形式表示为： x j l = f ( Σ i ∈ M j x i l - 1 · k i j l + b j l ) - - - ( 2 ) ]]>式中：f(·)是卷积层的激活函数；代表第l卷积层的第j个神经元向量；是当前层的输入神经元；k是卷积核；Mj代表选择的输入特征图的集合；b是偏置。其中，上标l∈{1,3,5,7本文档来自技高网...

【技术保护点】
一种基于多任务卷积神经网络的车辆多参数识别方法，其特征在于：包括以下步骤：A、卷积神经网络结构的设计及训练A1、卷积神经网络是一种深度学习理论基础上的权值共享多层神经网络；卷积神经网络的输入图像W为RGB‑D图像，即一种包含彩色及深度信息的四通道颜色深度图像；为了修正场景中光照不均、突出图像的边缘特征、加快卷积神经网络训练的快速收敛，将输入图像W进行局部对比度归一化的预处理，表示形式为：I^(i,j)=I(i,j)-μ(i,j)σ(i,j)+C---(1)]]>式中：μ、σ分别是以像素点(i,j)为中心的局部小邻域内的像素均值和标准差，所述的局部小邻域大小为2×2～4×4；C是常数；I是像素点(i,j)的灰度值，(i,j)∈W；卷积神经网络的隐含层由4个卷积层组及一层全连接层组成；其中，每个卷积层组都包括卷积操作、线性修正激活函数ReLU修正特征图和平均池化操作；输出层的神经元个数应与待识别目标类别数量相一致；对于隐含层中所有的卷积过程来说，设定它们的卷积核数目均相同，也就有卷积输出的特征图数目相同，而特征图是由相应层的神经元权值共享的神经元集合，每个神经元的输入与前一层的局部感知域相连，并提取该局部感知域的特征；卷积过程的形式表示为：xjl=f(Σi∈Mjxil-1·kijl+bjl)---(2)]]>式中：f(·)是卷积层的激活函数；代表第l卷积层的第j个神经元向量；是当前层的输入神经元；k是卷积核；Mj代表选择的输入特征图的集合；b是偏置；其中，上标l∈{1,3,5,7}表示隐含层层数索引号，下标i、j＝1,2,3,……，表示第l或l‑1层的神经元索引号；池化操作的形式表示为：xjl=g(βjl·pool(xjl-1)+bjl)---(3)]]>式中：g(.)是池化层的激活函数；pool(·)是池化函数，表示对前一层图像的一个n×n的区域求和；β是权值，b是偏置，每一个输出的特征图都对应一个权值和偏置；其中，上标l∈{2,4,6}表示层数索引号，下标j＝1,2,3,……，表示第l或l‑1层的神经元索引号；A2、卷积神经网络采用离线训练的方式进行训练，训练样本图像为基于车载RGB‑D视觉系统采集到的具有深度信息的彩色图像；训练前初始化所有的权值为的随机数[‑a,a]，a是10‑2数量级的实数；训练分为两个阶段：信号前向传播阶段和误差后向反馈阶段；当卷积神经网络的实际输出值与期望输出值的误差保持在预设范围内即终止卷积神经网络训练，并保存卷积神经网络结构，适用于交通场景的车辆参数识别的多任务卷积神经网络训练完毕；B、基于卷积神经网络的车辆参数识别B1、由卷积神经网络直接识别车辆类型及朝向信息车底阴影是车辆的显著特征之一；采用现有阴影分割的方法获取图像中车辆的阴影候选区域，作为卷积神经网络识别车辆目标的定位区域；由于训练后的卷积神经网络已具备充分的识别性能，能够直接识别出检测图像中车辆的朝向及车型特征，所述的车型特征分别为大型车、中型车、小型车和非机动类车型；将由车底阴影确定的车辆候选区域图像输入到训练好的卷积神经网络中进行车辆识别，以有效减少网络的输入及背景区域的干扰作用，提高识别效率；B2、显性特征辅助卷积神经网络实现灯光状态的识别引入显性特征有效缩减卷积神经网络的参数数目，辅助卷积神经网络完成其他参数的识别与分类，并形成一种多任务卷积神经网络结构；交通场景中，车辆的灯光信号状态是车辆之间进行信息传递的方式；车辆行驶中前车通过车灯状态告知本车此时的行进状态，以避免发生意外；所述的行进状态包括：车尾的制动红灯亮起表示车辆刹车制动；车辆转向黄灯闪烁表示车辆变道或转弯；危险报警闪光灯应开启即左右转向灯同时闪烁表示车辆发生故障；因此，基于车灯状态的不同，推断车辆的行进状态；颜色特征作为物体表面的本质特征之一，在人类视觉感知中是直接并且重要的信息；采用颜色分割的方法分割出颜色信息，将颜色信息输入到卷积神经网络的全连接层进行分类，卷积神经网络结合车辆的朝向识别以“辨别”出识别到的车灯的开启状态；并在识别结果的基础上，继续使用左、右尾灯车灯区域亮度的平均值来比较，如果左侧区域值大于右侧值，则判断是左转；反之亦然；最终识别出车辆的行进状态。...

【技术特征摘要】
1.一种基于多任务卷积神经网络的车辆多参数识别方法，其特征在于：包括以下步骤：A、卷积神经网络结构的设计及训练A1、卷积神经网络是一种深度学习理论基础上的权值共享多层神经网络；卷积神经网络的输入图像W为RGB-D图像，即一种包含彩色及深度信息的四通道颜色深度图像；为了修正场景中光照不均、突出图像的边缘特征、加快卷积神经网络训练的快速收敛，将输入图像W进行局部对比度归一化的预处理，表示形式为： I ^ ( i , j ) = I ( i , j ) - μ ( i , j ) σ ( i , j ) + C - - - ( 1 ) ]]>式中：μ、σ分别是以像素点(i,j)为中心的局部小邻域内的像素均值和标准差，所述的局部小邻域大小为2×2～4×4；C是常数；I是像素点(i,j)的灰度值，(i,j)∈W；卷积神经网络的隐含层由4...

【专利技术属性】
技术研发人员：连静，李琳辉，伦智梅，李红挪，钱波，矫翔，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21