一种基于栅格卷积网络的车辆姿态检测方法技术

本发明专利技术公开了一种基于栅格卷积网络的车辆姿态检测方法，包括建立合作网络进行目标检测网络训练、目标检测网络参数初始化后，采集标准图像作为训练样本送入检测网络A和常规网络B得到结果A和结果B进行训练、利用栅格卷积层替换姿态估计网络后面的连接层得到栅格卷积网络和更新合作网络模型这几个步骤，本发明专利技术利用摄像头采集到的图像信息对其中拍摄到的车辆进行检测，应用栅格卷积网络的车辆姿态检测方法确定其位置和姿态信息，在保留单方向权重独立的前提下对其垂直方向的权重采取共享的方式，既能解决透视歧义的影响，又能成倍降低网络中的参数含量，使得网络更加鲁棒，真正实现自动化目标车辆姿态感知，为自动驾驶提高精确信息。

【技术实现步骤摘要】
一种基于栅格卷积网络的车辆姿态检测方法
本专利技术涉及计算机视觉领域，特别涉及一种基于栅格卷积网络的车辆姿态检测方法。
技术介绍
车辆姿态信息在人类驾驶汽车时同样是重要的决策依据之一，人脑利用视觉信息判断前方车辆的姿态，如果其朝向不与车道线平行，可以预见其必然发生转向和侧移，更大的转角可能意味着车辆将要掉头等等，同时观察前方车辆朝向是否改变也是判断自身车辆能否安全超车的重要依据，车辆位姿信息可作为语义地图中的重要动态语义信息；在足够数量在线地图众包车辆的参与下，实时的城市车辆位姿语义信息就可以较完整地获得，这种语义信息可为交通管制部门提供宏观车辆流量预测的依据，同时也可帮助其对交通流量进行疏导，提高城市交通运行效率。目前实现自动化目标车辆姿态感知的解决方案之一是利用摄像头采集到的图像信息对其中拍摄到的车辆进行检测，确定其位置和姿态信息，不需要额外的传感器，部署成本较低，但是其中也面临挑战和不足：一方面是精确度上的不足，另一方面就是运算速度的不足。精度决定着信息的可靠程度，足够精确的位姿信息才能为驾驶决策提供可靠的依据，从而实现安全驾驶，大误差甚至错误的信息可能导致决策错误进而酿成事故；另一方面是运算速度，这是决定智能驾驶系统反应速度的因素，如果算法运行过慢，智能驾驶系统自然就无法及时察觉环境的变化，无法做出及时的反应，这对于汽车行驶这种高速应用场景是非常致命的，如果算法的时间复杂度越低，就能在不牺牲实时性的前提下将算法部署在性能更低，更便宜的硬件平台之上，如果能克服精度上和运算速度的不足，不仅可以节约硬件成本，种廉价平台的功耗往往更低，还可以更强地适应恶劣环境，比如工控机就是降低性能提高环境适应力的硬件平台案例，会使得整个智能驾驶系统更加廉价和可靠，增强其实用性和可靠性。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于栅格卷积网络的车辆姿态检测方法，同时检测场景中车辆以及其行驶姿态，为自动安全驾驶提供精确的位姿信息，为驾驶决策提供可靠的依据。本专利技术的目的是通过以下技术方案来实现的：一种基于栅格卷积网络的车辆姿态检测方法，具体包括以下步骤：S1、建立合作网络进行目标检测网络训练，所述合作网络包括检测网络A和常规网络B；S2、目标检测网络参数初始化后，采集标准图像作为训练样本送入检测网络A和常规网络B得到结果A和结果B进行训练，检测网络A进行检测训练，常规网络B进行常规的检测和姿态估计训练，取检测网络A的检测结果作为最终结果的检测部分，取常规网络B中与A结果中位置对应的姿态估计结果作为最终结果的姿态估计部分建立姿态估计网络；S3、利用栅格卷积层替换姿态估计网络后面的连接层得到栅格卷积网络，用于加强对于不同视角下姿态估计问题的处理能力；S4、更新合作网络模型，使用损失函数将分类、检测、和姿态回归加权合成单个值的方式进行端到端训练。进一步地，所述的姿态估计网络设有两层格栅卷积网络层，卷积方向为纵向，第一层卷积核为3x3，stride为3，激活函数选择ELU，第二层卷积核为1x1，stride为1，无激活函数。进一步地，所述栅格卷积层的单张特征图由多个卷积核卷积得到，所述单张特征图上的卷积核个数计算公式为：Kernelcount=(inputwidth-kernelsizewidth)/stride+1所述kernelcount卷积核在输入中的水平位置为：location_x^i=stride*(i-1)其中i表示第i个卷积核，所述多个卷积核只在纵向上卷积，最终的输出大小与传统卷积完全相同。进一步地，所述合作网络输入大小设置为480x300，3通道结构，输入的标准图像的像素值归一化到[-1,1]，所述合作网络接接14层卷积层，所述卷积层连接接batchnormalization层，选用ELU作为激活函数，所述卷积层的第8、10、12、14层的特征图接入定位、分类和姿态估计网络。进一步地，所述的检测网络A与分路网络中的检测通路等价，由一路卷积网络单独为检测提供特征，所述的常规网络B相对于分路网络中的姿态估计融合检测和姿态估计两种特征。进一步地，所述的合作网络使用的损失函数为：L(x,c,l,g)=1/N(L_conf(x,c)+αL_(loc)(x,l,g)+βL_orien(x,θ_p,θ_g))，将分类、检测、姿态回归三种loss加权合成单个值,对合作网络进行端到端训练。本专利技术的有益效果是：1）本专利技术提出栅格卷积网络作为新的卷积方式和新的网络结构，为人类自动驾驶汽车时提供精确的车辆姿态信息作为决策依据，车辆位姿建模算法对车辆姿态检测问题运用深度学习方法实现了效果良好的车辆姿态检测网络。2）本专利技术提出的栅格卷积的方式，在保留单方向权重独立的前提下对其垂直方向的权重采取共享的方式，加强了对于不同视角下姿态估计问题的处理能力，这样既能解决透视歧义的影响，又能成倍降低网络中的参数含量，使得网络更加鲁棒，减少过拟合现象的发生几率。3）节约了硬件成本，另一方面这种廉价平台的功耗往往更低，对恶劣环境的适应性更强，会使得整个智能驾驶系统更加廉价和可靠，增强其实用性。附图说明图1为本专利技术方法的流程图；图2为本专利技术格栅卷积网络结构图；图3为本专利技术平行格栅卷积网络结构图；图4为本专利技术合作网络结构图。具体实施方式下面将结合实施例，对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参阅图1-4，本专利技术提供一种技术方案：如图1所示，本专利技术提供一种基于栅格卷积网络的车辆姿态检测方法，具体包括以下步骤：第一步，建立合作网络进行目标检测网络训练，所述合作网络包括检测网络A和常规网络B；第二步，如图4所示，目标检测网络参数初始化后，采集标准图像inputImage作为训练样本送入检测网络A和常规网络B得到结果A和结果B进行训练，检测网络A进行检测训练，常规网络B进行常规的检测和姿态估计训练，取检测网络A的检测结果作为最终结果的检测部分，取常规网络B中与A结果中位置对应的姿态估计结果作为最终结果FinalResult的姿态估计部分建立姿态估计网络；第三步、利用栅格卷积层Convolutional替换姿态估计网络后面的连接层得到栅格卷积网络ConvolutionalNetwork，用于加强对于不同视角下姿态估计问题的处理能力；S4、更新合作网络模型，使用损失函数将分类、检测、和姿态回归加权合成单个值的方式进行端到端训练。本专利技术的技术方案中，使用的深度神经网络是栅格卷积网络，输入大小480x300，3通道，输入图像的像素值归一化到[-1,1]，后面接14层卷积层，为了加快模型收敛以及模型精度，每层接batchnormalization层，激活函数选用ELU，相比于ReLU函数，在输入为负数的情况下，是有一定的输出的，而且这部分输出还具有一定的抗干扰能力，这样可以消除ReLU死掉的问题，卷积层的第8、10、12、14层的特征图featuremap接入定位、分类和姿态估计网络。所述的姿态估计网络设有两层格栅卷积网络层，卷积方向为纵向，第一层卷积核为3x3，stride本文档来自技高网...

【技术保护点】
1.一种基于栅格卷积网络的车辆姿态检测方法，其特征在于，具体包括以下步骤：S1、建立合作网络进行目标检测网络训练，所述合作网络包括检测网络A和常规网络B；S2、目标检测网络参数初始化后，采集标准图像作为训练样本送入检测网络A和常规网络B得到结果A和结果B进行训练，检测网络A进行检测训练，常规网络B进行常规的检测和姿态估计训练，取检测网络A的检测结果作为最终结果的检测部分，取常规网络B中与A结果中位置对应的姿态估计结果作为最终结果的姿态估计部分建立姿态估计网络；S3、利用栅格卷积层替换姿态估计网络后面的连接层得到栅格卷积网络，用于加强对于不同视角下姿态估计问题的处理能力；S4、更新合作网络模型，使用损失函数将分类、检测、和姿态回归加权合成单个值的方式进行端到端训练。

【技术特征摘要】
1.一种基于栅格卷积网络的车辆姿态检测方法，其特征在于，具体包括以下步骤：S1、建立合作网络进行目标检测网络训练，所述合作网络包括检测网络A和常规网络B；S2、目标检测网络参数初始化后，采集标准图像作为训练样本送入检测网络A和常规网络B得到结果A和结果B进行训练，检测网络A进行检测训练，常规网络B进行常规的检测和姿态估计训练，取检测网络A的检测结果作为最终结果的检测部分，取常规网络B中与A结果中位置对应的姿态估计结果作为最终结果的姿态估计部分建立姿态估计网络；S3、利用栅格卷积层替换姿态估计网络后面的连接层得到栅格卷积网络，用于加强对于不同视角下姿态估计问题的处理能力；S4、更新合作网络模型，使用损失函数将分类、检测、和姿态回归加权合成单个值的方式进行端到端训练。2.根据权利要求1所述的基于栅格卷积网络的车辆姿态检测方法，其特征在于：所述的姿态估计网络设有两层格栅卷积网络层，卷积方向为纵向，第一层卷积核为3x3，stride为3，激活函数选择ELU，第二层卷积核为1x1，stride为1，无激活函数。3.根据权利要求2所述的基于栅格卷积网络的车辆姿态检测方法，其特征在于：所述栅格卷积层的单张特征图由多个卷积核卷积得到，所述单张特征图上的卷积核个数计算公式为：Kernelcount=(inputwidth-...

【专利技术属性】
技术研发人员：程洪，牛靖博，赵子轩，赵洋，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51