一种基于栅格卷积神经网络的车辆姿态检测方法及系统技术方案

本发明专利技术涉及一种基于栅格卷积神经网络的车辆姿态检测方法及系统，方法利用SSD网络，采用部分连接网络改进了传统的姿态检测网络，构建了栅格卷积，并基于栅格卷积设计出栅格卷积神经网络，通过将车载相机采集的数据分为训练数据集和测试数据集，对栅格卷积神经网络的训练，以对待检测的图像生成若干候选图像区域，通过栅格卷积神经网络模型的特征提取和分类判断候选区域中是否存在车辆；最后对判断存在车辆的候选区域进行窗口融合，得到精确的车辆目标位置和姿态信息。与现有技术相比，本发明专利技术具有提高模型的鲁棒性，提高模型单方向提取特能的能力，高速且高精度完成车辆姿态检测等优点。

A Vehicle Attitude Detection Method and System Based on Grid Convolution Neural Network

【技术实现步骤摘要】
一种基于栅格卷积神经网络的车辆姿态检测方法及系统
本专利技术涉及机器视觉
，尤其是涉及一种基于栅格卷积神经网络的车辆姿态检测方法及系统。
技术介绍
随着科技和经济的快速发展，汽车已经成为人们日常出行的重要交通工具。与此同时，越来越多的交通事故为社会的健康发展带来了不小的压力，数据表明一定比例的交通事故是由于驾驶员对周围车辆的行驶状况估计不足而导致，而车辆的姿态信息可以为驾驶员提供重要的数据参考。车辆姿态信息在人类驾驶汽车时同样是重要的决策依据之一。人脑利用视觉信息判断前方车辆的姿态，如果其朝向不与车道线平行，可以预见其必然发生转向或侧移，更大的转角可能意味着车辆将要掉头等等。同时观察前方车辆朝向是否改变也是判断自身车辆能否安全超车的重要依据。现有的车辆姿态检测方法利用摄像头采集到的图像信息对其中拍摄到的车辆进行检测，确定其位置和姿态信息是实现自动化目标车辆姿态感知的解决方案之一，且不需要额外的传感器，部署成本较低。传统的车辆姿态检测方法采用估计网络，多采用卷积层进行分类或回归，但这种全连接网络的参数量巨大，难以训练。此外，检测方法的精度决定着信息的可靠程度，足够精确的位姿信息才能为驾驶决策提供可靠的依据，从而实现安全驾驶。然而其中的挑战一方面是精确度，另一方面就是运算速度，现有的车辆姿态检测方法的精确度及运算速度仍不够高，无法满足实际需要。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于栅格卷积神经网络的车辆姿态检测方法及系统。本专利技术的目的可以通过以下技术方案来实现：一种基于栅格卷积神经网络的车辆姿态检测方法，该方法包括下列步骤：步骤一、构建带有标注信息的车辆姿态信息数据：通过车载相机录制视频，并对所拍摄的视频进行筛选，将视频转换为图片序列后，采用人工标注方法将图像中车辆的姿态信息用6D坐标标出，即3D坐标x，y，z和3D空间姿态角pitch，yaw，roll。步骤二、搭建SSD神经网络模型，并在回归分类层中构建姿态估计卷积层。步骤三、将SSD神经网络中用于姿态估计的卷积层替换为部分连接层。步骤四、构建栅格卷积层及栅格网络：传统的卷积方法都是对整个卷积层进行卷积，由于本专利技术所应用的是车辆姿态检测，而卷积层往往在横向上的特征比较丰富。基于此，本专利技术构建栅格卷积，即只对卷积层的某一方向进行卷积。栅格卷积的单张特征图由多个卷积核卷积得到，卷积核个数由卷积方向和输入大小决定。对于同一个栅格卷积层，可以有多个特征图，但所有特征图的卷积方向保持一致(全横向或全纵向)。栅格卷积将不同卷积层上同一方向的特征，拼接到同一卷积层上。在保留单方向(横向或纵向)权重独立的前提下对栅格卷积层垂直方向的权重采取共享方式，并利用栅格卷积层替换部分连接层得到栅格卷积神经网络。步骤五、将步骤一获取的数据分为训练数据集和测试数据集，基于模型迁移学习进行栅格卷积神经网络的训练，迭代训练结束后，保存网络参数。步骤六、对待检测的图像根据RPN(RegionProposalNetwork，区域生成网络)生成若干个候选图像区域，通过栅格卷积神经网络模型的特征提取和分类回归得到图像的region(区域)和object(目标)信息，如果region和object的重叠区域占比超过0.7，则判断其区域内存在车辆。步骤七、对判断存在车辆的候选区域，采用基于窗口的NMS(Non-MaximumSuppression，非极大值抑制)的方法进行窗口融合，最终得到精确的车辆目标位置(x,y,w,h,分别表示目标检测框的左顶角坐标位置与宽高)和姿态信息(δ)。一种基于栅格卷积神经网络的车辆姿态检测系统，该系统包括车辆姿态采集模块和处理模块，车辆姿态采集模块与处理模块连接。车辆姿态采集模块包括设于车辆驾驶舱内部、风挡玻璃窗上的MindVision车载相机、NVIDIAJetsonTK2及其附件。处理模块包括构建辆姿态检测的系统环境的Ubuntu16.04以及用以生成栅格卷积网络、并利用栅格卷积网络对车辆姿态信息进行检测的Opencv、tensorflow和Cuda软件库。与现有技术相比，本专利技术具有以下优点：一、本专利技术方法针对车辆姿态检测问题，因卷积层在横向上的特征较丰富，设计了栅格卷积层和新的网络结构，栅格卷积将不同卷积层上同一方向的特征，拼接到同一卷积层上，提高了模型单方向提取特能的能力，使得检测效果实现进一步提升，车辆姿态检测网络为智能驾驶决策和目标车辆行为预测提供有力的信息依据，可应用于智能驾驶领域，有利于提高车辆行驶的主动安全性；二、本专利技术将传统SSD机构中的部分连接层替换为两层栅格卷积层，不仅使得模型减少了参数，降低了过拟合的风险，同时由于垂直方向上权重的共享，使得单个卷积核可以获得更充分的训练，同样数量的训练数据下更容易获得泛化特征，反向传播到更浅层网络的影响也更加合理；三、本专利技术在栅格卷积层的设计上，将SSD神经网络中用于姿态估计的卷积层替换为部分连接层，以消除透视歧义对结果带来的影响；并在保留单方向权重独立的前提下对其垂直方向的权重采取共享的方式，既能解决透视歧义的影响，又能成倍降低网络中的参数含量，使得网络更加鲁棒，减少过拟合现象的发生几率。附图说明图1为本专利技术方法的流程图；图2为本专利技术中部分连接姿态检测网络结构图；图3为本专利技术所设计的栅格卷积层的卷积方式图；图4为本专利技术所基于栅格卷积层所设计的栅格卷积神经网络结构图；具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。显然，所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本专利技术保护的范围。本专利技术涉及一种基于栅格卷积神经网络的车辆姿态检测方法，该方法包括下列步骤：(1)、构建带有标注信息的车辆姿态信息数据：通过车载相机录制视频，并对所拍摄的视频进行筛选，将视频转换为图片序列后，采用人工标注方法将图像中车辆的姿态信息用6D坐标标出，即3D坐标x，y，z和3D空间姿态角pitch，yaw，roll。(2)、搭建SSD神经网络模型，并在回归分类层中构建姿态估计卷积层。将用于姿态估计的部分连接层加入到与SSD原本的AnchorBox、softmax、locationregression层并列的位置，并设置对应个数的featuremap，这样就实现了自然的目标检测位置与姿态回归位置的对应，如图2所示。将部分连接姿态检测网络命名为LC-Pose(LocallyConnected，局部卷积)。其结构如图1所示，图像输入后，像素值归一化到[-1，1]，再经过14个卷积层提取特征，并插入batch-normalization(批标准化)层以减少过拟合，激活函数选用ELU。将14个卷积层的倒数4层的feature-map(特征图)取出，分别接入处理分类、定位和姿态估计的两个卷积层和一个部分连接层。由于特征提取卷积层的不同层中每个像素对应着输入图像中不同大小的感受野，越深的层对应着越大的感受野，因此取用不同深度层的特征等价于处理不同大小的目标。在计算时，分类、定位与姿态估计层的大小相同，结果一一对应，使得姿态估计结果很自然的对应到正确的检测目标之上。(3)、将SSD神经本文档来自技高网...

【技术保护点】
1.一种基于栅格卷积神经网络的车辆姿态检测方法，其特征在于，该方法包括下列步骤：1)采用车载相机录制视频，构建带有标注信息的车辆姿态信息数据；2)搭建SSD神经网络模型，并在回归分类层中构建姿态估计卷积层；3)将SSD神经网络中用于姿态估计的卷积层替换为部分连接层；4)构建栅格卷积层及栅格卷积神经网络；5)将步骤1)获取的数据分为训练数据集和测试数据集，对栅格卷积神经网络的训练，迭代训练结束后，保存网络参数；6)对待检测的图像生成若干候选图像区域，通过栅格卷积神经网络模型的特征提取和分类判断候选区域中是否存在车辆；7)对判断存在车辆的候选区域进行窗口融合，最终得到精确的车辆目标位置和姿态信息。

【技术特征摘要】
1.一种基于栅格卷积神经网络的车辆姿态检测方法，其特征在于，该方法包括下列步骤：1)采用车载相机录制视频，构建带有标注信息的车辆姿态信息数据；2)搭建SSD神经网络模型，并在回归分类层中构建姿态估计卷积层；3)将SSD神经网络中用于姿态估计的卷积层替换为部分连接层；4)构建栅格卷积层及栅格卷积神经网络；5)将步骤1)获取的数据分为训练数据集和测试数据集，对栅格卷积神经网络的训练，迭代训练结束后，保存网络参数；6)对待检测的图像生成若干候选图像区域，通过栅格卷积神经网络模型的特征提取和分类判断候选区域中是否存在车辆；7)对判断存在车辆的候选区域进行窗口融合，最终得到精确的车辆目标位置和姿态信息。2.根据权利要求1所述的一种基于栅格卷积神经网络的车辆姿态检测方法，其特征在于，所述的栅格卷积层将不同卷积层上同一方向的特征，拼接到同一卷积层上。3.根据权利要求2所述的一种基于栅格卷积神经网络的车辆姿态检测方法，其特征在于，步骤4)中，同一个栅格卷积层设有一个或多个特征图，栅格卷积层的单张特征图由多个卷积核卷积获取，卷积核的个数由卷积方向和输入大小决定，对于多个特征图的栅格卷积层，其多个特征图的卷积方向保持全横向或全纵向。4.根据权利要求3所述的一种基于栅格卷积神经网络的车辆姿态检测方法，其特征在于，对于多个特征图的栅格卷积层，多个特征图的卷积方向在全横向或全纵向的权重独立时，栅格卷积层的垂直方向采取...

【专利技术属性】
技术研发人员：姚振鑫，宋新萍，张锟腾，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：上海,31