基于深度卷积神经网络的车载视觉系统自身运动确定方法技术方案

本发明专利技术公开了一种基于深度卷积神经网络的车载视觉系统自身运动确定方法，所述基于深度卷积神经网络的车载视觉系统包括深度卷积神经网络模块，包括S1，采集车载视觉系统的参数配置信息和图像信息；S2，对图像预处理，并将预处理后的时序图像在深度通道叠加，形成神经网络输入图像；S3，深度卷积神经网络模块根据接收的所述神经网络输入图像信息确定车载视觉系统自身的运动信息；S4，输出确定的车载视觉系统自身运动信息。采用本发明专利技术，降低了成本，提高了车辆自身运动的确定精度。

【技术实现步骤摘要】
基于深度卷积神经网络的车载视觉系统自身运动确定方法
本专利技术涉及车载视觉系统，特别是一种基于深度卷积神经网络的车载视觉系统自身运动确定方法。
技术介绍
智能化是如今汽车行业发展的重要趋势之一，视觉系统在车辆主动安全领域的应用日益广泛。单双目前视、后视以及360度环视系统已经成为了现有高级辅助驾驶系统的主流感知器件，随着人工智能技术的发展以及嵌入式平台运算能力的提升，辅助驾驶系统的自动化等级日益提升。视觉感知系统的主要作用包括：道路交通场景目标及可行驶区域识别、场景视深估算以及车辆自身状态估算等。此类问题在现有的视觉感知系统中均有涉及，现有方法由于受人工涉及的图像特征描述算子限制，其应用场景以及效果均具有一定的局限性。现有车辆姿态计算或测量方法主要包括如下几类：基于GPS及惯性导航设备的方法，此类系统测量精度高，但系统成本太过昂贵，因而只少量用于车辆测试以及标定，无法批量应用于量产车型中；基于视觉测量的方法，利用视觉场景中离散或稠密的时序特征算子提取与匹配，计算相应的相机运动矢量，现有此类系统应用具有一定的局限性(如安装以及应用场景等)，并且不便与其他车载视觉感知系统集成。
技术实现思路
本专利技术的目的是提供一种基于深度卷积神经网络的车载视觉系统自身运动确定方法，该方法模型结构简单，模型大小以及运算量具备低功耗平台实时运行的可行性，降低了成本。为解决现有技术存在的问题，本专利技术提供一种基于深度卷积神经网络的车载视觉系统自身运动确定方法，所述基于深度卷积神经网络的车载视觉系统包括深度卷积神经网络模块，所述方法包括：S1，采集车载视觉系统的参数配置信息和图像信息；S2，对图像预处理，并将预处理后的时序图像在深度通道叠加，形成神经网络输入图像；S3，深度卷积神经网络模块根据接收的所述神经网络输入图像信息确定车载视觉系统自身的运动信息；S4，输出确定的车载视觉系统自身运动信息。优选的，还包括深度卷积神经网络模块进行离线训练的步骤，所述步骤包括：采集各类道路驾驶场景数据，提取时序连续训练样本集，并利用RT设备输出对训练样本集进行标定；利用视频数据时间戳信息与RT设备高频采集信号匹配，积分采集周期内的X,Y,Z三个坐标轴对应的速度及角速度信息，得到神经网络对应的输出标签参考数据，所述输出标签参考数据为六自由度车辆与转动信息。优选的，所述深度卷积神经网络模块离线训练步骤采用基于迷你批量方式额梯度下降方法，所述方法的每个循环内，基于反向地推对损失函数求最优解来优化网络权重参数，直至设定的循环迭代次数完成，所述损失函数Loss计算公式为：其中，zj表示输出向量的每个元素；zT，i表示对应训练样本标签；αT,αR为平动、转动损失函数权重系数。优选的，还包括对深度卷积神经网络模块设备移植的步骤，所述深度卷积神经网络模块设备移植的步骤包括：对离线训练步骤所生成的深度卷积神经网络进行基于所应用的嵌入式平台运算特性进行压缩操作，包括稀疏化与量化；验证压缩后神经网络精度，若精度损失小于预设的阈值，则确定应用压缩后深度卷积神经网络模块；若神经精度损失大于预设的阈值，则在当前离线训练集上重新离线训练至精度损失小于预设的阈值。优选的，所述深度卷积神经网络模块的图像输入层的时序RGB格式图片，大小为640*360*6，为2帧连续固定间隔图片叠加的尺寸。优选的，所述深度卷积神经网络模块的卷积层：采用3*3尺寸的卷积滑窗，以及‘0’像素值边缘填充，步长为1。优选的，所述深度卷积神经网络模块的池化层，用于对神经网络内浅层特征进行降采样，采用2*2大小滑窗尺寸，取最大值滑窗内4个数值的最大值，步长为2。优选的，所述深度卷积神经网络模块包括激活层，所述激活层所使用的激活方程为修正线性单元，其表达式为max(0，x)，其中，x为该神经元输入。优选的，所述深度卷积神经网络模块还包括正则化层，所述正则化层在每个迷你批量中计算得到相应的均值与方差，并以所述均值和方差正则化迷你批量样本。优选的，所述深度卷积神经网络模块包括全连接层，所述全连接层用于自动丢弃全连接层内使深度卷积神经网络过拟合的神经元。本专利技术的通过神经网络模块对输入图像进行分析，从而输出车载视觉系统自身运动的信息，并经后处理后可输出辅助驾驶及自动驾驶系统相关应用自身车辆运动信息，为其他感知算法模块以及车辆操作规划与决策提供依据。该神经网络模块所采用的神经网络架构具备如下优势：模型结构简单，模型大小以及运算量具备低功耗平台实时运行的可行性；模型所基于的共享图像特征应用延展性强，适用于与其他任务深度卷积神经网络并行，降低了成本。另外，本专利技术基于多任务深度卷积神经网络架构替代传统视觉里程计，鲁棒性以及准确性都大幅提升。并且本专利技术所依赖的共享图像特征描述子可与其他复用感知任务复用，从而节约额外图像描述算子的提取时间，提升整体感知系统的运算效率。并且本方法可以在训练阶段借助RT设备(GPS/INS组合设备)进行监督训练所需的样本标签自动生成，而在推理应用阶段只需基于图像输入与神经网络模型分析，从而达到自动驾驶/辅助驾驶需求精度的自身运动信息的输出。附图说明图1是本专利技术一种基于深度卷积神经网络的车载视觉系统自身运动确定方法的一种实施例的流程示意图；图2是本专利技术一种基于深度卷积神经网络的车载视觉系统自身运动确定方法中的深度卷积神经网络模块的拓扑结果示意图。具体实施方式下面结合附图对本专利技术进行详细说明。参考图1，该图是本专利技术一种基于深度卷积神经网络的车载视觉系统自身运动确定方法的一种实施例的流程示意图，该流程包括：步骤S1，采集车载视觉系统的参数配置信息和图像信息；步骤S2，对图像预处理，并将预处理后的时序图像在深度通道叠加，形成神经网络输入图像；步骤S3，深度卷积神经网络模块根据接收的所述神经网络输入图像信息确定车载视觉系统自身的运动信息；步骤S4，输出确定的车载视觉系统自身运动信息。下面对本专利技术实施例中的深度卷积神经网络模块进行详细说明。本专利技术实施例所采用的神经网络模块的输入为6通道车载视觉图像(2*3，连续两帧RGB)，输出为6维向量(三个转动自由度以及三个平动自由度)。所包括的具体内容如下：深度运动卷积神经网络模块(Mot-Net)架构设计：设计运动估计卷积神经网络结构如图2所示，模型输入为6通道RGB图像数据，输出为6通道运动信息，特征层部分(即图2中的卷积层)由conv+relu+bn组合层构成，其余网络结构还包括池化、全连接以及输出层：下面进行详细说明图像输入层：为时序RGB格式图片，大小为640*360*6(2帧连续固定间隔图片叠加)。卷积层(conv)：对于任意卷积操作，均采用3*3尺寸的卷积滑窗，以及‘0’像素值边缘填充，步长为1，每个卷积层的深度如图2所示。池化层：对于此网络内浅层特征进行降采样操作，采用2*2大小滑窗尺寸，取最大值滑窗内4个数值的最大值，步长为2。激活层(relu)：应用于每个卷积层后，所使用的激活方程为修正线性单元(ReLu)，其表达式为：max(0，x)。其中，x为该神经元输入。正则化层(BN)：在每个迷你批量(mini-batch)中计算得到相应均值与方差，并以之正则化mini-batch样本。全连接层(fc)：防止模型过拟合，自动丢弃该全连接层内一定比例的神经元本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的车载视觉系统自身运动确定方法，所述基于深度卷积神经网络的车载视觉系统包括深度卷积神经网络模块，其特征在于，所述方法包括：S1，采集车载视觉系统的参数配置信息和图像信息；S2，对图像预处理，并将预处理后的时序图像在深度通道叠加，形成神经网络输入图像；S3，深度卷积神经网络模块根据接收的所述神经网络输入图像信息确定车载视觉系统自身的运动信息；S4，输出确定的车载视觉系统自身运动信息。

【技术特征摘要】
1.一种基于深度卷积神经网络的车载视觉系统自身运动确定方法，所述基于深度卷积神经网络的车载视觉系统包括深度卷积神经网络模块，其特征在于，所述方法包括：S1，采集车载视觉系统的参数配置信息和图像信息；S2，对图像预处理，并将预处理后的时序图像在深度通道叠加，形成神经网络输入图像；S3，深度卷积神经网络模块根据接收的所述神经网络输入图像信息确定车载视觉系统自身的运动信息；S4，输出确定的车载视觉系统自身运动信息。2.根据权利要求1所述的基于深度卷积神经网络的车载视觉系统自身运动确定方法，其特征在于，还包括深度卷积神经网络模块进行离线训练的步骤，所述步骤包括：采集各类道路驾驶场景数据，提取时序连续训练样本集，并利用RT设备输出对训练样本集进行标定；利用视频数据时间戳信息与RT设备高频采集信号匹配，积分采集周期内的X,Y,Z三个坐标轴对应的速度及角速度信息，得到神经网络对应的输出标签参考数据，所述输出标签参考数据为六自由度车辆与转动信息。3.根据权利要求2所述的基于深度卷积神经网络的车载视觉系统自身运动确定方法，其特征在于，所述深度卷积神经网络模块离线训练步骤采用基于迷你批量方式额梯度下降方法，所述方法的每个循环内，基于反向地推对损失函数求最优解来优化网络权重参数，直至设定的循环迭代次数完成，所述损失函数Loss计算公式为：其中，zj表示输出向量的每个元素；zT，i表示对应训练样本标签；αT,αR为平动、转动损失函数权重系数。4.根据权利要求2所述的基于深度卷积神经网络的车载视觉系统自身运动确定方法，其特征在于，还包括对深度卷积神经网络模块设备移植的步骤，所述深度卷积神经网络模块设备移植的步骤包括：对离线训练步骤所生成的深度卷积神经网络进行基于所应用的嵌入...

【专利技术属性】
技术研发人员：缪其恒，吴长伟，苏志杰，孙焱标，王江明，许炜，
申请(专利权)人：浙江零跑科技有限公司，
类型：发明
国别省市：浙江,33