一种道路作业车辆视觉感知系统及其使用方法技术方案

本发明专利技术公布了一种道路作业车辆视觉感知系统及其使用方法，包括：电源、系统开关、图像采集设备、感知处理器、CAN模块。该系统通过图像采集设备采集车辆作业道路上的垃圾、污垢、水坑、行人、车道线、植被等目标图像信息，并输入到感知处理器进行图像信息识别处理分析形成原始图像通道、预处理图像通道和显著性图像通道，再进行多特征信息融合和参数化、轻量化处理，输出道路作业前方区域内的垃圾分布信息和作业环境信息数据，有效完成对道路作业目标及环境的感知和判定，并通过CAN模块实时上传至整车CAN总线，提供给道路作业车辆智能决策系统使用，以支撑可根据道路作业场景变化自适应调节上装作业，降低上装能耗，提高道路作业效率。

【技术实现步骤摘要】
一种道路作业车辆视觉感知系统及其使用方法
本专利技术属于汽车感知
，具体涉及一种基于多特征信息融合的道路作业车辆视觉感知系统。
技术介绍
随着全球气候逐渐变暖、环境污染日趋严重，同时各大城市经济的发展和城市规模的日益扩大，环保问题越来越受到人们的关注。道路垃圾作为环境问题的一部分，越来越受到重视。为了不断推进环保事业的发展，保护人类生存环境，促进环保产业转型升级、引导环保领域与科技领域深入融合就成为重要渠道。智能驾驶环卫车的出现，环卫作业的效率得到极大提升，推动着环卫事业飞速发展。由于现阶段智能驾驶环卫车基本为新能源专用车辆，整车动力电池既给车辆行驶提供动力源，又给环卫上装提供动力源，所以在车辆行驶里程焦虑的同时车辆上装运行能耗问题也凸显出来，新能源专用车辆的能耗一直是当前新能源专用车的痛点之一，研发可根据道路作业场景变化自适应调节上装作业功率的智能上装节能系统迫在眉睫，而这首先要实现的就是能够识别道路垃圾、道路作业环境、行人等相关作业场景目标的智能视觉感知系统。图像识别使用人工智能技术自动识别图像中的对象，任务，位置和动作。图像识别已成为当下的主流，特别是在自动驾驶汽车和驾驶辅助系统上的应用，已趋于成熟。基于深度学习的图像识别技术可用于研发道路作业车辆环境感知功能，为道路作业车辆配上一双“智能眼”。在整车动力电池容量不变的条件下，行驶里程能耗和环卫上装能耗是一对“矛盾”，减少了环卫上装能耗，也就相应会提高行驶里程，提高作业工作量，如何保证新能源道路作业车辆作业质量的同时提高道路作业效率，一直是从业技术人员一直致力解决的问题。
技术实现思路
为了开发出根据道路作业场景变化的自适应调节上装作业功率的智能上装节能系统的新能源环卫作业车，就需要研发出能够识别道路垃圾、道路作业环境、行人等相关作业场景目标的智能视觉感知系统。本专利技术为研发出道路作业车辆智能视觉感知系统，提供给道路作业智能驾驶环卫车使用，降低车辆上装运行能耗，提高道路作业效率。为实现上述目的，本专利技术采用以下技术方案：包括相互连接的电源、系统开关、图像采集设备、感知处理器及CAN模块，所述电源负责给系统供电，并开启系统；系统开关为系统激活提供信号；CAN模块为系统与整车进行交互提供通讯接口；图像采集设备由安装于驾驶室内挡风玻璃正中上方的近景相机、远景相机、双目深度相机组成，实时采集图像信息；感知处理器为系统核心组成部分，承担采集图像信息分析处理工作。进一步的，所述电源、感知处理器与图像采集设备之间通过电连接，电源供电给感知处理器后，经感知处理器继续供电至图像采集设备；所述系统开关与感知处理器之间信号连接，为系统激活提供信号，感知处理器与图像采集设备双向通讯连接；所述CAN模块与感知处理器之间双向通讯连接。一种道路作业车辆视觉感知系统的使用方法，包括如下步骤：步骤1，打开系统开关，系统进入激活状态，图像采集设备开始采集车辆前方作业道路的环境图像。步骤2，感知处理器与图像采集设备进行时间同步，与视觉感知系统各组成部分建立实时通讯。步骤3，感知处理器对经时间同步的图像信息进行图像识别处理分析。步骤4，感知处理器基于采集和处理分析形成的图像信息，进行多特征信息融合，提取出道路作业相关分类信息。步骤5，感知处理器进行道路作业各分类信息融合，形成数据化的垃圾分布信息和作业环境信息数据。步骤6，感知处理器将所述信息数据通过CAN模块实时上传至整车CAN总线，供道路作业车辆智能决策系统使用；所述智能决策系统为上装控制系统或智能驾驶车辆整车控制决策系统。步骤7，所述系统循环进行图像信息采集、图像信息处理分析和图像信息数据输出的工作流程，直至系统关闭。进一步的，所述远景相机焦距较短，本系统为8mm，用于采集车辆前方作业道路的远景图像，所述近景相机焦距较长，本系统为16mm，用于采集车辆前方作业道路的近景图像，所述双目深度相机采集前方道路环境的深度信息，并将采集完毕的全部信息写入感知处理器，形成原始图像通道。上述三种相机应固定牢靠安装，以保证采集图像的稳定性。进一步的，在上述技术方案中，所述图像识别处理分析，包含原始图像预处理、目标显著性分析、多特征信息融合。进一步的，所述原始图像预处理，为感知处理器将所得图像首先进行自适应暗原色先验去雾处理，再进行图像退化预处理，形成预处理图像通道。其中，去图形退化处理使用了一种基于稀疏表示图像模型和深层降噪自编码神经网络的图像退化预处理方法。首先，根据稀疏表示理论，自然图像信号可以通过少量基函数来精确表示，这些基函数的集合称为字典（Dictionary），每一个基函数称为原子(Atom)，为了获得更高的稀疏性，将图像块本身作为原子构造字典，将图像信号在字典上投影，通过解码还原后得到稀疏表示图像模型。然后，构造一种堆栈式深度自编码器用于解决稀疏表示图像的退化问题，将当前一层自编码器的输出作为下一层自编码器的输入，逐层无监督训练多层自编码网络。由于具有多个自动编码器堆叠形成多层神经网络结构，不同的隐藏层能够学习到不同的数据特征，低阶隐藏层为高阶隐藏层提供特征，便于高阶隐藏层进行特征组合，而且这种深度自动编码器结构具有强大的非线性拟合能力，能够学习数据的分布式特征，因而可以更好地表示输入数据，提高网络对噪声的鲁棒性，同时提取原始输入的高层非线性特征表示，从而有利于后续的分类或辨识等任务并可以帮助神经网络更快的收敛。最后，经过无监督预训练的堆栈式深度自编码器网络，网络参数已经有一个接近最优值的权值分布，然后利用反向传播算法进行网络的全局参数微调，完成堆栈式深度自编码器的训练过程。由于图像监督学习训练数据集较少，采用这种无监督深度学习的方式进行图像还原的过程，可以有效防止过拟合问题。进一步的，所述目标显著性分析，包括系统检测图像偏振信息，并通过包括数学形态分割、SLIC多尺度超像素分割和DBSCAN多尺度超像素聚类操作对图像信息进行处理，然后基于元胞自动机算法进行显著性检测，最终基于贝叶斯理论进行多尺度显著性图融合，得出针对地面污垢、积水的多尺度超像素细微区域显著性检测结果，形成显著性图像通道。进一步的，所述多特征信息融合，包括感知处理器基于原始图像通道、预处理图像通道和显著性图像通道，图像识别卷积块分别提取底层特征图。之后将来自多个模态的特征图串接，接着对串接后通道数翻倍的特征图做1x1的卷积操作，达到降维的目的，同时起到线性融合多个模态特征的目的。这里1x1的卷积核的参数同样参与训练。融合后的特征图将继续经过后面的卷积层以及池化层，最终到达预测头网络，将多通道输入的信息逐层传递用以做最后的分类、边界框回归和像素分割，输出。网络训练同样采用反向传播算法，整个网络可以看做由节点构成的计算图，从后向前逐层更新参数。最后经参数化和轻量化处理后，实现道路垃圾实时检测定位与体积估计运算，得出道路作业各分类信息，包含垃圾的种类、体积、位置，行人的位息，污水的位置，地面污垢的位置，车道线的三维位置，植被类别、位置，路面类型、级别、质量等信本文档来自技高网...

【技术保护点】
1.一种道路作业车辆视觉感知系统，其特征在于：包括相互连接的电源、系统开关、图像采集设备、感知处理器及CAN模块，所述电源负责给系统供电，并开启系统；系统开关为系统激活提供信号； CAN模块为系统与整车进行交互提供通讯接口；图像采集设备由安装于驾驶室内挡风玻璃正中上方的近景相机、远景相机、双目深度相机组成，实时采集图像信息；感知处理器为系统核心组成部分，承担采集图像信息分析处理工作。/n

【技术特征摘要】
1.一种道路作业车辆视觉感知系统，其特征在于：包括相互连接的电源、系统开关、图像采集设备、感知处理器及CAN模块，所述电源负责给系统供电，并开启系统；系统开关为系统激活提供信号；CAN模块为系统与整车进行交互提供通讯接口；图像采集设备由安装于驾驶室内挡风玻璃正中上方的近景相机、远景相机、双目深度相机组成，实时采集图像信息；感知处理器为系统核心组成部分，承担采集图像信息分析处理工作。


2.根据权利要求1所述的道路作业车辆视觉感知系统，其特征在于：所述电源、感知处理器与图像采集设备之间通过电连接，电源供电给感知处理器后，经感知处理器继续供电至图像采集设备；所述系统开关与感知处理器之间信号连接，为系统激活提供信号，感知处理器与图像采集设备双向通讯连接；所述CAN模块与感知处理器之间双向通讯连接。


3.一种道路作业车辆视觉感知系统的使用方法，其特征在于，包括如下步骤：
步骤1，打开系统开关，系统进入激活状态，图像采集设备开始采集车辆前方作业道路的环境图像；
步骤2，感知处理器与图像采集设备进行时间同步，与视觉感知系统各组成部分建立实时通讯；
步骤3，感知处理器对经时间同步的图像信息进行图像识别处理分析；
步骤4，感知处理器基于采集和处理分析形成的图像信息，进行多特征信息融合，提取出道路作业相关分类信息；
步骤5，感知处理器进行道路作业各分类信息融合，形成数据化的垃圾分布信息和作业环境信息数据；
步骤6，感知处理器将所述信息数据通过CAN模块实时上传至整车CAN总线，供道路作业车辆智能决策系统使用；
步骤7，所述系统循环进行图像信息采集、图像信息处理分析和图像信息数据输出的工作流程，直至系统关闭。


4.根据权利要求3所述的道路作业视觉感知系统的使用方法，其特征在于：所述图像采集设备中的远景相机用于采集车辆前方作业道路的远景图像，近景相机用于采集车辆前方作业道路的近景图像，双目深度相机采集前方道路环境的深度信息，并将采集完毕的全部信息写入感知处理器，形成原始图像通道。


5.根据权利要求3所述的道路作业视觉感知系统的使用方法，其特征在于：所述图像识别处理分析，包含原始图像预处理、目标显著性分析、多特征信息融合。


6.根据权利要求5所述的道路作业视觉感知系统的使用方法，其特征在于：所述原始图像预处理，为感知处理器将所得图像首先进行自适应暗原色先验去雾处理，再进行图像退化预处理，形成预处理图像通道。


7.根据权利要求5所述的道路作...

【专利技术属性】
技术研发人员：陈海云，万兴宇，徐杰，朱剑，张彦平，封长江，许韩亮，吴凡，
申请(专利权)人：南京汽车集团有限公司，上汽大通汽车有限公司南京分公司，
类型：发明
国别省市：江苏;32