一种基于深度学习的无人驾驶物流车制造技术

本发明专利技术涉及一种基于深度学习的无人驾驶物流车，包括物流车车体、超声波避障模块、双目立体视觉避障模块、电机驱动模块、嵌入式系统、电源模块和视觉导航处理系统；双目立体视觉避障模块用于检测道路场景中较远距离障碍物，超声波避障模块用于检测近距离障碍物，二者所获取障碍物的距离信息统称为避障信息；视觉导航处理系统采用由样本集训练的深度学习模型处理采集的道路图像数据，并输出控制指令信息；最后由决策模块综合控制指令信息和避障信息进行判断，来控制电机驱动模块，以实现物流车的无人驾驶功能。本发明专利技术不需要安装辅助设备，只需要深度学习模型通过学习样本集，即可对道路周围环境进行感知与理解，实现物流车的无人驾驶功能。

An unmanned logistics vehicle based on depth learning

The invention relates to a deep learning based on unmanned vehicle logistics, including logistics car, ultrasonic obstacle avoidance module, binocular stereo vision based obstacle avoidance module, motor drive module, power supply module, embedded system and visual navigation system; binocular stereo vision based obstacle avoidance module is used for detecting the road scene in distant obstacles, ultrasonic the obstacle avoidance module is used for detecting near distance obstacle distance information two collectively acquired obstacles for obstacle avoidance information; visual navigation processing system using the training sample set by the deep learning model acquisition and processing of the road image data, and outputs the control instruction information; finally judged by the decision module integrated control instruction information and obstacle avoidance information, to control the motor drive module, driving to achieve unmanned car logistics function. The invention does not need to install auxiliary equipment, and only needs a depth learning model. By studying the sample set, the environment of the road can be sensed and understood, and the driverless driving function of the logistics vehicle can be realized.

【技术实现步骤摘要】
一种基于深度学习的无人驾驶物流车
本专利技术属于无人驾驶
，涉及一种基于深度学习的无人驾驶物流车，适用于大型园区、仓库、车站、机场、码头等公共场所。
技术介绍
随着物流业的快速发展，特别是仓储货运、快递和外卖的运输量不断攀升，给无人驾驶物流车带来了极大的发展潜力和巨大的市场空间。但是，目前仓储货运大多采用电磁引导、磁带引导以及激光导航等方式的AGV(无人搬运车)，快递和外卖基本上依托人力运输。前者实现了无人化运输，一般适用于场地平整、干净的室内环境；后者需要耗费大量人力物力，运送成本高。虽然前者可实现无人化运输，但是对于场地要求严格，要配置一些辅助引导设备(磁条、色带和反光板等)，施工周期长，投资费用高。目前，无人驾驶汽车大部分采用激光雷达作为导航检测装置,但是激光雷达成本太高，而且提取到的特征信息稀疏，不利于场景的理解与感知。另外，物流车工作的园区或者室内对其车速一般要求低速平稳运行。而利用视觉导航不仅投资低、施工周期短，而且能够提取到丰富的图像特征信息，其处理速度也可满足系统的实时性要求，适合无人驾驶物流车的技术实施。本专利技术的无人驾驶物流车以深度学习模型为核心，通过实时采集道路周围环境的图像数据，经深度学习模型处理去感知周围的环境信息，进而发出控制指令信息；再由决策模块结合双目立体视觉避障模块和超声波避障模块提供的避障信息作出判断，来控制电机驱动模块，以实现物流车无人驾驶功能。
技术实现思路
本专利技术充分利用视觉检测与深度学习的各自优势，提出一种基于深度学习的无人驾驶物流车。相比现有的采用辅助引导AGV(无人搬运车)，本专利技术无人驾驶物流车不仅安装调试难度小、成本低、灵活方便、导航控制偏差小；而且适应于更复杂的室内或者室外工作道路场景。为了实现本专利技术的目的，采用的技术方案如下：一种基于深度学习的无人驾驶物流车，包括物流车外部结构和物流车内部结构两部分。物流车外部结构主要由物流车车体、超声波避障模块和双目立体视觉避障模块组成；所述物流车车体共计设置五个用于存储货物的抽屉门；物流车车体两侧各装两个抽屉门，物流车车体的尾部装一个抽屉门；所述物流车车体的底部装有四个麦克纳姆轮，实现原地全向旋转；所述物流车车体的头部两侧各装有一套所述超声波避障模块，用于近距离防护性测距避障；所述物流车车体的头部中间装有摄像头A和摄像头B，二者构成双目立体视觉避障模块，用于检测道路场景中较远距离障碍物，超声波避障模块用于检测近距离障碍物，二者所获取障碍物的距离信息统称为物流车的避障信息；所述摄像头A类似于人的主视眼，为视觉导航处理系统提供图像数据。物流车内部结构主要由电机驱动模块、嵌入式系统和电源模块组成。所述电机驱动模块用于驱动直流无刷电机，再由直流无刷电机带动皮带驱动麦克纳姆轮；所述嵌入式系统用于采集图像数据，搭载视觉导航处理系统，控制所述电机驱动模块；所述电源模块采用电池组为物流车系统供电。上述无人驾驶物流车通过视觉导航处理系统完成在道路工作环境中的无人驾驶功能，所述视觉导航处理系统主要有深度学习模型、决策模块和样本集组成，其中样本集又分为训练集和测试集。所述深度学习模型建立步骤如下：步骤1：将物流车预先采集到的道路环境视频图像和操作人员操作遥控指令信息拷贝到计算机中，将样本集按照9：1比例制作成训练集和测试集；步骤2：训练集用于训练深度模型，测试集用于测试深度学习模型，通过反复对深度模型进行调节参数与测试，观察测试结果误差大小，直到能够满足系统的控制精度为止；最终，获取到所需的深度学习模型。本专利技术是基于深度学习算法理论，通过学习优秀的操作人员的驾驶经验，经过反复的调节和优化参数，训练达到满足系统要求的深度学习模型。通过深度学习模型使物流车能够感知道路的周围环境，获取系统的控制指令信息。另外，再由决策模块结合物流车的避障信息，发出决策指令信息控制电机驱动模块，实现物流车无人驾驶功能。附图说明图1为本专利技术的车体外部结构图。图2为本专利技术的车体内部结构图。图3为本专利技术的深度学习模型结构图。图4为本专利技术的系统结构功能图。图5为本专利技术的系统功能实施流程图。图中：100为物流车车体，200为抽屉门，300为麦克纳姆轮，400为超声波避障模块，500为双目立体视觉避障模块，501为摄像头A，502为摄像头B，600为直流无刷电机，701为嵌入式系统,702为电机驱动模块，800为电源模块，900为样本集，901为训练集，902为测试集，903为深度学习模型，904为决策模块，905为视觉导航处理系统。具体实施方式以下结合技术方案和附图详细叙述本专利技术的具体实施例。图1是物流车车体的外部结构示意图。由图1可知，所述物流车车体100的两侧各装两个所述抽屉门200，以及尾部装有一个所述抽屉门200，共计五个用于存储货物的抽屉门200。所述物流车车体100底部装有四个所述麦克纳姆轮300，可实现四轮全向驱动。所述物流车车体100头部两侧各装有一套所述超声避障模块400，用于近距离防护性测距避障。所述物流车车体100头部中间位置安装有所述摄像头A501和摄像头B502，二者构成双目立体视觉避障模块500(图4所示)，用于获取道路周围环境的三维空间信息，可实现视觉避障功能；其中，所述摄像头A501类似于人的主视眼，为视觉导航处理系统905(图4所示)提供图像数据。图2是物流车车体的内部结构示意图。从图2可知，所述嵌入式系统701通过摄像头A501采集图像数据，经视觉导航处理系统905(图4所示)处理之后，控制所述电机驱动模块702。所述电机驱动模块702用于驱动所述直流无刷电机600。所述直流无刷电机600通过皮带带动驱动麦克纳姆轮300(图1所示)运动。所述电源模块800采用电池组为物流车系统供电。在深度学习模型具体实施案例中，如图3所示，深度学习模型采用是深度卷积神经网络，其网络的连接顺序依次为输入层、第一层卷积加激活层、第一最大池化层、第二卷积加激活层、第二最大池化层、第三卷积加激活层、第三最大池化层、第一全连接加激活加Dropout层、第二全连接层、输出层。如图4所示，所述摄像头A501采集到的图像作为输入层，其输入数据的大小为200×160×1。根据表1所示，对于输入层采用卷积核大小为5×5，过滤器数为20，卷积步长为1，卷积填充为1进行卷积操作，得到第一卷积层的大小为196×156×20；第一卷积层经过激活函数ReLU处理之后，作为第一最大池化层的输入，采用池化核的大小为2×2，滤波器数为20，池化步长为2进行降采样处理，得到第一最大池化层的大小为98×78×20。此刻，实现了第一次卷积与池化的操作。接下来第二次、第三次的卷积与池化操作按照第一次卷积与池化的操作步骤，其参数查询表1依次得到第二卷积层的大小为94×74×40，第二最大池化层的大小为47×37×40，第三卷积层的大小为44×34×60，第三最大池化层的大小为22×17×60。总共经过三次卷积和池化操作之后，依次连接第一全连接层、ReLU层、Dropout层和第二全连接层，其中Dropout层是随机对一些神经元进行抑制，防止深度学习训练的过程中出现过饱和现象。第一全连接层的输入为22×17×60，输出为400；ReLU层和Dropout层的输入输出保持不变为400，本文档来自技高网...

【技术保护点】
一种基于深度学习的无人驾驶物流车，包括物流车外部结构和物流车内部结构两部分；其特征在于:物流车外部结构主要由物流车车体、超声波避障模块和双目立体视觉避障模块组成；所述物流车车体共计设置五个用于存储货物的抽屉门；物流车车体两侧各装两个抽屉门，物流车车体的尾部装一个抽屉门；所述物流车车体的底部装有四个麦克纳姆轮，实现原地全向旋转；所述物流车车体的头部两侧各装有一套所述超声波避障模块，用于近距离防护性测距避障；所述物流车车体的头部中间装有摄像头A和摄像头B，二者构成双目立体视觉避障模块，用于检测道路场景中较远距离障碍物，超声波避障模块用于检测近距离障碍物，二者所获取障碍物的距离信息统称为物流车的避障信息；所述摄像头A类似于人的主视眼，为视觉导航处理系统提供图像数据；物流车内部结构主要由电机驱动模块、嵌入式系统和电源模块组成；所述电机驱动模块用于驱动直流无刷电机，再由直流无刷电机带动皮带驱动麦克纳姆轮；所述嵌入式系统用于采集图像数据，搭载视觉导航处理系统，控制所述电机驱动模块；所述电源模块采用电池组为物流车系统供电；上述无人驾驶物流车通过视觉导航处理系统完成在道路工作环境中的无人驾驶功能，所述视觉导航处理系统主要有深度学习模型、决策模块和样本集组成，其中样本集又分为训练集和测试集；所述深度学习模型建立步骤如下：步骤1：将物流车预先采集到的道路环境视频图像和操作人员操作遥控指令信息拷贝到计算机中，将样本集按照9：1比例制作成训练集和测试集；步骤2：训练集用于训练深度模型，测试集用于测试深度学习模型，通过反复对深度模型进行调节参数与测试，观察测试结果误差大小，直到能够满足系统的控制精度为止；最终，获取到所需的深度学习模型。...

【技术特征摘要】
1.一种基于深度学习的无人驾驶物流车，包括物流车外部结构和物流车内部结构两部分；其特征在于:物流车外部结构主要由物流车车体、超声波避障模块和双目立体视觉避障模块组成；所述物流车车体共计设置五个用于存储货物的抽屉门；物流车车体两侧各装两个抽屉门，物流车车体的尾部装一个抽屉门；所述物流车车体的底部装有四个麦克纳姆轮，实现原地全向旋转；所述物流车车体的头部两侧各装有一套所述超声波避障模块，用于近距离防护性测距避障；所述物流车车体的头部中间装有摄像头A和摄像头B，二者构成双目立体视觉避障模块，用于检测道路场景中较远距离障碍物，超声波避障模块用于检测近距离障碍物，二者所获取障碍物的距离信息统称为物流车的避障信息；所述摄像头A类似于人的主视眼，为视觉导航处理系统提供图像数据；物流车内部结构主要由电机驱动模块、嵌入式系统和电源模块组成；所述电机驱动模块用于驱动直流无刷电机，再由直流无刷电机带动皮带驱动麦克纳姆轮；所述嵌入式系统用于采集图像数据，搭载视觉导航处理系统，控制所述电机驱动模块；所述电源模块采用电池组为物流车系统供电；上述无人驾驶物流车通过视觉导航处理系统完成在道路工作环境中的无人驾驶功能，所述视觉导航处理系统主要有深度学习模型、决策模块和样本集组成，其中样本集又分为训练集和测试集；所述深度学习模型建立步骤如下：步骤1：将物流车预先采集到的道路环境视频图像和操作人员操作遥控指令信息拷贝到计算机中，将样本集按照9：1比例制作成训练集和测试集；步骤2：训练集用于训练深度模型，测试集用于测试深度学习模型，通过反复对深度模型进行调节参数与测试，观察测试结果误差大小，直到能够满足系统的控制精度为止；最终，获取到所需的深度学习模型。2.如权利要求1所述...

【专利技术属性】
技术研发人员：王安娜，王文慧，刘璟璐，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21