无人货车驾驶方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种无人货车驾驶方法、装置、电子设备及存储介质。方法包括：获取高精点云地图，确定无人货车的路径点序列和无人货车在高精点云地图上的定位数据；将路径点序列和当前无人货车在高精点云地图上的定位数据，输入控制指令神经网络，获得控制指令神经网络输出的控制指令；将无人货车上的摄像头采集到的图像，进行图像处理和卷积运算获得图像对应的特征向量；将图像对应的特征向量输入控制指令对应的行驶工况神经网络，获得行驶工况神经网络输出的转向角和加速度。本申请的方案，在全球定位系统信号覆盖差以及驾驶环境发生变化时，仍能够实现无人货车的自动驾驶，提高了无人货车驾驶的可靠性。车驾驶的可靠性。车驾驶的可靠性。

【技术实现步骤摘要】
无人货车驾驶方法、装置、电子设备及存储介质


[0001]本申请涉及通信技术，尤其涉及一种无人货车驾驶方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，无人货车的自动驾驶方法，主要分为依赖于全球定位系统的驾驶方法以及通过人工智能驱动车辆的驾驶方法。
[0003]其中，依赖于全球定位系统的驾驶方法，对全球定位系统信号的连续性和稳定性要求较高，在全球定位系统信号不能覆盖的区域，不能满足无人货车自动驾驶的条件。通过人工智能驱动车辆的驾驶方法，存在驾驶策略与驾驶环境嵌套过深的问题，当驾驶环境发生变化时，无人货车不能很好适应和移植。
[0004]上述现有技术中，在全球定位系统信号覆盖差以及驾驶环境发生变化时，无法实现无人货车的自动驾驶。

技术实现思路

[0005]本申请提供一种无人货车驾驶方法、装置、电子设备及存储介质，用以解决没有全球定位系统信号以及驾驶环境发生变化时，无法实现无人货车的自动驾驶的问题。
[0006]第一方面，本申请提供一种无人货车驾驶方法，包括：获取高精点云地图，确定无人货车的路径点序列和无人货车在所述高精点云地图上的定位数据；其中，无人货车的路径点序列为所述无人货车行驶路径上所有点在所述高精点云地图上的定位数据；将所述路径点序列和当前所述无人货车在所述高精点云地图上的定位数据，输入控制指令神经网络，获得所述控制指令神经网络输出的控制指令；其中，所述控制指令包括：继续行驶、左转、右转以及直行；所述控制指令神经网络为经过训练的神经网络；将所述无人货车上的摄像头采集到的图像，进行图像处理和卷积运算获得所述图像对应的特征向量；将所述图像对应的特征向量输入所述控制指令对应的行驶工况神经网络，获得所述行驶工况神经网络输出的转向角和加速度；其中，所述行驶工况神经网络与所述控制指令一一对应，为经过训练的神经网络。
[0007]可选的，所述获取高精点云地图包括：获取采集车辆采集到的点云数据和定位数据；其中，所述采集车辆安装有激光雷达和全球定位导航系统；所述点云数据为所述激光雷达采集得到的，所述定位数据为所述全球定位导航系统采集得到的；基于采集时刻将所述点云数据和定位数据进行关联，确定所述点云数据对应的位置信息；应用正态分布变换将所有采集时刻下的点云数据的位置信息拼接组成点云地图；对所述点云地图上每个位置标注路况信息，获得高精度点云地图；所述路况信息包括车道以及路口信息。
[0008]可选的，所述方法还包括：将所述高精点云地图导入到预先构建的仿真环境中；所述仿真环境包括搭载有摄像头、位姿传感器以及激光雷达的无人货车仿真模型；获取所述摄像头采集到的图像、所述位姿传感器采集到的转向角和加速度以及所述激光雷达采集到
的点云数据。
[0009]可选的，所述方法还包括：分别针对每个行驶工况，建立对应的初始神经网络模型；所述行驶工况包括继续行驶、左转、右转以及直行；将所述无人货车仿真模型的摄像头采集到的图像按照行驶工况分为继续行驶图像集、左转图像集、右转图像集和直行图像集；对于图像集中的每个图像，将同一采集时刻下所述位姿传感器采集到的转向角和加速度作为图像对应的转向角和加速度的参考值；对于每个行驶工况对应的图像集，将该图像集中的每张图像进行图像处理和卷积运算，获得每张图像对应的特征向量，将所述每张图像对应的特征向量与所述每张图像对应的转向角和加速度的参考值合并，得到图像状态特征向量；将每个行驶工况对应的图像集中所有图像对应的图像状态特征向量，作为该行驶工况对应的训练集；基于每个行驶工况对应的训练集，对每个行驶工况对应的初始神经网络模型进行训练，直至得到每个行驶工况对应的经过训练的神经网络，作为对应的控制指令对应的行驶工况神经网络。
[0010]可选的，所述方法还包括：建立初始的控制指令神经网络；所述训练数据包括所述无人货车仿真模型的路径点序列和当前所述无人货车仿真模型在所述高精点云地图中的定位数据以及所述无人货车仿真模型的路径点序列和所述无人货车仿真模型在所述高精点云地图中的定位数据对应的控制指令参考值；基于所述训练数据对所述初始的控制指令神经网络进行训练，直至得到所述控制指令神经网络。
[0011]可选的，所述确定无人货车的路径点序列和无人货车在所述高精点云地图上的定位数据，包括：确定所述无人货车行驶的起点和终点，基于路径规划算法得到所述无人货车的行驶路径；确定所述行驶路径上每一点对应的高精点云地图上的定位数据，得到所述路径点序列；将当前所述无人货车上的激光雷达采集到的点云数据与所述高精点云地图进行匹配，确定当前所述无人货车在所述高精点云地图上的定位数据。
[0012]第一方面，本申请提供一种无人货车驾驶装置，包括：第一获取模块，用于获取高精点云地图；导航模块，用于确定无人货车的路径点序列和无人货车在所述高精点云地图上的定位数据；其中，无人货车的路径点序列为所述无人货车行驶路径上所有点在所述高精点云地图上的定位数据；第一处理模块，用于将所述路径点序列和当前所述无人货车在所述高精点云地图上的定位数据，输入控制指令神经网络，获得所述控制指令神经网络输出的控制指令；其中，所述控制指令包括：继续行驶、左转、右转以及直行；所述控制指令神经网络为经过训练的神经网络；第二处理模块，用于将所述无人货车上的摄像头采集到的图像，进行图像处理和卷积运算获得所述图像对应的特征向量；自动驾驶模块，用于将所述图像对应的特征向量输入所述控制指令对应的行驶工况神经网络，获得所述行驶工况神经网络输出的转向角和加速度；其中，所述行驶工况神经网络与所述控制指令一一对应，为经过训练的神经网络。
[0013]可选的，所述第一获取模块包括：采集单元，用于获取采集车辆采集到的点云数据和定位数据；其中，所述采集车辆安装有激光雷达和全球定位导航系统；所述点云数据为所述激光雷达采集得到的，所述定位数据为所述全球定位导航系统采集得到的；关联单元，用于基于采集时刻将所述点云数据和定位数据进行关联，确定所述点云数据对应的位置信息；拼接单元，用于应用正态分布变换将所有采集时刻下的点云数据的位置信息拼接组成点云地图；标注单元，用于对所述点云地图上每个位置标注路况信息，获得高精度点云地
图；所述路况信息包括车道以及路口信息。
[0014]可选的，所述装置还包括：导入模块，用于将所述高精点云地图导入到预先构建的仿真环境中；所述仿真环境包括搭载有摄像头、位姿传感器以及激光雷达的无人货车仿真模型；采集模块，用于获取所述摄像头采集到的图像、所述位姿传感器采集到的转向角和加速度以及所述激光雷达采集到的点云数据。
[0015]可选的，所述装置还包括：第一建立模块，用于分别针对每个行驶工况，建立对应的初始神经网络模型；所述行驶工况包括继续行驶、左转、右转以及直行；分类模块，用于将所述无人货车仿真模型的摄像头采集到的图像按照行驶工况分为继续行驶图像集、左转图像集、右转图像集和直行图像集；对于图像集中的每个图像，将同一采集时刻下所述位姿传感器采集到的转向角和加速度作为图像对应的转向角和加速度的参考值；第三处理模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人货车驾驶方法，其特征在于，包括：获取高精点云地图，确定无人货车的路径点序列和无人货车在所述高精点云地图上的定位数据；其中，无人货车的路径点序列为所述无人货车行驶路径上所有点在所述高精点云地图上的定位数据；将所述路径点序列和当前所述无人货车在所述高精点云地图上的定位数据，输入控制指令神经网络，获得所述控制指令神经网络输出的控制指令；其中，所述控制指令包括：继续行驶、左转、右转以及直行；所述控制指令神经网络为经过训练的神经网络；将所述无人货车上的摄像头采集到的图像，进行图像处理和卷积运算获得所述图像对应的特征向量；将所述图像对应的特征向量输入所述控制指令对应的行驶工况神经网络，获得所述行驶工况神经网络输出的转向角和加速度；其中，所述行驶工况神经网络与所述控制指令一一对应，为经过训练的神经网络。2.根据权利要求1所述的方法，其特征在于，所述获取高精点云地图包括：获取采集车辆采集到的点云数据和定位数据；其中，所述采集车辆安装有激光雷达和全球定位导航系统；所述点云数据为所述激光雷达采集得到的，所述定位数据为所述全球定位导航系统采集得到的；基于采集时刻将所述点云数据和定位数据进行关联，确定所述点云数据对应的位置信息；应用正态分布变换将所有采集时刻下的点云数据的位置信息拼接组成点云地图；对所述点云地图上每个位置标注路况信息，获得高精度点云地图；所述路况信息包括车道以及路口信息。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述高精点云地图导入到预先构建的仿真环境中；所述仿真环境包括搭载有摄像头、位姿传感器以及激光雷达的无人货车仿真模型；获取所述摄像头采集到的图像、所述位姿传感器采集到的转向角和加速度以及所述激光雷达采集到的点云数据。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：分别针对每个行驶工况，建立对应的初始神经网络模型；所述行驶工况包括继续行驶、左转、右转以及直行；将所述无人货车仿真模型的摄像头采集到的图像按照行驶工况分为继续行驶图像集、左转图像集、右转图像集和直行图像集；对于图像集中的每个图像，将同一采集时刻下所述位姿传感器采集到的转向角和加速度作为图像对应的转向角和加速度的参考值；对于每个行驶工况对应的图像集，将该图像集中的每张图像进行图像处理和卷积运算，获得每张图像对应的特征向量，将所述每张图像对应的特征向量与所述每张图像对应的转向角和加速度的参考值合并，得到图像状态特征向量；将每个行驶工况对应的图像集中所有图像对应的图像状态特征向量，作为该行驶工况对应的训练集；基于每个行驶工况对应的训练集，对每个行驶工况对应的初始神经网络模型进行训练，直至得到每个行驶工况对应的经过训练的神经网络，作为对应的控制指令对应的行驶工况神经网络。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
建立初始的控制指令神经网络；获取训练数据，所述训练数据包括所述无人货车仿真模型的路径点序列和当前所述无人货车仿真模型在所述高精点云地图中的定位数据以及所述无人货车仿真模型的路径点序列和所述无人货车仿真模型在所述高精点云地图中的定位数据对应的控制指令参考值；基于所述训练数据对所述初始的控制指令神经网络进行训练，直至得到所述控制指令神经网络。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述确定无人货车的路径点序列和无人货车在所述高精点云地图上的定位数据，包括：确定所述无人货车行驶的起点和终点，基于路径规划算法得到所述无人货车的行驶路径；确定所述行驶路径上每一点对应的高精点云地图上的定位数据，得到所述路径点序列；将当前所述无人货车上的激光雷达采集到的点云数据与所述高精点云地图进行匹配，确定当前所述无人货车在所述高精点云地图上的定位数据。7.一种无人货车驾驶装置，其特征在于，包括：第一获取模块，用于获取高精点云地图；导航模块，用于确定无人货车的路径点序列和无人货车在所述高精点云地图上的定位数据；其中，无人货车的路径点序列为所述无人货车行驶路径上所有点在所述高精点云地图上的定位数据；第一处理模块，用于将所述路径点序列和当前所述无人货车在所述高精点云地图上的定位数据...

【专利技术属性】
技术研发人员：于鹏，孙宇，李文军，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：