模型训练和道路检测方法及装置制造方法及图纸

本公开公开了一种模型训练和道路检测方法及装置，涉及自动驾驶技术领域。其中道路检测方法包括：获取已训练神经网络；所述神经网络包括第一、第二、第三神经网络通路；所述第一神经网络通路以图像信息作为输入；第二神经网络通路以点云信息作为输入；三个神经网络通路之间具有并列的层连接关系；获取包含道路的图像信息，将所述图像信息输入第一神经网络通路；获取包含道路的点云信息，将所述点云信息输入第二神经网络通路；所述第三神经网络通路的输出层输出道路坐标信息。该技术方案不依赖道路标线和标识，提高了道路感知的准确性和驾驶安全性。驶安全性。驶安全性。

【技术实现步骤摘要】
模型训练和道路检测方法及装置


[0001]本公开涉及自动驾驶领域，尤其涉及自动驾驶的模型训练和道路检测方法及装置。

技术介绍

[0002]自动驾驶技术是一种通过计算机实现辅助驾驶或无人驾驶的技术，其依靠可见光相机、毫米波雷达、激光雷达、惯性导航系统、全球定位系统等传感系统，使计算机可以部分或全部代替人类驾驶员自动安全地操作车辆。
[0003]现有技术中，自动驾驶技术主要应用于标准道路场景。标准道路例如根据道路交通相关法律法规规定的具有特定标线、标识等信息的道路。在标准道路场景下，自动驾驶技术可以获取规范的道路标线标识等环境感知信息，可以利用规范的地图测绘提供的普通地图和高精度地图，也可以与智能交通系统中的交通基础设施进行规范的信息交换。
[0004]但是，自动驾驶技术不仅可以应用在标准道路场景中，也可以应用在非标准道路场景。非标准道路场景例如野外环境等自然场景，例如乡村道路等农业环境场景，例如园区内部道路等场景，例如矿山矿井等特定作业场景。

技术实现思路

[0005]本公开提供了一种非标准道路场景的模型训练和道路检测方法及装置。
[0006]根据本公开的第一方面，提供了一种模型训练方法，包括：构建第一神经网络通路；所述第一神经网络通路的输入层接收包含道路的图像信息；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；构建第二神经网络通路；所述第二神经网络通路的输入层接收包含道路的点云信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；构建第三神经网络通路；所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；所述第三神经网络通路的输出层输出道路坐标信息。
[0007]获取训练样本集；所述训练样本集包括多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据；训练神经网络；给定多个道路图像样本和对应的道路标注数据作为第一神经网络通路的输入输出训练数据；给定多个道路点云样本和对应的道路标注数据作为第二神经网络通路的输入输出训练数据；给定多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据，作为第三神经网络通路的输入输出训练数据；对各个神经网络通路进行训练；所述训练是基于训练样本集通过梯度下降法来学习各个神经网络通路中的网络参数。
[0008]根据本公开的第二方面，提供了一种道路检测方法，包括：获取已训练神经网络；所述神经网络包括第一神经网络通路、第二神经网络通路和第三神经网络通路；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；获取道路坐标；获取包含道路的图像信息，将所述图像信息输入第一神经网络通路的输入层；获取包含道路的点云信息，将所述点云信息输入第二神经网络通路的输入层；所述第三神经网络通路的输出层输出道路坐标信息。
[0009]根据本公开的第三方面，提供了一种模型训练装置，包括：第一神经网络通路构建模块：所述第一神经网络通路的输入层接收包含道路的图像信息；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；第二神经网络通路构建模块：所述第二神经网络通路的输入层接收包含道路的点云信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；第三神经网络通路构建模块：所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；所述第三神经网络通路的输出层输出道路坐标信息。
[0010]训练样本集获取模块：所述训练样本集包括多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据；神经网络训练模块：给定多个道路图像样本和对应的道路标注数据作为第一神经网络通路的输入输出训练数据；给定多个道路点云样本和对应的道路标注数据作为第二神经网络通路的输入输出训练数据；给定多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据，作为第三神经网络通路的输入输出训练数据；对各个神经网络通路进行训练；所述训练是基于训练样本集通过梯度下降法来学习各个神经网络通路中的网络参数。
[0011]根据本公开的第四方面，提供了一种道路检测装置，包括：已训练神经网络获取模块：所述神经网络包括第一神经网络通路、第二神经网络通路和第三神经网络通路；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；道路坐标获取模块：获取包含道路的图像信息，将所述图像信息输入第一神经网络通路的输入层；获取包含道路的点云信息，将所述点云信息输入第二神经网络通路的输入层；所述第三神经网络通路的输出层输出道路坐标信息。
[0012]根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器，存储器，以及与其他电子设备通信的接口；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备能够执行根据第三方面所述的模型训练装置。
[0013]根据本公开的第六方面，提供了一种电子设备，包括：至少一个处理器，存储器，以及与其他电子设备通信的接口；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备能够执行根据第四方面所述的道路检测装置。
[0014]根据本公开的第七方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的模型训练方法或根据第二方面所述的道路检测方法。
[0015]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
[0016]与现有技术相比，本专利技术的有益效果是：道路检测模型充分利用可见光相机或红外相机获取的图像信息和毫米波雷达或激光雷达获取的点云信息，从而提高了道路检测的鲁棒性。不同于标准道路环境具有统一的法律法规可供遵循；非标准道路环境具有各种复杂的情形。图像信息可以提供与人类视觉相似的信息输入，而点云信息则可以提供有效的环境深度信息作为补充，共同提高了道路检测的鲁棒性。通过三个神经网络通道的设置，分别从图像信息和点云信息中提取深度特征，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，包括：构建第一神经网络通路；所述第一神经网络通路的输入层接收包含道路的图像信息；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；构建第二神经网络通路；所述第二神经网络通路的输入层接收包含道路的点云信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；构建第三神经网络通路；所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；所述第三神经网络通路的输出层输出道路坐标信息；获取训练样本集；所述训练样本集包括多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据；训练神经网络；给定多个道路图像样本和对应的道路标注数据作为第一神经网络通路的输入输出训练数据；给定多个道路点云样本和对应的道路标注数据作为第二神经网络通路的输入输出训练数据；给定多个道路图像样本和对应的多个道路点云样本，以及对应的道路标注数据，作为第三神经网络通路的输入输出训练数据；对各个神经网络通路进行训练；所述训练是基于训练样本集通过梯度下降法来学习各个神经网络通路中的网络参数。2.根据权利要求1所述的方法，包括：所述第一神经网络层的数量等于所述第三神经网络层的数量；所述第一神经网络层输出的第一道路特征图信息输入相同尺度的第三神经网络层；所述第二神经网络层的数量等于所述第三神经网络层的数量；所述第二神经网络层输出的第二道路特征图信息输入相同尺度的第三神经网络层；所述第一神经网络通路具有第一输入层、第一卷积层、第一输出层；所述第一神经网络层来自于第一卷积层；所述第二神经网络通路具有第二输入层、第二卷积层、第二输出层；所述第二神经网络层来自于第二卷积层。3.根据权利要求1所述的方法，包括：所述第三神经网络通路具有第三卷积层、第三输出层；所述第三神经网络层来自于第三卷积层；每个所述第三神经网络层还包括一个第一中间层；所述第一中间层与所述第一神经网络层连接，将所述第一神经网络层输出的所述第一道路特征图信息经过正则化处理后得到第一道路正则化信息；每个所述第三神经网络层还包括一个第二中间层；所述第二中间层与所述第二神经网络层连接，将所述第二神经网络层输出的所述第二道路特征图信息经过正则化处理后得到第二道路正则化信息；所述第三神经网络层对第一道路正则化信息和第二道路正则化信息进行合并卷积，得到保存了图像道路信息和点云道路信息的综合道路信息；所述第三神经网络通路还具有第三映射层；所述第三映射层与所述第三卷积层相连，将所述第三卷积层输出的综合道路信息映射为世界坐标系下的道路坐标信息。
4.一种道路检测方法，包括：获取已训练神经网络；所述神经网络包括第一神经网络通路、第二神经网络通路和第三神经网络通路；所述第一神经网络通路包含多个第一神经网络层；不同的所述第一神经网络层输出不同尺度的第一道路特征图信息；所述第二神经网络通路包含多个第二神经网络层；不同的所述第二神经网络层输出不同尺度的第二道路特征图信息；所述第三神经网络通路包含多个第三神经网络层；每个所述第三神经网络层接收相同尺度的第一神经网络层和第二神经网络层的输出；获取道路坐标；获取包含道路的图像信息，将所述图像信息输入第一神经网络通路的输入层；获取包含道路的点云信息，将所述点云信息输入第二神经网络通路的输入层；所述第三神经网络通路的输出层输出道路坐标信息。5.根据权利要求4所述的方法，所述获取已训练神经网络，包括：获取已训练神经网络的访问接口；所述访问接口可被本地调用以使用所述已训练神经网络的所有功能；所述已训练神经网络部署在本地和/...

【专利技术属性】
技术研发人员：胡心怡，杨扬，
申请(专利权)人：上海伯镭智能科技有限公司，
类型：发明
国别省市：