一种实现场景结构预测、目标检测和车道级定位的方法技术

本发明专利技术请求保护一种实现场景结构预测、目标检测和车道级定位的方法，涉及自动驾驶、深度学习、计算机视觉等领域。首先本发明专利技术构建了一种车道级定位、场景结构预测和目标检测的神经网络，通过场景结构预测值和目标检测预测值与其真实值间的损失构建损失函数数学模型；通过图像和地图制作数据集并对网络进行训练；将网络部署于汽车上输出检测结果；最后将输出的场景结构通过匹配方法与地图进行检索匹配，矫正汽车的定位误差，实现车道级定位。该网络可以通过图像和地图制作数据集并对网络进行闭环训练且仅需要图像信息和地图信息就能完成场景结构预测、目标检测功能和车道级定位。场景结构预测结果里包含的道路结构可用于自动驾驶中。驾驶中。驾驶中。

【技术实现步骤摘要】
一种实现场景结构预测、目标检测和车道级定位的方法


[0001]本专利技术属于自动驾驶、深度学习、计算机视觉等领域，为一种车道级定位、场景结构预测和目标检测的神经网络。

技术介绍

[0002]随着深度学习的发展，自动驾驶技术越来越成熟，汽车对环境的感知能力已经逐步提升。如今大多数自动驾驶平台对环境感知解决方案仍然是利用一些强大的传感器(如激光雷达、精密GPS等)，但这些传感器大多价格昂贵且体积庞大，如仅仅使用视觉传感器完成环境感知任务，将大大降低成本。目前大多数用于定位的GPS由于精度不高，容易出现偏移或者定位不准的情况，而且GPS目前仍无法达到隧道内或偏远地区信号不良或无信号场景的精准定位。本专利技术提出多任务神经网络结合地图和图像方法，通过图像中目标与场景的布局预测配合地图，矫正GPS定位的偏移，达到车道级精准定位的目的。并且不受隧道或信号不良场景的影响。
[0003]综上所述，现有技术存在的问题是：目前大多数GPS定位精度不高且无法完成隧道或信号不良场景的精确定位。激光雷达、精密GPS等传感器对于环境感知来说成本较高。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实现场景结构预测、目标检测和车道级定位的方法，其特征在于，包括以下步骤：构建车道级定位、场景结构预测和目标检测的多任务神经网络，该多任务神经网络由编码器、解码器、全局特征提取模块、局部特征提取模块、匹配模块、目标检测预测模块、场景结构预测模块组成；通过场景结构预测值和目标检测预测值分别与真实值间的损失构建损失多任务神经网络函数数学模型；通过汽车拍摄图像和车辆车道地图制作准备数据集，使用数据集对多任务神经网络函数数学模型进行训练；将多任务神经网络部署于汽车上输出目标检测结果、场景结构预测结果；将输出的场景结构通过匹配方法与地图进行检索匹配，矫正汽车的地图定位误差，实现车道级定位。2.根据权利要求1所述的一种实现场景结构预测、目标检测和车道级定位的方法，其特征在于，所述构建车道级定位、场景结构预测和目标检测的多任务神经网络，具体包括以下步骤：构建基于条件化变量共享上下文参数C的多任务神经网络，网络中多个任务分支共享一个编码器编码结果，该变量C仅使用图像信息I推导；图像信息表示网络输入图像的特征。上下文参数C为编码器通过编码后的特征层，其中应包括车辆与道路的空间位置信息关系以及特征信息；构建解码器，分为场景解码器和目标解码器，对共享上下文参数进行解码以生成场景的布局；该解码器由一系列的反卷积和上采样层组成，这些层将共享上下文参数映射到场景生成场景结构和目标布局；构建参数化的鉴别器，通过将预测结果数据分布正则化，使其与合理场景几何图形的真实分布相似，从而正则化预测场景结构和目标布局；构建全局特征提取和局部特征提取解码模块，用于对最后一层场景结构层进行局部特征解码，对地图真值进行全局特征解码。3.根据权利要求2所述的一种实现场景结构预测、目标检测和车道级定位的方法，其特征在于，所述构建参数化的鉴别器，将预测结果数据分布正则化，具体包括：构建参数化的目标检测网络模块、场景结构预测网络模块，将预测结果数据分布正则化，使解码后的图片符合当前真实分布。4.根据权利要求2所述的一种实现场景结构预测、目标检测和车道级定位的方法，其特征在于，所述构建全局特征提取和局部特征提取解码模块，具体包括：全局特征提取通过全卷积神经网络的卷积层以及池化层进行全局特征的提取，局部特征提取通过全卷积神经网络的卷积层以及注意力机制进行局部特征的提取。注意力机制为一个增强对图像局部特征注意力的模块，其核心思想是在输入序列上引入注意权重，以优先考虑存在相关信息的位置集，可更加有效提取图像中局部特征。5.根据权利要求1
‑
4之一所述的一种实现场景结构预测、目标检测和车道级定位的方法，其特征在于，所述通过场景结构预测值和目标检测预测值分别与真实值间的损失构建损失多任务神经网络函数数学模型，具体包括以下步骤：使用地图提取各种场景图片为预置数据分布图用于匹配，然后依据经纬度提取汽车拍摄图像位置的地图；
根据场景结构预测和目标检测多任务神经网络的结构，将训练集标签分为两类：用于匹配的预置数据分布标签和用于训练多任务神经网络的地面场景真实值和目标检测场景结构图标签；确定场景结构预测与目标检测任务中上下文编码器、场景解码器和目标场景解码器的参数φ、ν、ψ，通过使用小批量随机梯度下降法最小化目标函数；使用L2误差项对场景结构和目标布局与真实值差值参数进行惩罚，使其与相应的地面真值布局接近，训练多任务神经网络；利用提出的损失函数数学模型来进行参数优化，使网络参数达到最优；将图像尺寸使用最近邻插值法放大或缩小为网络输入尺寸；将放大或缩小的图片进行归一化处理的视频帧送入神经网络中，经过网络的前向推理，得到场景结构和目标检测的结果输出。6.根据权利要求5所述的一种实现场景结构预测、目标检测和车道级定位的方法，其特征在于，所使用L2误差项对场景结构和目标布局与真实值差值参数进行惩罚，使其与相应的地面真值布局接近，训练多任务神经网络，具体包括：公式如1所示：其中Φ为上下文编码器的权重参数；ψ为车辆布局解码器参数；为场景结构解码器...

【专利技术属性】
技术研发人员：冯明驰，梁晓雄，萧红，岑明，李成南，王鑫，宋贵林，邓程木，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：