一种车载传感器融合的交通目标检测系统技术方案

本发明专利技术涉及一种车载传感器融合的交通目标检测系统，包括传感器和智驾控制器，传感器包括RGB相机、夜视相机、毫米波雷达和激光雷达，所述智驾控制器包括输出3D目标信息的融合算法、运动规划和运动控制三个模块；所述传感器通过数据线将原始数据输入至所述智驾控制器，经过所述智驾控制器的融合算法，通过CAN信号控制线控底盘并完成自动行驶任务。与现有技术相机，本发明专利技术能够提高智能驾驶系统环境感知模块的鲁棒性和稳定性。模块的鲁棒性和稳定性。模块的鲁棒性和稳定性。

【技术实现步骤摘要】
一种车载传感器融合的交通目标检测系统


[0001]本专利技术涉及智能网联汽车领域，尤其涉及一种车载传感器融合的交通目标检测系统。

技术介绍

[0002]智能汽车周边环境目标的检测是重要的研究内容之一。目前目标检测技术逐渐由平面2D目标检测向空间3D目标检测进行过渡，主要是因为3D目标检测能够输出感知范围内环境目标的类别及在三维空间中的位置、长宽高、方位角等信息。而且，3D目标检测更加适合于检测之后其他任务模块，如目标跟踪、预测和路径规划等。
[0003]对于环境3D目标检测的研究，已存在大量可供参考的传感器技术。基于图像的3D目标检测主要利用二维框信息和目标朝向信息，再结合先验假设，得到图像中目标的三维框。基于激光点云的3D目标检测，先通过聚类将目标点云分割，再对分割的点云部分进行回归，完成3D检测。然而，基于单一传感器的3D检测由于传感器缺陷，仅通过传感器算法难以进一步提升检测率。基于车载传感器的目标检测方法在近年不断研究，但交通场景下的交通目标检测系统仍然存在部分问题，主要体现如下：第一、基于单传感器的3D目标检测无法直接完整获取交通目标的特征，通常依赖于一定假设或先验信息，例如，单相机图像虽包含大量的语义信息，但在极端环境下检测效果较差且无深度信息；激光雷达能够通过激光测距形成三维空间的点云，但点云比较稀疏，容易出现由于目标反射点较少而引起误检或漏检；毫米波更加稀疏，目标级的点云数据通常无法精确判断探测目标的类别和3D框。
[0004]其二、基于多传感器的后端融合（目标级融合）依赖于单个传感器的目标检测算法，无法充分结合各自传感器的优势且语义损失较大。后端数据融合方法由于需要考虑各传感器3D目标的特征数据融合，包括数据关联、状态更新、外形融合，传统的点目标模型或椭圆目标模型不适用于3D框目标模型的数据融合，3D框的融合目前存在的研究较少。
[0005]第三、基于多传感器的前端融合（像素级、特征级融合）目前效果较好的方法均基于神经网络方法。所提方法大部分均采用传感器数据之间紧密耦合，当一个传感器失效或者数据差异较大，可能直接导致检测系统失效，抗环境扰动能力较差。
[0006]环境感知系统是智能汽车的重要系统之一，可提供丰富的环境目标和周围信息，从而顺利完成自动驾驶行驶任务。多传感器融合的环境感知系统研究具有重要实际应用价值。

技术实现思路

[0007]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种车载传感器融合的交通目标检测系统。
[0008]本专利技术采用的技术方案是：一种车载传感器融合的交通目标检测系统，包括传感器和智驾控制器，所述传感器包括RGB相机、夜视相机、毫米波雷达和激光雷达，所述智驾控
制器中包括输出3D目标信息的融合算法、运动规划和运动控制三个模块；所述传感器通过数据线将原始数据输入至所述智驾控制器，经过所述智驾控制器的融合算法，通过CAN信号控制线控底盘并完成自动行驶任务；融合算法包括图像处理模块、点云处理模块、特征融合模块和检测头模块，所述RGB相机采集的RGB图像、夜视相机采集的夜视图像分别输入到两种传感器模态对应的图像处理模块，所述毫米波雷达的目标级点云、激光雷达激光点云分别输入到对应的所述点云处理模块；所述图像处理模块和所述点云处理模块将图像和点云信息输入到所述特征融合模块后，再由特征融合模块传输到所述检测头模块，最后由所述检测头模块输出3D目标。
[0009]进一步地，毫米波雷达的目标级点云中每个点的特征至少包括在毫米波雷达坐标系的横向坐标、纵向坐标、横向速度和纵向速度。
[0010]进一步地，激光雷达的激光点云中每个点的特征至少包括在毫米波雷达坐标系的X轴坐标、Y轴坐标、Z轴坐标和反射率。
[0011]进一步地，智驾控制器内部集成Linux系统，且通信架构采用ROS或LCM，用以完成软件模块之间的信息交互。
[0012]进一步地，融合算法将传感器原始数据经过预处理后，输入至所述融合算法的神经网络；神经网络输出感知区域内的3D目标信息，主要包括中心坐标(x, y, z)、外形尺寸(宽w, 长l, 高h)和朝向(θ)。
[0013]进一步地，神经网络包含数据编码模块、特征融合模块和3D目标检测模块三部分。
[0014]进一步地，特征融合模块将权重化的传感器数据特征沿地面法向方向堆叠在一起，从而转换成为固定长宽和固定通道数的伪图像特征图；所述特征融合模块将所述伪图像特征图输入至预训练的卷积神经网络模型框架，并将所述卷积神经网络模型最后三个模块的输出特征使用上采样卷积，得到同一尺寸的特征；所述同一尺寸的特征沿通道方向即第1维度堆叠，形成融合特征。
[0015]进一步地，3D目标检测模块包括共享层、分类层和回归层；所述融合特征经过所述共享层后，分别通过分类层和回归层，分别分类出对应预设锚框的类别和回归出3D框参数，其中3D框参数包括与对应预设锚框的位置偏差值、外形偏差值和航向角差值。
[0016]图像处理模块将输入的三通道图像经过预训练的主干网络进行编码，生成的特征图通过两个上采样模块分别得到特征图和深度预测图；所述特征图表示特征图各像素位置处的特征值；所述深度预测图表示特征图各像素位置处的深度值。通过特征图各像素位置处的特征值和其深度值，可将所述特征图映射至三维空间形成视锥形状的空间特征图。所述空间特征图通过采样生成固定尺寸的体素特征图。所述体素特征图的每个体柱分别编码，并在垂直方向取最大值，最后生成图像鸟瞰图特征。另一方面，所述主干网络的特征图经过权重回归网络，得到图像数据权重W。
[0017]点云处理模块先将点云中每个点分布至水平路面网格的体柱。每个所述体柱中所有的点通过多层感知机进行特征提取，并在数量通道方向取极大值，从而每个所述体柱均得到固定长度的特征向量。所述特征向量重新映射至所述水平路面网格，从而得到激光鸟瞰图特征。所述激光鸟瞰图特征经过编码解码模块，生成点云鸟瞰图特征。另一方面，编码解码模块另一条分支经过权重回归模块，得到点云数据权重。
[0018]与现有技术相比，本专利技术具有以下优点：
本专利技术解决了异构多传感器融合目前存在的部分问题，通过将各车载传感器的数据通过数据处理统一投影至水平地面的鸟瞰图，从而将不同传感器的数据转换为统一表达方式，且转换为卷积神经网络能够处理的数据格式。
[0019]本专利技术将传感器数据的权重引入融合算法，可在不同极端天气下的凸显各传感器数据的重要性，从而提高智能驾驶系统环境感知模块的鲁棒性和稳定性。
[0020]本专利技术在激光雷达点云数据基础上，融合毫米波雷达点云数据后，3D目标检测精度得到明显提升；进一步融合图像数据后，3D目标检测达到最佳性能。
附图说明
[0021]图1为一种车载传感器融合的交通目标检测系统架构图。
[0022]图2为基于多传感器融合的感知算法架构图。
[0023]图3为图像处理模块网络结构图。
[0024]图4为点云处理模块网络结构图。
[0025]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车载传感器融合的交通目标检测系统，包括传感器和智驾控制器，其特征在于，所述传感器包括RGB相机、夜视相机、毫米波雷达和激光雷达，所述智驾控制器包括输出3D目标信息的融合算法、运动规划和运动控制三个模块；所述传感器通过数据线将原始数据输入至所述智驾控制器，经过所述智驾控制器的融合算法，通过CAN信号控制线控底盘并完成自动行驶任务；所述融合算法包括图像处理模块、点云处理模块、特征融合模块和检测头模块，所述RGB相机采集的RGB图像、夜视相机采集的夜视图像分别输入到两种传感器模态对应的图像处理模块，所述毫米波雷达的目标级点云、激光雷达激光点云分别输入到对应的所述点云处理模块；所述图像处理模块和所述点云处理模块将图像和点云信息输入到所述特征融合模块后，再由特征融合模块传输到所述检测头模块，最后由所述检测头模块输出3D目标。2.根据权利要求1所述的一种车载传感器融合的交通目标检测系统，其特征在于，所述毫米波雷达的目标级点云中每个点的特征至少包括在毫米波雷达坐标系的横向坐标、纵向坐标、横向速度和纵向速度。3.根据权利要求1所述的一种车载传感器融合的交通目标检测系统，其特征在于，所述激光雷达的激光点云中每个点的特征至少包括在毫米波雷达坐标系的X轴坐标、Y轴坐标、Z轴坐标和反射率。4.根据权利要求1所述的一种车载传感器融合的交通目标检测系统，其特征在于，所述智驾控制器内部集成L...

【专利技术属性】
技术研发人员：田炜，邓振文，熊璐，黄禹尧，谭大艺，陈涵晟，高众，郑泽涵，
申请(专利权)人：南昌智能新能源汽车研究院，
类型：发明
国别省市：