【技术实现步骤摘要】
【】本专利技术涉及计算机视觉，具体涉及一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法。
技术介绍
0、
技术介绍
1、自动驾驶技术目前正在飞速发展，感知作为自动驾驶中感知环境信息的关键技术，在自动驾驶中起到了至关重要的作用。障碍物检测是感知技术中最基础，最重要的部分。准确检测出动态、静态障碍物，才能为下游提供可靠的输出，让自动驾驶车辆完成正确的驾驶决策，保证自动驾驶车辆的安全性。
2、当前的障碍物检测技术，主要围绕bev(鸟瞰图bird's eye view)视角，利用视觉信息进行检测。主要问题在于：
3、1.缺少多模态信息的融合，激光点云具有精确的3d信息，而相机生成的图片具有比较好的语义信息，二者结合可以互相弥补各自的不足，提升检测精度的上限。
4、2.单一视角，目前的检测方法集中在正视视角或者bev视角，并没有对多视角进行融合，无法发挥二者的检测优势。
5、3.时序信息结合多模态有所欠缺，时序信息，需要有效结合不同模态数据的特点，在特征层面，将对应时间序列中的多模态信息进行融合，然后再对时序信息进行整体的融合。可以保证不同模态的时序一致性。
6、bev(鸟瞰图bird's eye view)感知是一种将三维场景转化为水平二维平面的方法，在二维和三维物体检测、感知地图生成、可行走区域的检测等方面取得了广泛应用。
7、激光雷达(lidar)点云数据，是由三维激光雷达设备扫描得到的空间点的数据集，每一个点都包含了三维坐标信息，即x、y
8、体素化(voxelization)是将物体的几何形式表示转换成最接近该物体的体素表示形式，产生体数据，包含模型的表面信息和内部属性。
9、经过检索，检索到以下相关专利。
10、相关检索结果1：中国专利申请公布号、cn106908783a，名称、基于多传感器信息融合的障碍物检测方法，该专利采用的是视觉摄像头和毫米波雷达的融合，并非采用视觉摄像头和激光雷达的融合，激光雷达相比于毫米波雷达具有更强的3d空间感知能力、更加准确的高程信息以及更加密集的点云。因此用毫米波雷达与摄像头融合的障碍物检测方案精度相对不高。
11、相关检索结果2：中国专利申请公布号、cn111583337b，名称、一种基于多传感器融合的全方位障碍物检测方法，该专利需要用到空间配准完成图像特征和点云特征的空间位置的对应，并非直接借助了相机的内外参，并使用空间交叉注意力机制，将视觉特征投射到俯视视角，完成和点云的对应，并在对齐后，进行进一步融合。该专利方法需要考虑空间配准的准确性，没有利用神经网络去学习不同模态特征之间的关联关系，鲁棒性相对较差。
12、相关检索结果3：中国专利申请公布号、cn111352112b，名称、基于视觉、激光雷达和毫米波雷达的目标检测方法，该专利的候选区域仅由激光雷达和毫米波雷达生成，没有视觉模块的参与；而视觉模块在针对物体存在性上具有其独特的优势。该专利不属于特征层的融合，没有直接融合不同模态在同一视角下的特征图、然后进行检测，没有充分发挥视觉和激光点云的优势，不具有召回更多的障碍物的能力。同时这篇专利没有利用时序信息，而时序信息是提高检测结果稳定性的关键因素。
13、本专利技术针对缺少多模态信息融合、单一视角、时序信息结合多模态有所欠缺的技术问题，对自动驾驶障碍物检测方法进行了技术改进。
技术实现思路
0、
技术实现思路
1、本专利技术的目的是，提供一种多视角融合、多模态特征层融合、历史帧与当前帧融合的自动驾驶障碍物检测方法。
2、为实现上述目的，本专利技术采取的技术方案是一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法，包括以下步骤：
3、s1、通过视觉摄像头拍摄图像，对当前帧图片进行特征提取，生成图像正视视角特征图、检出正视候选障碍物、构建出图像俯视视角特征图；
4、s2、通过激光雷达获取激光雷达点云数据，将点云进行体素化处理并进行特征提取，生成点云俯视视角2d特征图；
5、s3、利用卷积神经网络将点云俯视视角2d特征图与图像俯视视角特征图进行融合，生成当前帧俯视视角融合特征图；
6、s4、利用循环神经网络将当前帧俯视视角融合特征图与时序对齐后的上一帧俯视视角融合特征图进行融合，生成多模态时序融合特征图；
7、s5、利用多模态时序融合特征图，基于俯视视角检出俯视候选障碍物；
8、s6、将正视候选障碍物和俯视候选障碍物在3d空间中进行非极大抑制处理，生成最终的障碍物检测结果。
9、优选地，步骤s1具体包括以下子步骤：
10、s11、第一处理支路在当前帧，对输入图片进行特征提取，生成图像正视视角特征图；
11、s12、第一处理支路将图像正视视角特征图接入正视障碍物检测器，基于正视视角检出正视候选障碍物；
12、s13、第一处理支路从输入图片俯视空间固定位置出发，利用相机内外参投射到对应的图像特征图上，采样相应图像正视视角特征图的图像特征，利用空间交叉注意力机制构建出图像俯视视角特征图。
13、优选地，步骤s2具体包括以下子步骤：
14、s21、第二处理支路利用激光雷达的外参矩阵，将激光雷达点云数据从激光雷达坐标系转到车载坐标系；
15、s22、第二处理支路将点云进行体素化处理，生成体素块集合，每个体素块存放体素块中点云的信息；
16、s23、第二处理支路将体素化后的点云，进行特征编码，每个体素块从3d坐标x、y、z、反射强度、时间戳的5维特征编码到11维特征，增加的维度信息包括单个点与几何中心，聚类中心的关系信息；
17、s24、第二处理支路将编码后的体素块集合，通过多层感知机进行特征提取，生成体素化3d特征；
18、s25、第二处理支路将体素化3d特征通过池化，将高度方向特征压到一个平面，将体素化3d特征压扁到俯视视角的2维平面特征，生成点云俯视视角2d特征图。
19、优选地，步骤s22：体素为空间立方格子，体素化的过程为将点云的空间分布离散化成等大小的空间立方格子。
20、优选地，步骤s3：采用1x1大小的卷积核对齐卷积神经网络将点云俯视视角2d特征图与图像俯视视角特征图两个模态的特征通道数，然后把卷积神经网络将点云俯视视角2d特征图与图像俯视视角特征图两个特征图连接在一起，随后利用3x3的卷积进行特征的进一步融合。
21、优选地，步骤s4：利用车辆的位姿，构建从上一帧到当前帧的变换矩阵，利用双线性插值法在上一帧俯视视角融合特征图上进行采样，变换采样点的位置，实现相对当前帧俯视视角融合特征图的时序对齐，生成时序对齐后的上一帧俯视视角融合特征图。
22、优选地，步骤s5：通过transformer神经网络本文档来自技高网...
【技术保护点】
1.一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法，其特征在于包括以下步骤：
2.根据权利要求1所述的一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法，其特征在于步骤S1具体包括以下子步骤：
3.根据权利要求2所述的一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法，其特征在于步骤S2具体包括以下子步骤：
4.根据权利要求3所述的一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法，其特征在于步骤S22：体素为空间立方格子，体素化的过程为将点云的空间分布离散化成等大小的空间立方格子。
5.根据权利要求3所述的一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法，其特征在于步骤S3：采用1x1大小的卷积核对齐卷积神经网络将点云俯视视角2D特征图与图像俯视视角特征图两个模态的特征通道数，然后把卷积神经网络将点云俯视视角2D特征图与图像俯视视角特征图两个特征图连接在一起，随后利用3x3的卷积进行特征的进一步融合。
6.根据权利要求5所述的一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法，
7.根据权利要求6所述的一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法，其特征在于步骤S5：通过transformer神经网络解码器进行解码，再通过俯视障碍物检测头，基于俯视视角检出俯视候选障碍物。
8.根据权利要求7所述的一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法，其特征在于步骤S6非极大抑制处理包括以下子步骤：
9.根据权利要求7所述的一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法，其特征在于：
...【技术特征摘要】
1.一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法，其特征在于包括以下步骤：
2.根据权利要求1所述的一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法，其特征在于步骤s1具体包括以下子步骤：
3.根据权利要求2所述的一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法，其特征在于步骤s2具体包括以下子步骤：
4.根据权利要求3所述的一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法，其特征在于步骤s22：体素为空间立方格子，体素化的过程为将点云的空间分布离散化成等大小的空间立方格子。
5.根据权利要求3所述的一种基于多视角和多传感器时空融合的自动驾驶障碍物检测方法，其特征在于步骤s3：采用1x1大小的卷积核对齐卷积神经网络将点云俯视视角2d特征图与图像俯视视角特征图两个模态的特征通道数，然后把卷积神经网络将点云俯视视角2d特征图与图像俯视视角特征图两个特征图连接...
【专利技术属性】
技术研发人员：徐泽林，戴文颖，赵季，章健勇，
申请(专利权)人：北京辉羲智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。