【技术实现步骤摘要】
本专利技术属于智能自动驾驶汽车环境感知，特别设计了一种基于占据网络的多传感器融合智能汽车环境感知方法及模型。
技术介绍
1、相较于传统汽车，智能汽车在提高交通效率、减少交通事故、提高生产效率、减少大气污染等方面具有显著优势，国内外车企、互联网公司、科研院所因此纷纷加入研究智能汽车行列，智能汽车在过去几年中快速发展。然而，由于复杂的驾驶环境，实现完全自主驾驶并非易事，这就要求智能汽车能够对环境做出准确的感知，这也是实现自动驾驶的首要环节，是汽车决策与控制的基础，为下层提供周边多目标的位置、速度以及运动行为等必要信息。现阶段，智能汽车环境感知离不开相机、激光雷达、毫米波雷达、超声波雷达等车载环境感知传感器，环境感知任务主要包括：目标检测、跟踪、语义分割、车道线检测等任务。
2、不同车载环境感知传感器都有各自的优缺点，相机语义信息丰富，但透视成像原理不可避免地造成深度信息的缺失，如mask r-cnn、ssd等网络；激光雷达可以精确地捕捉环境的三维信息，如pointrcnn、pv-rcnn++等网络，但其点云的稀疏和无序又会导致语义的缺失；毫米波雷达分辨率低，但是其穿透能力强在雨雾等恶劣天气下几乎不受影响。对于智能汽车而言，准确感知周围环境中车辆的位置、速度和行驶轨迹等关键信息对于确保安全驾驶至关重要。
3、另外，现有环境感知方法大多采用基于纯视觉或基于多传感器融合的三维目标检测，如bevfusion、bevdet等，但是语义占用感知对于自动驾驶至关重要，因为自动驾驶汽车需要对三维城市结构进行细粒度感知，而三维
4、然而，由于单一传感器自身的固有局限，其所获取的信息往往受到距离、角度和环境影响，难以实现对复杂环境下车辆行为的准确捕捉，多传感器融合成为实现复杂环境可靠感知的重要途径，是该领域的前沿技术方向。
5、另外，现有相关基于占据网络感知方案缺乏城市场景的多样性的感知，只是基于纯视觉来评估正前方视角或环视图的占据预测，如fb-occ、tpvformer、特斯拉的occ方案等，并没有全方位地融合多种类型的传感器数据。
6、而目前将占据网络应用到多传感器融合感知存在计算资源消耗大、没有成熟的技术方案等问题。
技术实现思路
1、为了解决上述问题，提高智能汽车感知的精度和鲁棒性，本专利技术提出了一种基于占据网络的多传感器融合感知轻量化网络fusion-occ以及利用该模型进行融合感知的方法。专利技术实施流程图如图1所示，采用多传感器融合的策略，将不同传感器获取的数据包括多视角图像和激光雷达点云进行有效整合和处理；通过占据网络技术，在环境感知过程中引入了对智能汽车的占据预测，以获得更全面且准确的环境感知结果，为智能汽车的自主路径规划和决策提供了更为准确、可靠的上层环境感知信息；考虑到将占据网络应用到多传感器融合感知存在计算资源消耗大的问题，本专利技术提出了冗余体素采样丢弃的方案。本专利技术具体包括以下步骤：
2、s1：提取激光雷达点云和相机多视角图像的体素特征；
3、s2：得到激光雷达点云处理支路和多视角图像处理支路的占据预测；
4、s3：通过融合模块得到基于融合的体素特征；
5、s4：利用历史帧的信息，对多帧特征进行关联；
6、s5：模型训练与损失函数设置。
7、优先地，s1中提取激光雷达点云和相机多视角图像的体素特征，具体实现如下：
8、t时刻时网络将激光雷达点云和相机多视角图像作为输入，分别经过相应的骨干网络的特征提取模块进行特征提取，该模块包括两个并行通道，激光雷达点云处理支路和多视角图像处理支路。在相机多视角图像处理支路中，骨干网络采用轻量级resnet残差网络与多尺度特征金字塔结构(fpn)，这里的图像编码器也可以采用其他成熟的框架来提取图像特征，如swin transformer，vgg等，分别提取多视角图像的特征。在激光雷达点云处理支路中，骨干网络对点云进行体素化，然后，三维稀疏卷积用于点云的特征编码，生成点云的多尺度体素特征。
9、优先地，s2中得到激光雷达点云处理支路和多视角图像处理支路的占据预测，具体实现如下：
10、在多视角图像处理支路中，得到多视角图像特征，通过视角转换将图片二维特征投影到三维自车坐标系中，最终得到的相机体素特征fc具有与fl相同的大小。经过占用解码器与occupancy检测头，得到多视角图像处理支路的占据预测。在激光雷达点云处理支路中，点云体素特征经过占用解码器与occupancy检测头，得到激光雷达预测出的语义占用结果。
11、优先地，s3中通过融合模块得到基于融合的体素特征，具体实现如下：
12、激光雷达点云体素特征和相机体素特征用于占据预测的自然表示，在多模态分支中，本专利技术提出了利用占据语义指导的多模态注意力机制(occupancy-guided multimodalattention mechanism，简称为ogma)来自适应的融合点云体素特征和相机体素特征，得到基于融合的体素特征。通过占据语义指导的多模态注意力机制，确保了最终生成的占据预测不仅反映了相机多视角图像和激光雷达点云数据的互补信息，而且具有较高的准确性和分辨率。本专利技术还考虑到基于占据网络的多传感器融合环境感知复杂性在于高分辨率的三维预测的计算负担，本专利技术提出了冗余体素采样丢弃法(redundant voxel samplingdiscard method，简称为rvsd)来降低模型的复杂性。最终的语义占据预测通过占用解码器和occupancy检测头来获得。
13、优先地，s4中利用历史帧的信息，对多帧特征进行关联，具体实现如下：
14、为了充分利用历史帧的跟踪信息，提高检测的精度，本专利技术使用了多帧特征关联模块。模块的输入为两时刻的融合后的图像和点云特征图，最终输出为融合多帧特征后的特征图。
15、优先地，s5中设置模型训练与损失函数；具体训练策略为：本专利技术采用了一种联合优化策略，通过综合应用多个损失函数来微调网络参数，从而使得网络能够有效应对分类困难以及边界模糊的问题。利用交叉熵(cross-entr本文档来自技高网...
【技术保护点】
1.一种基于占据网络的多传感器融合感知轻量化网络模型，其特征在于，包括：特征提取模块、占据预测模块、融合模块、多帧特征关联模块；
2.根据权利要求1所述的一种基于占据网络的多传感器融合感知轻量化网络模型，其特征在于，所述相机多视角图像处理支路，骨干网络采用轻量级ResNet残差网络与多尺度特征金字塔结构(FPN)，分别提取多视角图像的体素特征；所述激光雷达点云处理支路中，骨干网络对点云进行体素化，再利用三维稀疏卷积进行点云的特征编码，生成点云的多尺度体素特征，所述多视角图像处理支路中的骨干网络还可以采用Swin Transformer，VGG实现。
3.根据权利要求1所述的一种基于占据网络的多传感器融合感知轻量化网络模型，其特征在于，所述模型的训练采用如下策略：
4.一种基于占据网络的多传感器融合感知轻量化网络模型的智能汽车环境感知方法，其特征在于，包括如下步骤：
5.根据权利要求4所述的智能汽车环境感知方法，其特征在于，所述S1的实现包括如下：
6.根据权利要求5所述的智能汽车环境感知方法，其特征在于，所述S2的实现包
7.根据权利要求4所述的智能汽车环境感知方法，其特征在于，所述S3的实现包括：
8.根据权利要求4所述的智能汽车环境感知方法，其特征在于，所述S4的实现包括：
9.根据权利要求8所述的智能汽车环境感知方法，其特征在于，还包括S5：设计损失函数；具体包括：
10.根据权利要求9所述的智能汽车环境感知方法，其特征在于，还包括设置训练方式，采用屏蔽模式进行训练；具体地，模拟传感器故障的场景，在训练过程中，每个传感器模态独立地以预定的概率α1和α2被选择用于训练，确保模型在单模态和多模态下都能得到充分的训练，即使在多模态感知系统的一个或多个传感器发生故障时，仍能依靠剩余有效的传感器模态维持功能。
...【技术特征摘要】
1.一种基于占据网络的多传感器融合感知轻量化网络模型，其特征在于，包括：特征提取模块、占据预测模块、融合模块、多帧特征关联模块；
2.根据权利要求1所述的一种基于占据网络的多传感器融合感知轻量化网络模型，其特征在于，所述相机多视角图像处理支路，骨干网络采用轻量级resnet残差网络与多尺度特征金字塔结构(fpn)，分别提取多视角图像的体素特征；所述激光雷达点云处理支路中，骨干网络对点云进行体素化，再利用三维稀疏卷积进行点云的特征编码，生成点云的多尺度体素特征，所述多视角图像处理支路中的骨干网络还可以采用swin transformer，vgg实现。
3.根据权利要求1所述的一种基于占据网络的多传感器融合感知轻量化网络模型，其特征在于，所述模型的训练采用如下策略：
4.一种基于占据网络的多传感器融合感知轻量化网络模型的智能汽车环境感知方法，其特征在于，包括如下步骤：
...
【专利技术属性】
技术研发人员：王海，邵政，蔡英凤，陈龙，罗彤，李祎承，孙晓强，刘擎超，
申请(专利权)人：江苏大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。