三维语义占用预测方法、系统、设备、介质及产品技术方案

本公开是关于一种三维语义占用预测方法、系统、设备、介质及产品，包括：获得环视图像，其中，环视图像包括多个视角下的彩色图像；对环视图像进行三维网格特征提取，得到初始三维网格特征；划分初始三维网格特征的局部范围，并在局部范围内进行特征提取，得到三维特征，对初始三维网格特征进行池化处理，得到平面特征，并根据平面特征得到表征语义布局信息的二维特征；融合三维特征和二维特征，得到多尺度三维网格特征；根据多尺度三维网格特征，预测出环视图像的三维语义占用结果。本申请通过上述方式能够为完整的还原整个三维环境，在三维语义占用预测准确性上具有明显提升。语义占用预测准确性上具有明显提升。语义占用预测准确性上具有明显提升。

【技术实现步骤摘要】
三维语义占用预测方法、系统、设备、介质及产品


[0001]本公开涉及自动驾驶领域，尤其涉及一种三维语义占用预测方法、系统、设备、介质及产品。

技术介绍

[0002]三维语义占用能够完整地表征三维环境中的关键信息，为自动驾驶决策提供感知结果，现有技术中常采用三视角方法(英文记为TPVFormer)作为从环视图像到三维语义占用的中间表示，三视角法是采用三个视角下的二维平面特征作为整体三维环境的特征表示，然而由于维度上的本质差异，这种特征表示在从多视角图像编码视觉特征时会产生明显的信息损失，而这种损失在解码预测的过程中是无法恢复的，从而导致了该方法在三维语义占用预测任务上的表现欠佳。举例来讲，假设三维坐标系X、Y、Z的正方向分别对应车身向右、向前和向上，而常见的驾驶场景下可能存在一系列沿着X轴双向行驶的车辆，在该情境下，X
‑
Y平面能够从俯视角对这些车辆进行感知，然而在X
‑
Z平面上同向行驶的车辆会产生相互交叠、在Y
‑
Z平面上异向行驶的车辆也会相互交叠，从而导致最终得到的三维特征会包含三条射线上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维语义占用预测方法，其特征在于，包括：获得环视图像，其中，所述环视图像包括多个视角下的彩色图像；对所述环视图像进行三维网格特征提取，得到初始三维网格特征；划分所述初始三维网格特征的局部范围，并在所述局部范围内进行特征提取，得到三维特征，对所述初始三维网格特征进行池化处理，得到平面特征，并根据所述平面特征得到表征语义布局信息的二维特征；融合所述三维特征和所述二维特征，得到多尺度三维网格特征；基于所述多尺度三维网格特征和基于转换器的三维解码器预测出所述环视图像的三维语义占用结果。2.如权利要求1所述的三维语义占用预测方法，其特征在于，对所述环视图像进行三维网格特征提取，得到初始三维网格特征，包括：将所述环视图像输入到图像编码器中，获取多张视觉特征图；将所述多张视觉特征图输入到视角转换器中，获取上下文特征和深度分布特征；通过对所述上下文特征和所述深度分布特征计算外积，并进一步进行体素池化，获取所述初始三维网格特征。3.如权利要求1所述的三维语义占用预测方法，其特征在于，所述划分所述初始三维网格特征的局部范围，并在所述局部范围内进行特征提取，得到三维特征，对所述初始三维网格特征进行池化处理，得到平面特征，并根据所述平面特征得到表征语义布局信息的二维特征，包括：将所述初始三维网格特征在水平方向上划分预设大小网格，并基于共享的窗口注意力机制进行处理，并在所述局部范围内进行特征提取，得到三维特征；将所述初始三维网格特征在高度方向上平均池化，获取平面特征，并将所述平面特征通过所述共享的窗口注意力机制和空洞空间卷积池化金字塔处理，并根据所述平面特征得到表征语义布局信息的二维特征。4.如权利要求1所述的三维语义占用预测方法，其特征在于，所述融合所述三维特征和所述二维特征，得到多尺度三维网格特征，包括：对所述三维特征和所述二维特征采用加权求和的方式进行融合，获取多尺度三维网格特征，其中，所述加权求和过程是以所述局部特征高度方向上的权重引导的。5.如权利要求1所述的三维语义占用预测方法，其特征在于，基于所述多...

【专利技术属性】
技术研发人员：张云鹏，朱政，都大龙，
申请(专利权)人：北京鉴智科技有限公司，
类型：发明
国别省市：