语义表示的处理方法、装置、电子设备及计算机存储介质制造方法及图纸

本发明专利技术实施例提供了一种语义表示的处理方法、装置、电子设备及计算机可读存储介质，涉及自动驾驶领域，包括：从图像中提取特征，得到平视图特征，以及，从激光雷达数据中提取特征，得到雷达特征；对平视图特征和雷达特征进行几何注意力融合，得到平视图特征和雷达鸟瞰图特征；将平视图特征切块，得到多个平视图特征块，并将多个平视图特征块标记为语义标记，以及，将雷达鸟瞰图特征切块，得到多个雷达鸟瞰图特征块，并将多个雷达鸟瞰图特征块标记为语义标记；基于语义标记将平视图特征块和雷达鸟瞰图特征块进行语义融合，得到语义表示；基于掩膜对语义表示进行语义重建，得到重建后的语义表示。本发明专利技术实施例结合了几何融合和语义融合的优点。优点。优点。

【技术实现步骤摘要】
语义表示的处理方法、装置、电子设备及计算机存储介质


[0001]本专利技术涉及自动驾驶
，特别是涉及一种语义表示的处理方法、一种语义表示的处理装置、一种电子设备及一种计算机可读存储介质。

技术介绍

[0002]自动驾驶任务的最新趋势可分为流水线和端到端两种范式。流水线范式将驾驶分解成顺序模块任务，主要包括定位，场景重建，路径规划，驾驶控制等。端到端驾驶范式多应用应用状态
‑
动作的模仿学习或强化学习调解特征表示状态，以教导智能体在给定的驾驶环境下正确行事。
[0003]然而，流水线范式往往是为了特定的感知任务设计的，而不是一个综合的，全面的状态表示。所以当前的这些3D驾驶特征融合方法并不完全适合全面的端对端驾驶任务。
[0004]另外，端到端驾驶范式需要在不同的模态中进行单独的分支处理，然后通过注意力完成最终的融合，但是，这种融合是纯几何融合，会阻碍综合复杂的城市端到端驾驶的性能，因为几何变换和网络下采样可能会丢失自动驾驶的特殊系信息，例如远处的红绿灯。

技术实现思路

[0005]鉴于上述问本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义表示的处理方法，其特征在于，所述方法包括：从图像中提取特征，得到平视图特征，以及，从激光雷达数据中提取特征，得到雷达特征；对所述平视图特征和所述雷达特征进行几何注意力融合，得到平视图特征和雷达鸟瞰图特征；将所述平视图特征切块，得到多个平视图特征块，并将所述多个平视图特征块标记为语义标记，以及，将所述雷达鸟瞰图特征切块，得到多个雷达鸟瞰图特征块，并将所述多个雷达鸟瞰图特征块标记为语义标记；基于所述语义标记将所述平视图特征块和所述雷达鸟瞰图特征块进行语义融合，得到语义表示；基于掩膜对所述语义表示进行语义重建，得到重建后的语义表示。2.根据权利要求1所述的语义表示的处理方法，其特征在于，所述对所述平视图特征和所述雷达特征进行几何注意力融合，得到平视图特征和雷达鸟瞰图特征，包括：采用单调到鸟瞰图转换注意力对所述平视图特征和所述雷达特征进行几何注意力融合，得到平视图特征和雷达鸟瞰图特征。3.根据权利要求2所述的语义表示的处理方法，其特征在于，所述采用单调到鸟瞰图转换注意力对所述平视图特征和所述雷达特征进行几何注意力融合，得到平视图特征和雷达鸟瞰图特征，包括：将所述平视图特征进行切割，得到多个平视图特征向量，以及，将所述雷达特征进行切割，得到多个雷达特征向量；将所述多个平视图特征向量与所述多个雷达特征向量进行几何融合，得到融合后的特征向量；将所述融合后的特征向量通过注意力机制分别映射为平视图特征和雷达鸟瞰图特征。4.根据权利要求1所述的语义表示的处理方法，其特征在于，所述基于所述语义标记将所述平视图特征块和所述雷达鸟瞰图特征块进行语义融合，得到语义表示，包括：采用具有位置嵌入的编码器，将所述平视图特征块和所述雷达鸟瞰图特征块的语义标记在预设语义空间中进行空间特征对齐，得到对齐后的语义表示。5.根据权利要求1所述的语义表示的处理方法，其特征在于，所述基于掩膜对所述语义表示进行语义重建，得到重建后的语义表示，包括：采用掩膜按照预设比例对所述语义表示进行遮盖，得到包含遮盖部分的语义表示；对所述遮盖部分进行重建，得到重建后的语义表示。6.一种语义表示的处理装置，其特征在于，所述装置包括：提取模块，用于从图像中提取特征，得到平视图...

【专利技术属性】
技术研发人员：段逸群，国显达，朱政，
申请(专利权)人：北京鉴智科技有限公司，
类型：发明
国别省市：