一种场景感知方法及其相关设备技术

本申请公开了一种场景感知方法及其相关设备，可以获取较为准确的目标场景的感知结果。本申请的方法包括：当需要对目标场景进行场景感知时，可先获取目标场景的图像数据和/或目标场景的点云数据，并将图像数据和/或点云数据输入至目标模型。接着，目标模型可先对图像数据和/或点云数据进行特征提取，从而得到图像数据的第一BEV特征和/或点云数据的第二BEV特征。然后，目标模型可利用预置的第三BEV特征，对第一BEV特征和/或第二BEV特征进行特征融合，从而得到特征融合结果。最后，目标模型可对特征融合结果做进一步的处理，从而得到目标场景的感知结果。至此，则完成了针对目标场景的场景感知。场景的场景感知。场景的场景感知。

【技术实现步骤摘要】
一种场景感知方法及其相关设备


[0001]本申请实施例涉及人工智能(artificial intelligence，AI)
，尤其涉及一种场景感知方法及其相关设备。

技术介绍

[0002]在自动驾驶领域中，为了令车辆的自动驾驶系统能够做出准确的自动驾驶决策，往往需要车辆的自动驾驶系统具备高精度的场景(环境)感知能力。一般地，自动驾驶系统可通过车辆的传感器来获取场景的信息，以基于这些信息来获取场景的感知结果。
[0003]在相关技术中，车辆的传感器通常包含相机以及激光雷达等等。当车辆的自动驾驶系统需要对周围场景进行感知时，自动驾驶系统可先通过相机采集场景的图像数据，并通过激光雷达采集场景的点云数据，并将这些数据输入至内置于系统中的神经网络模型。然后，神经网络模型可先提取出图像数据的特征以及点云数据的特征，再将图像数据的特征以及点云数据的特征进行融合，从而基于特征融合结果来获取场景的感知结果。
[0004]上述过程中，神经网络模型需要融合图像数据的特征以及点云数据的特征，以利用特征融合结果来获取场景的感知结果。由此可见，输入至本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种场景感知方法，其特征在于，所述方法通过目标模型实现，所述方法包括：获取目标场景的图像数据或所述目标场景的点云数据；对所述图像数据或所述点云数据进行特征提取，得到所述图像数据的第一鸟瞰视角BEV特征或所述点云数据的第二BEV特征；基于预置的第三BEV特征，对所述第一BEV特征或所述第二BEV特征进行特征融合，得到特征融合结果；基于所述特征融合结果，获取所述目标场景的感知结果。2.根据权利要求1所述的方法，其特征在于，所述对所述图像数据或所述点云数据进行特征提取，得到所述图像数据的第一BEV特征或所述点云数据的第二BEV特征包括：对所述图像数据或所述点云数据进行编码，得到所述图像数据的第一BEV特征或所述点云数据的第二BEV特征。3.根据权利要求1或2所述的方法，其特征在于，所述基于预置的第三BEV特征，对所述第一BEV特征或所述第二BEV特征进行特征融合，得到特征融合结果包括：基于预置的第三BVE特征，对所述第一BEV特征或所述第二BEV特征进行基于可变形注意力机制的处理，得到第四BEV特征；对所述第三BEV特征和所述第四BEV特征进行相加，得到第五BEV特征；对所述第五BEV特征进行基于混合专家模型的处理，得到第六BVE特征；对所述第五BEV特征和所述第六BEV特征进行相加，得到第七BEV特征；基于所述第七BVE特征，获取特征融合结果。4.根据权利要求3所述的方法，其特征在于，所述基于预置的第三BVE特征，对所述第一BEV特征或所述第二BEV特征进行基于可变形注意力机制的处理，得到第四BEV特征包括：对预置的第三BVE特征进行基于第一多层感知机的处理，得到所述第一BEV特征的第一子特征的第一位置信息或所述第二BEV特征的第二子特征的第二位置信息；基于所述第一位置信息或所述第二位置信息，从所述第一BEV特征或所述第二BEV特征中，获取所述第一子特征或所述第二子特征；对所述第三BVE特征进行基于第二多层感知机的处理，得到所述第一BEV特征的第一子特征的第一权重信息或所述第二BEV特征的第二子特征的第二权重信息；基于所述第一权重信息或所述第二权重信息，对所述第一子特征或所述第二子特征进行加权求和，得到第四BEV特征。5.根据权利要求3或4所述的方法，其特征在于，所述对所述第五BEV特征进行基于混合专家模型的处理，得到第六BVE特征包括：对所述第五BEV特征进行基于第一专家模型的处理，得到第八BEV特征；对所述第五BEV特征进行基于第二专家模型的处理，得到第九BEV特征；对所述第八BEV特征和所述第九BEV特征进行基于第三专家模型的处理，得到第六BEV特征。6.根据权利要求3或4所述的方法，其特征在于，所述对所述第五BEV特征进行基于混合专家模型的处理，得到第六BVE特征包括：将所述第五BEV特征划分为多个第三子特征；将所述第五BEV特征划分为多个第四子特征；
对所述多个第三子特征和所述多个第四子特征进行基于多个第四专家模型的处理，得到多个第五子特征，其中，基于一个第四专家模型的处理对应于至少一个第三子特征和至少一个第四子特征；对所述多个第五子特征进行相加，得到第六BVE特征。7.根据权利要求1至6任意一项所述的方法，其特征在于，所述点云数据为在激光雷达受到干扰的情况下采集到的数据，所述图像数据为在相机受到干扰的情况下采集到的数据。8.一种模型训练方法，其特征在于，所述方法包括：获取目标场景的图像数据或所述目标场景的点云数据；通过待训练模型对所述图像数据或所述点云数据进行处理，得到所述目标场景的感知结果，所述待训练模型用于：对所述图像数据或所述点云数据进行特征提取，得到所述图像数据的第一BEV特征或所述点云数据的第二BEV特征；基于预置的第三BEV特征，对所述第一BEV特征或所述第二BEV特征进行特征融合，得到特征融合结果；基于所述特征融合结果，获取所述目标场景的感知结果；基于所述目标场景的感知结果，对所述待训练模型进行训练，得到目标模型。9.根据权利要求8所述的方法，其特征在于，所述待训练模型，用于：对所述图像数据或所述点云数据进行编码，得到所述图像数据的第一BEV特征...

【专利技术属性】
技术研发人员：谢恩泽，洪蓝青，葛崇剑，陈俊松，王重道，李震国，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：