环境全景分割的方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种环境全景分割的方法、装置、电子设备及存储介质，该方法包括：从每个相机的原始图像中提取相机点云特征；从每个毫米波雷达的点云数据中提取毫米波点云特征；从每个激光雷达的点云数据中提取激光点云特征；将所述相机点云特征、所述毫米波点云特征、所述激光点云特征分别转换到BEV空间坐标下，分别得到相机BEV语义特征、毫米波BEV语义特征、激光BEV语义特征；将所述相机BEV语义特征、所述毫米波BEV语义特征、所述激光BEV语义特征进行融合并进行特征提取，得到融合BEV语义特征；将所述融合BEV语义特征进行实例分割、语义分割，得到全景分割结果；对所述全景分割结果进行3D回归，得到3D全景分割结果。

【技术实现步骤摘要】

本申请属于图像处理领域，尤其涉及一种环境全景分割的方法、装置、电子设备及存储介质。

技术介绍

1、目前的环境感知方案大多采用单一传感器，如相机、激光雷达。单一传感器环境感知的劣势包括信息不完整、有限的适应性、容易受到干扰、缺乏冗余和容错性。现有的多传感器融合环境感知方法多采用后融合方式进行全景分割。

2、由于后融合方法是在实例分割结果的基础上进行时空转换并融合，因此，当某个实例分割结果缺失的情况下，可能造成该方法的融合结果准确性很差或不可用的情况，因此，该方法的鲁棒性较低。

技术实现思路

1、鉴于此，本申请的目的在于提供一种环境全景分割的方法、装置、电子设备及存储介质，以改善多传感器后融合方法鲁棒性较低的问题。

2、本申请的实施例是这样实现的：

3、第一方面，本申请实施例提供了一种环境全景分割的方法，所述方法包括：

4、从每个相机的原始图像中提取相机点云特征；从每个毫米波雷达的点云数据中提取毫米波点云特征；从每个激光雷达的点云数据中提取激光点云特征；将所述相机点本文档来自技高网...

【技术保护点】

1.一种环境全景分割的方法，其特征在于，包括：

2.如权利要求1所述的环境全景分割的方法，其特征在于，所述从每个相机的原始图像中提取相机点云特征，包括：

3.如权利要求1所述的环境全景分割的方法，其特征在于，所述从每个毫米波雷达的点云数据中提取毫米波点云特征，包括：

4.如权利要求1所述的环境全景分割的方法，其特征在于，所述从每个激光雷达的点云数据中提取激光点云特征，包括：

5.如权利要求1所述的环境全景分割的方法，其特征在于，所述将所述相机点云特征转换到BEV空间坐标下，包括：

6.如权利要求1所述的环境全景分割的方法，其特征...

【技术特征摘要】

1.一种环境全景分割的方法，其特征在于，包括：

2.如权利要求1所述的环境全景分割的方法，其特征在于，所述从每个相机的原始图像中提取相机点云特征，包括：

3.如权利要求1所述的环境全景分割的方法，其特征在于，所述从每个毫米波雷达的点云数据中提取毫米波点云特征，包括：

4.如权利要求1所述的环境全景分割的方法，其特征在于，所述从每个激光雷达的点云数据中提取激光点云特征，包括：

5.如权利要求1所述的环境全景分割的方法，其特征在于，所述将所述相机点云特征转换到bev空间坐标下，包括：

6.如权利要求1所述的环境全景分割的方法，其特征在于，所述将所述相机bev语义特征、所述毫米波bev语义特征、所述激光bev语义特征进行融合并进行特征提取，得到融合bev语义特征，包括：

7.如权利要求1所述的环境全景分割的方法，其特征在于，所述将所述融合bev语义特征进行语义分割、实例分割，得到全景分割结果，包括：

8.一种环境全景分割的装置，其特征在于，所述装...

【专利技术属性】
技术研发人员：杜雪飞，张成杰，王征，
申请(专利权)人：重庆赛迪奇智人工智能科技有限公司，
类型：发明
国别省市：