一种基于联合编码的图像与点云数据融合方法及装置制造方法及图纸

本申请提供一种基于联合编码的图像与点云数据融合方法及装置，该方法包括：对RGB图像进行语义分割得到前景图像和背景图像；对点云数据进行体素化处理；将体素的中心点转换到相机坐标系得到对应的像素；根据各体素对应的像素和前景图像确定多个前景体素；获取每个前景体素对应的前景像素的圆形区域内的邻近前景像素，对各邻近前景像素的特征进行融合得到融合特征，将融合特征叠加到前景像素的第一特征得到前景像素的第二特征；将前景体素的体素特征和第二特征进行叠加得到第三特征；利用自注意力模型对所有前景体素的第三特征进行处理，得到所有前景体素的第四特征。本申请利用图像前景信息融合两个模态特征，能够增强路侧灯塔的感知能力。

【技术实现步骤摘要】

本申请涉及智能交通，尤其是涉及一种基于联合编码的图像与点云数据融合方法及装置。

技术介绍

1、基于激光雷达点云的3d检测算法(pointpainting)，可以将图像和激光点云特征通过在图像中使用语义分割的方式补充点云的语义信息，但这种方式受限于语义分割的结果，从缺少深度的2d平面上得到的信息较少，很难准确的分类并分割出不同类别的像素，也会存在分割缺失或过多时将一个3dobject分裂开，加入了过多分类信息的可能。有的方法通过增稠前景点周围的激光雷达点云，方便网络识别出物体；但是这种方法仅仅是增加了新的点，没有使用前景分割这个伪深度特征增强原有激光点云点的语义信息。

2、现有基于4d毫米波雷达和图像特征融合进行3d目标检测的方法中，存在盲目选择图像特征位置，无法有效利用图像前景信息融合两个模态特征的技术缺陷。

技术实现思路

1、有鉴于此，本申请提供了一种基于联合编码的图像与点云数据融合方法及装置，以解决上述技术问题。

2、第一方面，本申请实施例提供一种基于联合编码的图像与点云数据融合方本文档来自技高网...

【技术保护点】

1.一种基于联合编码的图像与点云数据融合方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述语义分割模型采用DeepLabv3网络；

3.根据权利要求1所述的方法，其特征在于，根据各体素对应的像素和前景图像确定多个前景体素，包括：

4.根据权利要求1所述的方法，其特征在于，获取每个前景体素对应的前景像素的圆形区域内的邻近前景像素，包括：

5.根据权利要求1所述的方法，其特征在于，对各邻近前景像素的特征进行融合，得到融合特征，包括：

6.根据权利要求1所述的方法，其特征在于，利用预先训练完成的自注意力模型对所有...

【技术特征摘要】

1.一种基于联合编码的图像与点云数据融合方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述语义分割模型采用deeplabv3网络；

3.根据权利要求1所述的方法，其特征在于，根据各体素对应的像素和前景图像确定多个前景体素，包括：

4.根据权利要求1所述的方法，其特征在于，获取每个前景体素对应的前景像素的圆形区域内的邻近前景像素，包括：

5.根据权利要求1所述的方法，其特征在于，对各邻近前景像素的特征进行融合，得到融合特征，包括：

6.根据权利要求1所述的方法，其特征在于，利用预先训练完成的自...

【专利技术属性】
技术研发人员：张新钰，王力，郑莉，张皓明，郭翼天，
申请(专利权)人：清华大学，
类型：发明
国别省市：