一种基于级联特征交互的点云图像深度补全方法技术

本发明专利技术公开了一种基于级联特征交互的点云图像深度补全方法，属于自动驾驶领域，包括：获取自动驾驶场景三维点云和场景二维RGB图像，根据多个残差模块构建编码器，根据多个上采样模块构建解码器，分别构建点云和图像的神经网络，在点云和图像的神经网络之间，构建多个级联特征交互模块，构建特征交互的点云和图像双分支神经网络模型，在特征交互的点云和图像双分支神经网络模型输入场景三维点云和场景二维RGB维图像，输出场景稠密深度图，通过使用置信度图加权的方式融合两个分支输出的场景深度图，得到可信度更高的深度图。该方法相比于其他的基于图像和点云融合的模型，在以图像和低线束激光雷达点云为输入的情况下具有更好的深度感知性能。更好的深度感知性能。更好的深度感知性能。

【技术实现步骤摘要】
一种基于级联特征交互的点云图像深度补全方法


[0001]本专利技术涉及自动驾驶
，更具体的涉及一种基于级联特征交互的点云图像深度补全方法。

技术介绍

[0002]深度感知是自动驾驶系统中十分基础且重要的感知技术，它的目的是获取周围场景的精确且稠密的深度信息，基于获得的稠密深度信息，自动驾驶的许多高层感知任务如语义分割、目标检测、三维场景重建等都能获得很大程度上的性能提升。现阶段自动驾驶主要依赖相机和激光雷达两种传感器进行深度感知，相机和激光雷达两种传感器各有优缺点，相机传感器收集的图像数据能获取场景的丰富纹理和色彩信息，但受光照条件影响较大，激光雷达传感器收集的点云数据能获得场景的精确深度信息且不受光照影响，但点云数据十分稀疏，无法提供足够的有效信息。
[0003]现有技术中存在基于纯图像的深度感知方案和基于图像和激光雷达点云的的深度感知方案。
[0004]在基于纯图像的深度感知方案中主要有单目深度估计的深度感知方案，单目深度估计，顾名思义，就是利用一张或者唯一视角下的RGB图像，估计图像中每个像素相对拍摄源的距离。基于监本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于级联特征交互的点云图像深度补全方法，其特征在于，包括：获取自动驾驶场景三维点云和场景二维RGB图像；根据多个级联的Resnet34的残差模块，构建对场景三维点云和场景二维RGB图像进行特征提取的两个编码器；根据多个级联的上采样模块，构建对场景三维点云和场景二维RGB图像进行特征还原的两个解码器；将场景三维点云提取和还原分支的编码器的输出与解码器的输入连接，构建场景三维点云分支神经网络；将场景二维RGB图像提取和还原分支的编码器的输出与解码器的输入连接，构建场景二维RGB图像分支神经网络；将场景三维点云分支神经网络和场景二维RGB图像分支神经网络中两个编码器的残差模块的各层级一一对应设置；根据一个1x1卷积、三个空洞率分别为1、2、4的空洞卷积、和一个1x1卷积按顺序搭建一个特征交互模块、并级联，获得多个级联特征交互模块，每个级联特征交互模块的输入与两个编码器的残差模块的对应层级输出连接，每个级联特征交互模块的输出与两个编码器的下一对应层级连接，构建特征交互的点云和图像双分支神经网络模型；在特征交互的点云和图像双分支神经网络模型输入场景三维点云和场景二RGB维图像，输出两幅场景深度图；通过使用置信度图加权的方式融合两幅场景深度图，得到新的一幅场景深度图。2.如权利要求1所述的一种基于级联特征交互的点云图像深度补全方法，所述对场景三维点云和场景二维RGB图像进行特征提取的两个编码器均包括五个级联的残差模块，对场景三维点云和场景二维RGB图像进行特征还原的两个解码器均包括五个级联的上采样模块，在对场景三维点云进行特征提取的编码器中，残差模块的卷积神经网络采用稀疏卷积神经网络，卷积核为3x3；在对场景二维RGB图像进行特征提取的编码器中，残差模块的卷积神经网络采用标准的卷积神经网络，卷积核为3x3。3.如权利要求1所述的一种基于级联特征交互的点云图像深度补全方法，其特征在于，所述三维点云分支神经网络和场景二维RGB图像分支神经网络均包括多个不同的卷积层、池化层、激活层、转置卷积层和跨尺度特征连接层。4.如权利要求1所述的一种基于级...

【专利技术属性】
技术研发人员：梁韵基，陈能真，刘磊，於志文，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：