一种基于深度学习网络GuidedNET与CSPN++相结合的深度图重建方法技术

本发明专利技术公开了一种基于深度学习网络GuidedNET与CSPN++相结合的深度图重建方法，能够实现对于室外场景通过激光雷达采集的稀疏点云图投射而成的稀疏深度图转为稠密的深度图。发明专利技术包括，建立标准化的原始数据集：包括原始雷达深度图和已经对齐过的RGB图作为该方法的输入；修改GuidedNET特征提取的子网络，解决训练数据时GPU内存消耗较大，完成对特征的初步提取；通过CSPN++网络完成对产生的深度图来进一步细化，保留原始雷达数据中的边缘深度信息，在绝大部分的RGB引导稀疏的深度图的网络中实现对图片高层特征的提取，对空间卷积网络传播速度与传播方向，对不同模态的数据融合，及对深度图边缘信息的细化方面的问题，取得了较好的效果，对于自动驾驶方向有较强的实用价值。用价值。用价值。

A depth map reconstruction method based on the combination of guidednet and cspn++ of deep learning network

【技术实现步骤摘要】
一种基于深度学习网络GuidedNET与CSPN++相结合的深度图重建方法


[0001]本专利技术涉及机器视觉的
，尤其涉及一种基于深度学习网络GuidedNET与CSPN++相结合的深度图重建方法。

技术介绍

[0002]随着计算机科学的不断发展，计算机视觉技术得到了广泛的关注。其中三维的立体的模型的补全与重建在越来越多的场景中得到应用，如数字城市化建设、虚拟现实、逆向工程等等，尤其是当今非常流行的自动驾驶领域，对三维模型的的需求必不可少。
[0003]自动驾驶技术作为学术界和产业界深度融合的研究领域，承载设备不仅要求导航定位、智能决策、行为预测的功能，更重要的是对周围环境感知的准确性。因为环境感知系统是自动驾驶车辆探索周围环境信息的重要桥梁，其作用相当于人的眼睛，为承载设备提供了光明。高准确度的环境感知系统可以确保承载设备在行驶过程中的准确性、实时性和稳定性。而一般的搭载的传感器包括激光雷达、高精度的相机、结构光的相机等先进的传感器设备。其中激光雷达通过发射多个激光束，主动探知环境信息，计算采集返回激光束所用间隔时间获取障碍物本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习网络GuidedNET与CSPN++相结合的深度图重建方法，其特征在于：包括，输入图像，对输入的图像数据进行标注，并利用KITTI数据集进行处理；建立深度学习算法进而引导图像滤波；引导卷积模块在多个阶段融合RGB图像和深度图像的特征，并建立算法计算引导卷积模块的输出；分别建立RGN图像和系数激光雷达深度图像的网络，并进行多阶段数据融合；以及，基于上述建立的网络进一步建立CSPN++网络模型，利用CSPN++网络进行图像深度重建。2.如权利要求1所述的基于深度学习网络GuidedNET与CSPN++相结合的深度图重建方法，其特征在于：输入的图像包括原始雷达深度图与已经对齐过的RGB图，通过给定用标定参数将激光雷达点投影到图像平面上生成稀疏深度图S，并采集引导RGB图像I，再以引导RGB图像I为参考生成整幅图像的密集深度图D。3.如权利要求2所述的基于深度学习网络GuidedNET与CSPN++相结合的深度图重建方法，其特征在于：将密集深度图D中的像素i处的值进行计算，建立如下公式：式中：i，j为像素索引，N
i
为像素i的局部领域，W
ij
为引导卷积核的权重。4.如权利要求2或3所述的基于深度学习网络GuidedNET与CSPN++相结合的深度图重建方法，其特征在于：建立引导卷积模块，进行多阶段的对RGB图像和密集深度图的特征的融合，并建立如下公式：式中：W
G
是根据引导图像特征I
m
生成的核，θ为网络参数，表示...

【专利技术属性】
技术研发人员：陈辉，刘树奇，杨宁，张传林，崔承刚，
申请(专利权)人：上海电力大学，
类型：发明
国别省市：