【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种图像深度补全的方法、装置、电子设备及计算机可读存储介质。
技术介绍
1、密集深度感知是计算机视觉中一个重要的基础性问题，对于场景重建、三维目标识别、自动驾驶、机器人等应用至关重要。在当前的稀疏雷达深度图像补全中，主要方法分为两种：引导深度补全和非引导深度补全。引导深度补全需要彩色rgb图像作为引导来进行深度补全，而深度补全是指将激光雷达收集的点云投射至rgb图像空间而成的稀疏深度图进行补全，从而得到与对应rgb图数据密度一致的致密深度图；而非引导深度补全只需要对稀疏深度图进行稠密化处理即可。
2、相关技术中，针对激光雷达的稀疏深度补全技术只关注下部分场景，对上部分场景产生不规则的估计。现有的数据集，如kitti，也不能提供场景上部区域的真实深度情况，这些区域通常是天空或树木，被认为不太重要。然而，在驾驶场景中，如大型卡车或载着货物的汽车，物体可以延伸到场景的上部分，需要补全场景的上部分图像，通常采用立体图像产生的差异场景来帮助稀疏的激光雷达完成场景的深度补全，这样，虽然可以补全场景的上部分图像，但是，其精度比较差。
3、因此，如何提高补全场景的精度，是目前有待解决的技术问题。
技术实现思路
1、本专利技术提供一种图像深度补全方法、装置、电子设备及计算机可读存储介质，以至少解决相关技术中由于通过立体图像产生的差异场景来补全场景的深度图像，导致图像补全精度较差的技术问题。本专利技术的技术方案如下：
2、根据本专利
3、获取场景的双目立体匹配的视差图像、同步制导彩色rgb图像和稀疏激光雷达图像；
4、基于所述同步制导rgb图像对所述稀疏激光雷达图像进行深度补全，得到深度图像；
5、确定所述稀疏激光雷达图像中对应像素特征的置信度值；
6、根据所述置信度值将所述视差图像和和所述深度图像进行特征融合；
7、对特征融合后的图像进行深度回归，得到回归后所述室外场景的完整深度图像。
8、可选的，所述获取场景的双目立体匹配的视差图像包括：
9、获取室外场景的双目视图的左视图和右视图；
10、将所述室外场景的双目视图的左视图和右视图分别输入到对应的端到端的立体匹配网络进行处理，得到双目立体匹配的视差图像。
11、可选的，所述将所述室外场景的双目视图输入到端到端的立体匹配网络中进行处理，得到双目立体匹配的视差图像包括：
12、将所述双目视图中的左视图和右视图分别输入到对应的卷积神经网络进行权值共享；
13、利用空间金字塔池化模块对权值共享后的所述左视图和右视图分别进行特征融合；
14、确定基于特征融合后的所述左视图和右视图的视差水平图像特征的4d代价体积；
15、利用堆叠沙漏网络对所述4d代价体积进行正则化，得到双目立体匹配的视差图像。
16、可选的，若所述堆叠沙漏网络包括三个沙漏网络，则所述利用堆叠沙漏网络对所述4d代价体积进行正则化，得到双目立体匹配的视差图像，包括：
17、利用堆叠的三个沙漏网络对所述4d代价体积进行正则化，得到堆叠沙漏网络中每个沙漏网络的视差图和对应的损失；
18、基于每个沙漏网络的所述损失，对所述对应沙漏网络的视差图进行回归训练，得到双目立体匹配的视差图像。
19、可选的，所述基于所述同步制导rgb图像对所述稀疏激光雷达图像进行深度补全，得到深度图像，包括：
20、将所述同步制导rgb图像和所述稀疏激光雷达图像通过图像引导深度补全网络进行深度补全，得到深度图像。
21、可选的，将所述同步制导rgb图像和所述稀疏激光雷达图像通过图像引导深度补全网络进行深度补全，得到深度图像，包括：
22、将所述rgb图像和所述稀疏激光雷达图像通过图像引导深度补全网络的颜色主导分支进行处理，得到对应的第一置信度图和第一深度图；
23、将所述第一深度图和所述稀疏激光雷达图像通过图像引导深度补全网络的深度主动分支进行处理，得到对应的第二置信度图和第二深度图；
24、根据第一置信度图和第二置信度图将所述第一深度图和第二深度图进行融合；
25、将融合后的深度图通过卷积空间传播网络进行细化，得到细化后的有效深度图像。
26、可选的，所述确定所述稀疏激光雷达图像的置信度，包括：
27、将所述稀疏激光雷达图像以及对应的掩膜，经过稀疏注意力卷积模块进行卷积和特征拼接，得到所述稀疏激光雷达图像对应像素特征的置信度值mlidar。
28、可选的，按照下述公式根据所述置信度值将所述视差图像和和所述深度图像进行特征融合：
29、df＝dstereo×(1-mlidar)+dlidar×mlidar
30、其中，dstereo表示视差图像；dlidar表示深度图像，mlidar表示置信度值。
31、可选的，所述对特征融合后的图像进行深度回归，得到回归后所述室外场景的完整深度图像，包括：
32、利用堆叠沙漏网络对特征融合后的图像进行深度回归，得到回归后所述室外场景的完整深度图像，其中，所述堆叠沙漏网络包括三级编码器-解码器网络堆叠而成，每一级编码器-解码器网络之间通过跳跃连接。
33、根据本专利技术实施例的第二方面，提供一种图像深度补全装置，包括：
34、第一获取模块，用于获取场景的双目立体匹配的视差图像；
35、第二获取模块，用于获取所述场景的同步制导彩色rgb图像和稀疏激光雷达图像；
36、深度补全模块，用于基于所述同步制导rgb图像对所述稀疏激光雷达图像进行深度补全，得到深度图像；
37、确定模块，用于确定所述稀疏激光雷达图像中对应像素特征的置信度值；
38、融合模块，用于根据所述置信度值将所述视差图像和和所述深度图像进行特征融合；
39、回归模块，用于对特征融合后的图像进行深度回归，得到回归后所述室外场景的完整深度图像。
40、可选的，所述第一获取模块包括：
41、视图获取模块，用于获取室外场景的双目视图的左视图和右视图；
42、处理模块，用于将所述室外场景的双目视图的左视图和右视图分别输入到对应的端到端的立体匹配网络进行处理，得到双目立体匹配的视差图像。
43、可选的，所述处理模块包括：
44、权值共享模块，用于将所述双目视图中的左视图和右视图分别输入到对应的卷积神经网络进行权值共享；
45、特征融合模块，用于利用空间金字塔池化模块对权值共享后的所述左视图和右视图分别进行特征融合；
46、代价体积确定模块，用于确定基于特征融合后的所述左视图和右视图的视差水平图像特征的4d代价体积；
47、正则化模块，用于利用本文档来自技高网...
【技术保护点】
1.一种图像深度补全方法，其特征在于，包括：
2.根据权利要求1所述的图像深度补全方法，其特征在于，所述获取场景的双目立体匹配的视差图像包括：
3.根据权利要求2所述的图像深度补全方法，其特征在于，所述将所述室外场景的双目视图输入到端到端的立体匹配网络中进行处理，得到双目立体匹配的视差图像包括：
4.根据权利要求3所述的图像深度补全方法，其特征在于，若所述堆叠沙漏网络包括三个沙漏网络，则所述利用堆叠沙漏网络对所述4D代价体积进行正则化，得到双目立体匹配的视差图像，包括：
5.根据权利要求1所述的图像深度补全方法，其特征在于，所述基于所述同步制导RGB图像对所述稀疏激光雷达图像进行深度补全，得到深度图像，包括：
6.根据权利要求5所述的图像深度补全方法，其特征在于，将所述同步制导RGB图像和所述稀疏激光雷达图像通过图像引导深度补全网络进行深度补全，得到深度图像，包括：
7.根据权利要求1所述的图像深度补全方法，其特征在于，所述确定所述稀疏激光雷达图像的置信度，包括：
8.根据权利要求1或7所述的图像
9.根据权利要求1所述的图像深度补全方法，其特征在于，所述对特征融合后的图像进行深度回归，得到回归后所述室外场景的完整深度图像，包括：
10.一种图像深度补全装置，其特征在于，包括：
11.一种电子设备，其特征在于，包括：
12.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至9中任一项所述的图像深度补全方法。
...【技术特征摘要】
1.一种图像深度补全方法，其特征在于，包括：
2.根据权利要求1所述的图像深度补全方法，其特征在于，所述获取场景的双目立体匹配的视差图像包括：
3.根据权利要求2所述的图像深度补全方法，其特征在于，所述将所述室外场景的双目视图输入到端到端的立体匹配网络中进行处理，得到双目立体匹配的视差图像包括：
4.根据权利要求3所述的图像深度补全方法，其特征在于，若所述堆叠沙漏网络包括三个沙漏网络，则所述利用堆叠沙漏网络对所述4d代价体积进行正则化，得到双目立体匹配的视差图像，包括：
5.根据权利要求1所述的图像深度补全方法，其特征在于，所述基于所述同步制导rgb图像对所述稀疏激光雷达图像进行深度补全，得到深度图像，包括：
6.根据权利要求5所述的图像深度补全方法，其特征在于，将所述同步制导rgb图像和所述稀疏激...
【专利技术属性】
技术研发人员：曹歆波，刘桐，
申请(专利权)人：北京及云智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。