【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体来说，涉及一种由rgb图像引导的多尺度级联沙漏深度图补全方法。
技术介绍
1、深度图补全任务皆在对获得的残缺深度图进行补全，旨在通过使用深度学习模型来推断和填补缺失的深度信息，从而获得尽可能完整精确的场景深度信息。深度图在各种任务中发挥着重要作用，如场景理解、自动驾驶、机器人导航、同时定位和建图、智能农业和增强现实等。因此，获取正确的像素级场景深度，是未来研究的一个长期目标。
2、近年来，得益于卷积神经网络(cnn)在多尺度提取深层语义和浅层细节信息的能力，深度图补全任务得到快速发展。深度图补全通常基于卷积神经网络(cnn)。首先，通过训练大量的深度图数据，这些网络能够学习到深度图的特征和结构。然后，在实际应用中，当存在缺失的深度信息时，这些网络可以根据已有的深度信息和其他可用的图像特征来预测缺失区域的深度值。基于cnn，新机制的开发也促进了深度图补全任务的发展，其中注意力机制是一种重要的技术，它模拟了人类在处理信息时的注意力分配过程。通过注意力机制，模型可以选择性地关注输入数据的不同部分，从而更加准确地进行学习和预测。因此自注意力机制提出，便在深度图补全任务广泛受用，并且为深度图补全任务带来了重大提升。虽然深度图补全任务取得了重大进展，但补全信息的完整度依旧缺失较大。
技术实现思路
1、鉴于现有技术的不足，本专利技术提供一种由rgb图像引导的多尺度级联沙漏深度图补全方法。本专利技术对输入的稀疏深度图像和rgb图像进行了早期融合处理，保持深
2、本专利技术采用的技术手段如下：
3、一种由rgb图像引导的多尺度级联沙漏深度图补全方法，包括以下步骤：
4、s1、获取待补全的稀疏深度图像以及相应的rgb彩色引导图像，对所述稀疏深度图像和rgb彩色引导图像进行通道维度的预处理并串联，从而获取待处理的rgb_d图像；
5、s2、将所述待处理的rgb_d图像输入训练后的深度图补全网络模型，所述深度图补全网络模型包括早期融合编码器、稀疏深度图指导模块、多尺度沙漏补全模块以及优化增强模块，所述早期融合编码器用于根据rgb_d图像生成尺度逐层级递减的特征图，所述稀疏深度图指导模块用于三个不同层级的子网络对rgb_d图像进行处理，得到三个不同尺度的下采样稀疏图像指导特征图，所述多尺度沙漏补全模块用于基于早期融合编码器的输出和稀疏深度图指导模块的输出对稀疏深度图补全得到补全后的密集深度图像，所述优化增强模块用于对补全后的密集深度图像进行边缘细节增强处理；
6、s3、获取所述优化增强模块的输出作为补全的密集深度图。
7、进一步地，对所述稀疏深度图像和rgb彩色图像进行通道维度的预处理并串联，包括：
8、对rgb彩色引导图像中进行卷积处理得到48通道的特征图；
9、对稀疏深度图像进行卷积处理得到16通道的特征图；
10、将处理后的48通道的rgb图像特征图和16通道的稀疏深度图特征图在通道维度串联作为待处理的rgb_d图像。
11、进一步地，所述早期融合编码器包括：
12、一个预处理层，所述预处理层包括一个3×3的卷积层和一个relu激活函数，对串联后的rgb_d图像进行初始化卷积；
13、五个序列容器，任意所述序列容器包括一个3×3的卷积层和两个relu激活函数组成，五个所述序列容器分别用于输出的特征图具有原rgb_d图像尺度的1/2，1/4，1/8，1/16，1/32的多个尺度。
14、进一步地，所述多尺度沙漏补全模块包括：
15、四个级联组合的沙漏编码解码模块，每个沙漏编码解码模块包括一个沙漏编码器和一个沙漏解码器，所述沙漏编码器从早期融合编码器输出的不同尺度的早期融合特征以及稀疏深度图指导模块输出的不同尺度的稀疏深度特征提取深度信息和不同尺度的输出，所述沙漏解码器用于输出补全后的密集深度图像；
16、所述沙漏编码器包括三个卷积注意力序列容器，每个所述卷积注意力序列容器包括一个3×3的卷积层、一个relu激活函数层以及一个双注意力模块；
17、所述沙漏解码器包括三个反置卷积注意力序列容器序列，每个反置卷积注意力序列容器包括：一个3×3的反置卷积层、一个卷积层、两个relu激活函数层以及一个双注意力模块；
18、进一步地，所述双注意力模块包括；
19、一个卷积模块、一个空间注意力模块以及一个通道注意力模块；
20、所述卷积模块包括两个3×3的卷积层、一个relu激活函数层以及两个批量归一化batchnorm层；
21、所述通道注意力模块用于：
22、首先，对输入特征图执行两个变换，以生成两个辅助特征图，
23、然后，使用1x1的卷积核对输入特征图进行通道压缩，将通道数减少到in_planes/ratio，其中in_planes是进入的通道数，ratio是一个控制通道压缩比例的参数，
24、随后，通过relu激活函数进行非线性变换，之后再次使用1x1的卷积核将通道数恢复到in_planes；
25、最后将平均池化和最大池化的结果相加通过sigmoid层缩放通道注意力的输出，得到最终的通道注意力权重，手术通道注意力权重用于对输入特征图的通道进行加权；
26、所述空间注意力模块用于：
27、首先，输入特征图首先被分别送入平均池化和最大池化操作中，分别计算了平均值和最大值的特征图，
28、然后，将这两个特征图串联在一起，形成一个包含两个通道的特征图，
29、接下来，这个特征图通过7×7的conv卷积层，计算了空间注意力的权重，
30、最后，使用sigmoid层缩放空间注意力的输出，得到最终的空间注意力权重图。
31、进一步地，所述优化增强模块为一个递归的四层u-net网络模块，由四个编码器和解码器以及输出层组成；
32、所述编码器包括输入层、下采样模块以及跳跃连接：
33、所述输入层用于接受原始输入数据，
34、所述下采样模块则由3×3卷积层、池化层和激活函数组成，用于逐渐减小特征图的尺寸和通道数，同时提取高级语义特征，
35、所述跳跃连接用于将编码器每一层的特征图保存下来，在解码器中进行特征融合；
36、所述编码器包括上采样模块、上采样后的处理模块、跳跃连接以及输出层：
37、所述上采样模块由反卷积层和激活函数组成，用于将特征图的尺寸和通道数逐渐增加，恢复到原始输入的尺寸；
38、所述跳跃连接用于将编码器对应层的特征图与解码器的特征图进行拼接，实现特征融合，
39、所述上采样后的处理模块由卷积层、批归一化层和激活函数组成，用于进一步处理上采样后的本文档来自技高网...
【技术保护点】
1.一种由RGB图像引导的多尺度级联沙漏深度图补全方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种由RGB图像引导的多尺度级联沙漏深度图补全方法，其特征在于，对所述稀疏深度图像和RGB彩色图像进行通道维度的预处理并串联，包括：
3.根据权利要求1所述的一种由RGB图像引导的多尺度级联沙漏深度图补全方法，其特征在于，所述早期融合编码器包括：
4.根据权利要求1所述的一种由RGB图像引导的多尺度级联沙漏深度图补全方法，其特征在于，所述多尺度沙漏补全模块包括：
5.根据权利要求4所述的一种由RGB图像引导的多尺度级联沙漏深度图补全方法，其特征在于，所述双注意力模块包括；
6.根据权利要求1所述的一种由RGB图像引导的多尺度级联沙漏深度图补全方法，其特征在于，所述优化增强模块为一个递归的四层U-net网络模块，由四个编码器和解码器以及输出层组成；
7.根据权利要求1所述的一种由RGB图像引导的多尺度级联沙漏深度图补全方法，其特征在于，所述深度图补全网络模型的训练步骤包括：
【技术特征摘要】
1.一种由rgb图像引导的多尺度级联沙漏深度图补全方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种由rgb图像引导的多尺度级联沙漏深度图补全方法，其特征在于，对所述稀疏深度图像和rgb彩色图像进行通道维度的预处理并串联，包括：
3.根据权利要求1所述的一种由rgb图像引导的多尺度级联沙漏深度图补全方法，其特征在于，所述早期融合编码器包括：
4.根据权利要求1所述的一种由rgb图像引导的多尺度级联沙漏深度图补全方法，其特征在于，所...
【专利技术属性】
技术研发人员：米泽田，刘铸萱，陈佳欣，赵鹏，于洋，杜凤鸣，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。