【技术实现步骤摘要】
本专利技术属于计算机视觉领域，涉及一种学习引导可形变卷积的深度补全方法。
技术介绍
1、目前，基于深度学习的方法在深度补全任务中表现出卓越性能。这些方法通过大量堆叠的过滤器逐步将稀疏深度图映射到密集的深度图。由于rgb图像包含丰富的语义线索，图像引导方法在填充未知深度方面表现出了超乎想象的性能。例如，guidenet提出了一种基于引导动态卷积网络的特征融合模块，以更好地利用rgb图像的引导特征；cspn研究亲和力矩阵，以通过空间传播网络(spn)来细化粗略深度图；dyspn通过为不同距离的相邻像素分配不同注意力级别，进一步发展了动态spn。acmnet引入了一种对称门控融合策略来执行rgb图像特征和深度特征两种模态数据的融合；fcfr-net提出了两种模态之间的通道洗牌和基于能量的融合策略。
2、尽管现有方法在深度补全任务中取得了显著的进展，但仍然存在一些需要解决的问题。由于卷积模块的固定几何结构，卷积单元只能在固定位置对输入特征图进行采样，这可能包含不相关的混合信息，因此，在具有挑战性的环境和稀疏深度测量下，现有方法难以产生清晰的结构特征，导致深度混合问题，即深度图边界模糊且出现伪影。此外，由于深度和rgb图像信息差异性巨大，为了充分融合多模态数据，现有的方法通常使用数以千万计的可学习参数来确保模型学习的稳健特征的能力。然而，这种大规模网络通常需要大量的计算资源，而这在实际应用中是不切实际的。简单地减小网络规模会显著降低方法性能。
技术实现思路
1、有鉴于此，本专利技
2、为达到上述目的，本专利技术提供如下技术方案：
3、一种学习引导可形变卷积的深度补全方法，包括以下步骤：
4、s1：给定一对输入，包括稀疏深度图和rgb图像；
5、s2：对稀疏深度图和rgb图像分别提取深度特征和图像特征，并进一步融合获得多模态特征；
6、s3：以多模态特征为输入，利用图像特征信息自适应引导深度特征聚合，最终预测粗糙深度图；
7、s4：通过自适应预测的空间变化和内容相关的核权重和偏移量，生成深度残差图，进一步得到细化后深度图。
8、进一步，步骤s2中，对于一堆输入稀疏深度图s和rgb图像i，通过对s和i分别进行一个初始卷积层和轻量的编码器-解码器处理，获得深度特征fs′和图像特征fi′，随后，通过像素级加法操作将这两个特征融合，得到多模态特征fis，表述为：
9、
10、
11、fis＝fi′+fs′
12、其中和分别表示用于提取图像特征和深度特征的编码器-解码器。
13、进一步，步骤s3中，构建两个编码器-解码器分支：图像引导分支和深度回归分支，均以多模态特征作为输入；图像引导分支的编码器阶段通过接受来自解码器的跳跃连接实现信息传递；深度回归分支的编码器阶段通过接受来自解码器的跳跃连接实现信息传递；在深度回归分支的编码器各尺度特征后嵌入一个可形变引导模块，聚合来自邻域范围内的相关语义信息，深度回归分支的输出是粗糙深度图。
14、进一步，所述可形变引导模块处理步骤如下：
15、给定来自图像引导分支的图像特征fi和来自深度回归分支的深度特征fs，首先执行像素级加法，融合图像特征和深度特征；
16、接着，通过一个标准卷积操作学习像素级的偏移量特征图，其中包括x和y两个坐标方向的偏移，表示在规则网格上的位置偏差，总共有2×k2个通道，其中是k卷积核大小；
17、然后，基于这些偏移量对深度特征图在规则网格上进行采样，以获取邻域内的相关语义信息；
18、随后，在采样后的特征上执行内核大小为k的标准卷积，以聚合这些信息并学习得到深度特征残差；
19、最终，将深度特征残差添加到深度特征上，得到最终的输出；
20、所述可形变引导模块表述为：
21、offsets＝conv(fs+fi)
22、output＝fi+deconv(fi,offsets)
23、其中deconv()表示可形变卷积，其核权重在空间上是共享的，由随机初始化获得。
24、进一步，步骤s4具体包括：
25、分别给定图像引导分支解码器和深度回归分支解码器最后一层特征fi和fs；
26、首先，执行一个像素级加法，融合双分支特征；
27、然后通过两个单独的标准卷积分别学习得到像素级的卷积核权重和偏移量特征图；
28、通过sigmoid层使权重大于0并且小于1，并减去其均值，使权值之和为0；
29、基于给定的偏移量和核权重，对粗糙深度图cd进行可形变卷积得到深度残差图δd；
30、最后粗糙深度图加上深度残差图得到最终精细的深度图d；
31、具体表述为：
32、weights＝conv(fi+fs)
33、offsets＝conv(fi+fs)
34、δd＝deconv(d0,weights,offsets)
35、d＝cd+δd
36、其中deconv()表示可形变卷积，其核权重是空间变化，且内容相关的，由图像引导特征和深度特征学习得到。
37、进一步，采用均方误差mse来计算真实深度和预测深度之间的损失，表述为：
38、l(dpred)＝‖(dpred-dgt)⊙m(dgt>0)‖2
39、其中dpred表示预测的深度图，dgt表示用于监督的真实深度图，⊙指代逐元素乘法，只考虑具有有效深度值的像素；
40、还需要对粗糙深度图cd进行监督，则最终的损失函数为：
41、loss＝l(d)+λl(cd)
42、其中λ是根据经验设置的超参数。
43、本专利技术的有益效果在于：本专利技术通过可自适应感知每个像素上下文结构的方法，使得深度图能够更好地捕捉相关信息，从而显著提高了生成深度图的结构清晰度；本专利技术根据像素位置自适应地调整感知范围，确保深度图中不再包含不相关信息，有效避免了不相关信息的聚合；本专利技术通过充分利用rgb的丰富语义信息，预测深度相关信息的采样位置，避免了固定局部邻域带来的不相关信息，提高了深度图的精度，尤其是在面对复杂和挑战性场景时表现更为出色；本专利技术提供的低耦合和轻量的网络结构不仅提高了计算效率，降低了资源需求，还使得深度补全方法更易于在各种应用场景中部署和推广；本专利技术引入了双分支的基于堆叠沙漏的网络结构，将先前方法的单编码器结构解耦成堆叠的编码器-解码器结构，平衡了模型的学习，逐步获得更清晰和丰富的上下文语义，而且每个编码器-解码器都保持了非常轻量的特性。
44、本专利技术的其他优点、目标和特征在某种程度上将在随本文档来自技高网...
【技术保护点】
1.一种学习引导可形变卷积的深度补全方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的学习引导可形变卷积的深度补全方法，其特征在于：步骤S2中，对于一堆输入稀疏深度图S和RGB图像I，通过对S和I分别进行一个初始卷积层和轻量的编码器-解码器处理，获得深度特征FS′和图像特征FI′，随后，通过像素级加法操作将这两个特征融合，得到多模态特征FIS，表述为：
3.根据权利要求1所述的学习引导可形变卷积的深度补全方法，其特征在于：步骤S3中，构建两个编码器-解码器分支：图像引导分支和深度回归分支，均以多模态特征作为输入；图像引导分支的编码器阶段通过接受来自解码器的跳跃连接实现信息传递；深度回归分支的编码器阶段通过接受来自解码器的跳跃连接实现信息传递；在深度回归分支的编码器各尺度特征后嵌入一个可形变引导模块，聚合来自邻域范围内的相关语义信息，深度回归分支的输出是粗糙深度图。
4.根据权利要求3所述的学习引导可形变卷积的深度补全方法，其特征在于：所述可形变引导模块处理步骤如下：
5.根据权利要求1所述的学习引导可形变卷积的深度补全方法，
6.根据权利要求1所述的学习引导可形变卷积的深度补全方法，其特征在于：采用均方误差MSE来计算真实深度和预测深度之间的损失，表述为：
...【技术特征摘要】
1.一种学习引导可形变卷积的深度补全方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的学习引导可形变卷积的深度补全方法，其特征在于：步骤s2中，对于一堆输入稀疏深度图s和rgb图像i，通过对s和i分别进行一个初始卷积层和轻量的编码器-解码器处理，获得深度特征fs′和图像特征fi′，随后，通过像素级加法操作将这两个特征融合，得到多模态特征fis，表述为：
3.根据权利要求1所述的学习引导可形变卷积的深度补全方法，其特征在于：步骤s3中，构建两个编码器-解码器分支：图像引导分支和深度回归分支，均以多模态特征作为输入；图像引导分支的编码器阶段通过接受来自...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。