【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种用于深度图超分辨率的动态双对齐聚合方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、深度图包含丰富的空间几何信息，被广泛应用于计算机视觉和计算机图形学中，如自动驾驶，3d重建，语义分割和场景理解等。然而，消费者级深度传感器(如微软的kinect和time of flight)获取的深度图通常分辨率低且噪声大，不适合执行视觉任务。与深度传感器不同，以低成本获取高分辨率的rgb图像相对容易；此外，rgb图像及其对应的深度图具有很强的结构相似性。因此，rgb图像经常用于引导深度图的重建，被称为引导的深度图超分辨率(guided depth super-resolution,gdsr)。gdsr作为一个跨模态的具有挑战性的不适定问题，已经引起了学术界和工业界的广泛关注。
3、现有方法的超分辨率结果仍然存在噪声和模糊边界的问题，造成这些问题的潜在原因可以总结如下：1)现有的方法忽略了深度图和rgb图像之间的模态差异，模态差异的原因是深度传感器和rgb相机的成像原理不同。2)深度特征和rgb特征存在由不同传感器的感测能力不同所引起的几何错位问题，当直接组合两个特征时，这种错位限制了精确的跨模态特征融合。3)尽管rgb图像及其相应的深度图表现出结构相似性，但rgb图像也包含大量与深度图无关的纹理信息。
技术实现思路
1、本专利技术为了解决上述问题，提出了一种用于深度图超分辨率的
2、为实现上述目的，本专利技术采用如下技术方案：
3、第一方面，提出了一种用于深度图超分辨率的动态双对齐聚合方法，包括：
4、获取深度图和rgb图像；
5、获取深度图特征和rgb图像的多尺度特征；
6、通过多个依次连接的对齐聚合模块对深度图特征和rgb图像的多尺度特征进行对齐聚合，获得聚合图像特征；其中，每个对齐聚合模块均对输入的第一输入特征和第二输入特征进行模态和几何对齐后聚合，获得相应的聚合特征；每个对齐聚合模块的第一输入特征为rgb图像的不同尺度特征；初始对齐聚合模块的第二输入特征为深度图特征；其余对齐聚合模块的第二输入特征为对上一个对齐聚合模块输出的聚合特征进行上采样后获取特征；最后一个对齐聚合模块输出的聚合特征为聚合图像特征；
7、通过聚合图像特征对深度图进行重建，获得深度图超分辨率结果。
8、第二方面，提出了一种用于深度图超分辨率的动态双对齐聚合系统，包括：
9、图像获取模块，用于获取深度图和rgb图像；
10、特征提取模块，用于获取深度图特征和rgb图像的多尺度特征；
11、特征聚合模块，用于通过多个依次连接的对齐聚合模块对深度图特征和rgb图像的多尺度特征进行对齐聚合，获得聚合图像特征；其中，每个对齐聚合模块均对输入的第一输入特征和第二输入特征进行模态和几何对齐后聚合，获得相应的聚合特征；每个对齐聚合模块的第一输入特征为rgb图像的不同尺度特征；初始对齐聚合模块的第二输入特征为深度图特征；其余对齐聚合模块的第二输入特征为对上一个对齐聚合模块输出的聚合特征进行上采样后获取特征；最后一个对齐聚合模块输出的聚合特征为聚合图像特征；
12、深度图重建模块，用于通过聚合图像特征对深度图进行重建，获得深度图超分辨率结果。
13、第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种用于深度图超分辨率的动态双对齐聚合方法所述的步骤。
14、第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种用于深度图超分辨率的动态双对齐聚合方法所述的步骤。
15、与现有技术相比，本专利技术的有益效果为：
16、1、本专利技术通过rgb图像对深度图进行重建时，首先将深度图特征和rgb图像的特征进行模态和几何上的对齐，之后在再进行聚合，获得聚合特征，解决跨模态rgb和深度图特征中的模态和几何错位的障碍，提高了利用rgb图像对深度图进行重建的性能。
17、2、本专利技术在对特征进行聚合时，获得了需要聚合的两个特征共有的有效特征，利用有效特征和深度图特征进行融合，从而避免了rgb图像中无效特征的干扰，进一步提高了利用rgb图像对深度图进行重建的性能。
18、本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
本文档来自技高网...【技术保护点】
1.一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，包括：
2.如权利要求1所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，按照尺度从小到大的顺利，将RGB图像的不同尺度特征作为第一输入特征依次输入依次连接的对齐聚合模块中，其中，最小尺度特征作为最初始对齐聚合模块的第一输入特征。
3.如权利要求1所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，利用卷积网络获取RGB图像的多尺度特征。
4.如权利要求1所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，利用堆叠的残差块获取深度图特征。
5.如权利要求1所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，每个对齐聚合模块对第一输入特征和第二输入特征进行对齐聚合的过程为：
6.如权利要求5所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，计算第二输入特征的平均值和标准差，并使平均值和标准差可学习化；对第一输入特征进行归一化，获得归一化后特征；利用可学习化的平均值和标准差对归一化后特征进行反归一化，获得与第二输
7.如权利要求5所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，获取对齐后特征和第二输入特征共有的有效特征；
8.一种用于深度图超分辨率的动态双对齐聚合系统，其特征在于，包括：
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的一种用于深度图超分辨率的动态双对齐聚合方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的一种用于深度图超分辨率的动态双对齐聚合方法的步骤。
...【技术特征摘要】
1.一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，包括：
2.如权利要求1所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，按照尺度从小到大的顺利，将rgb图像的不同尺度特征作为第一输入特征依次输入依次连接的对齐聚合模块中，其中，最小尺度特征作为最初始对齐聚合模块的第一输入特征。
3.如权利要求1所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，利用卷积网络获取rgb图像的多尺度特征。
4.如权利要求1所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，利用堆叠的残差块获取深度图特征。
5.如权利要求1所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，每个对齐聚合模块对第一输入特征和第二输入特征进行对齐聚合的过程为：
6.如权利要求5所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，计...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。