一种用于深度图超分辨率的动态双对齐聚合方法及系统技术方案

本发明专利技术公开的一种用于深度图超分辨率的动态双对齐聚合方法及系统，包括：通过多个对齐聚合模块对深度图特征和RGB图像的多尺度特征进行对齐聚合，获得聚合图像特征；每个对齐聚合模块均对输入的第一输入特征和第二输入特征进行模态和几何对齐后聚合，获得相应的聚合特征；每个对齐聚合模块的第一输入特征为RGB图像的不同尺度特征；初始对齐聚合模块的第二输入特征为深度图特征；其余对齐聚合模块的第二输入特征为对上一个对齐聚合模块输出的聚合特征进行上采样后获取特征；最后一个对齐聚合模块输出的聚合特征为聚合图像特征；通过聚合图像特征对深度图进行重建，获得深度图超分辨率结果。提高了利用RGB图像引导深度图重建的性能。

【技术实现步骤摘要】

本专利技术涉及图像处理，尤其涉及一种用于深度图超分辨率的动态双对齐聚合方法及系统。

技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。

2、深度图包含丰富的空间几何信息，被广泛应用于计算机视觉和计算机图形学中，如自动驾驶，3d重建，语义分割和场景理解等。然而，消费者级深度传感器(如微软的kinect和time of flight)获取的深度图通常分辨率低且噪声大，不适合执行视觉任务。与深度传感器不同，以低成本获取高分辨率的rgb图像相对容易；此外，rgb图像及其对应的深度图具有很强的结构相似性。因此，rgb图像经常用于引导深度图的重建，被称为引导的深度图超分辨率(guided depth super-resolution,gdsr)。gdsr作为一个跨模态的具有挑战性的不适定问题，已经引起了学术界和工业界的广泛关注。

3、现有方法的超分辨率结果仍然存在噪声和模糊边界的问题，造成这些问题的潜在原因可以总结如下：1)现有的方法忽略了深度图和rgb图像之间的模态差异，模态差异的原因是深度传感器和rg本文档来自技高网...

【技术保护点】

1.一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，包括：

2.如权利要求1所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，按照尺度从小到大的顺利，将RGB图像的不同尺度特征作为第一输入特征依次输入依次连接的对齐聚合模块中，其中，最小尺度特征作为最初始对齐聚合模块的第一输入特征。

3.如权利要求1所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，利用卷积网络获取RGB图像的多尺度特征。

4.如权利要求1所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，利用堆叠的残差块获取深度图特征。p>

5.如权利...

【技术特征摘要】

1.一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，包括：

2.如权利要求1所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，按照尺度从小到大的顺利，将rgb图像的不同尺度特征作为第一输入特征依次输入依次连接的对齐聚合模块中，其中，最小尺度特征作为最初始对齐聚合模块的第一输入特征。

3.如权利要求1所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，利用卷积网络获取rgb图像的多尺度特征。

4.如权利要求1所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，利用堆叠的残差块获取深度图特征。

5.如权利要求1所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，每个对齐聚合模块对第一输入特征和第二输入特征进行对齐聚合的过程为：

6.如权利要求5所述的一种用于深度图超分辨率的动态双对齐聚合方法，其特征在于，计...

【专利技术属性】
技术研发人员：郭春乐，姜欣妮，李重仪，程明明，
申请(专利权)人：南开大学，
类型：发明
国别省市：