一种基于极线分窗口注意力的双目图像超分辨率方法技术

本发明专利技术给出一种基于极线分窗口注意力的双目图像超分辨率方法。首先，为解决图像感知和局部信息关注问题，设计混合特征提取器，其由滑动和非滑动窗口多头自注意力和特征蒸馏与增强模块组成，这种结合可有效捕获图像更具判别性的高频特征；然后，针对双目图像对互补像素偏移的问题，设计极线窗口注意力，其沿极线方向划分窗口促进移位像素的匹配，即使在像素平滑区域，也可以利用窗口中相邻像素作为参考实现更精确的像素匹配；最后，设计残差极线窗口注意力机制，对融合后视差图进行再次融合，并通过亚像素卷积同时重建出超分辨率双目图像。本发明专利技术以较少的参数量实现优异的超分辨率性能，恢复图像更具判别性的特征，网络具有较好的鲁棒性。

【技术实现步骤摘要】

本专利技术涉及图像处理技术，具体涉及一种基于极线分窗口注意力的双目图像超分辨率方法。

技术介绍

1、基于深度学习的双目图像超分辨率重建是计算机视觉领域的一个重要研究方向，其核心思想是利用双视角图像中的信息，推断出高分辨率的图像信息。提高低分辨率双目图像质量是计算机视觉领域长期关注的问题，早期的双目图像超分辨率方法利用双目相机等设备获取两幅低分辨率图像，然后将这些图像进行匹配和融合，以得到不同视角的高分辨率图像。双目图像超分辨率重建在3d视觉中的作用在多个学科中得到了越来越多的关注，在图像恢复与增强新趋势超分辨率赛道中，双目图像超分辨率重建任务表现出了优异的结果，证明了双目图像对中包含的双目对应信息可以用于提高图像超分辨率重建性能。

2、然而，低分辨率双目图像存在高频信息缺失和视差变化大的影响，导致双目图像超分辨率重建中融合双目对应信息极具挑战性。具体来说，双目图像超分辨率重建任务存在以下问题：第一，高频特征恢复。在双目图像超分辨率重建中，需要从低分辨率的左右视图中恢复高分辨率的深度图。这个任务涉及到恢复图像深度信息，包括物体的边缘和细节。因此，本文档来自技高网...

【技术保护点】

1.一种基于极线分窗口注意力的双目图像超分辨率方法，其特征在于，设计混合特征提取器提取图像更具判别性特征和设计极线分窗口注意力融合双目视图互补特征，包括数据集预处理、浅层特征提取、深层特征提取、特征融合、迭代特征提取与融合操作、超分辨率重建、网络模型训练与测试七个部分：

2.根据权利要求1所述的一种基于极线分窗口注意力的双目图像超分辨率方法，其特征在于，步骤5（1）中EWA将输入的深层特征L2.1和R2.1，其特征尺寸为H×W×C，分别沿W方向划分为6个窗口。

3.根据权利要求1所述的一种基于极线分窗口注意力的双目图像超分辨率方法，其特征在于，步骤5（2）中将所有...

【技术特征摘要】

1.一种基于极线分窗口注意力的双目图像超分辨率方法，其特征在于，设计混合特征提取器提取图像更具判别性特征和设计极线分窗口注意力融合双目视图互补特征，包括数据集预处理、浅层特征提取、深层特征提取、特征融合、迭代特征提取与融合操作、超分辨率重建、网络模型训练与测试七个部分：

2.根据权利要求1所述的一种基于极线分窗口注意力的双目图像超分辨率方法，其特征在于，步骤5（1）中ewa将输入的深层特征l2.1和r2.1，其特征尺寸为h×w×c，分别沿w方向划分为6个窗口。

3.根据权利要求1所述的一种基于极线分窗...

【专利技术属性】
技术研发人员：张红英，李雪，黄孝茹，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：