【技术实现步骤摘要】
本专利技术属于图像处理，深度学习，计算机视觉，具体是一种基于亲和度学习的引导图像上采样方法及设备。
技术介绍
1、图像上采样是指将低分辨率图像转换为高分辨率图像，在低分辨率图像到高分辨率图像的建模中往往涉及到插值方法，随着图像尺寸的增大，像素之间的值随之被估算出来，并填充到高分辨率图像中，使得图像的细节和清晰度有所提高，以达到增加图像分辨率的目的。常见的插值方法有最近邻插值、双线性插值和三线性插值方法，虽然这些插值方法速度极快，但得到的上采样结果质量偏低。插值方法是典型的仅靠单张图像来恢复高分辨率图像的方法，而大部分情况下，图像处理应用的输入输出间往往存在一致的结构，高分辨率的输入图像作为引导图像，输出图像作为目标图像，jbu(kopf,j.,cohen,m.f.,lischinski,d.,uyttendaele,m.:joint bilateral upsampling.internationalconference on computer graphics and interactive techniques,26(3)(2007))首次将引导图像引入图像上采样过程以实现引导图像上采样，在以高分辨率输入为先验的情况下，该方法显著提升了图像上采样的精度。近些年来，随着计算摄影的不断发展，图像恢复问题备受关注。引导图像上采样方法被应用到各种图像处理任务中，如图像平滑、图像去雾、图像增强和图像风格转换等；在获取深度图像时，由于设备所限，得到的深度图像一般会存在分辨率较低、图像噪点严重等问题，但真实世界环境中的rgb图像却很好获取
2、虽然引导图像在一定程度上为指导图像恢复重建带来了帮助，但也成为了一把“双刃剑”，在某些图像处理任务中仅需要引导图像的结构而非细节，例如图像平滑上采样和深度图上采样任务，传统的引导上采样方法很容易将这些本不需要的细节再度恢复到目标图像中，从而出现了严重的纹理拷贝现象。
3、目前的图像上采样方法主要可以分为六类，除传统插值方法外，还有基于深度学习的单图像超分辨率方法、保边滤波方法、基于参考的图像超分辨率方法、基于仿射关系的引导图像上采样方法和基于深度学习的引导图像上采样方法。基于深度学习的单图像超分辨率通过设计复杂的神经网络来解决图像上采样问题，例如(c.saharia,j.ho,w.chan,t.salimans,d.j.fleet and m.norouzi,"image super-resolution via iterativerefinement,"in ieee transactions on pattern analysis and machineintelligence,vol.45,no.4,pp.4713-4726,1april 2023,doi:10.1109/tpami.2022.3204461.)利用迭代的扩散过程来逐渐恢复图像的高频细节，尽管相较于插值方法的精度已经有了显著提升，但仅凭单张图像依然很难超过具有引导图像的引导上采样结果，除此以外，单图像超分辨率网络所需要的系统资源也相对较高，往往需要很高配置的计算设备才能满足运行条件。保边滤波方法通过插值和图像平滑操作来实现图像上采样目的，然而其本身具备强大的保边能力，很难做到对于细节的保留，尤其是图像中存在的细小结构。基于参考的图像超分辨率由具有与目标图像相似场景或结构的图像作为引导图像来进行引导上采样，从本质上来说，这种类型的上采样任务更具挑战性，但同时对于计算设备的要求也更高。基于仿射关系的引导图像上采样方法，通过依赖像素间的线性关系来拟合高分辨率输出，(chen,j.,adams,a.,wadhwa,n.,hasinoff,s.w.:bilateral guidedupsampling.international conference on computer graphics and interactivetechniques,35(6)(2016))在低分辨率输入和输出的每个网格内拟合局部线性关系，然后对从线性拟合导出的仿射变换施加平滑性约束，这种方法效率很高，但纹理拷贝的现象也更明显。基于深度学习的引导图像上采样方法可以根据不同的图像处理任务来训练出以不同任务为导向的上采样模型，精度和效率相较于传统方法更高、更快，目前绝大部分此类方法仅限于处理深度图像，在一般图像处理上采样领域的方法涉足极少，本专利技术属于此种方法的范畴，并同时满足处理两种不同图像领域任务的要求。
技术实现思路
1、本专利技术提出了一种基于亲和度学习的引导图像上采样方法，此方法可以用于低分辨率深度图上采样和加速各种图像处理应用。在本专利技术中，提出了一种解决问题的思路，即将低分辨率引导图像和高分辨率引导图像之间任务相关的亲和关系映射到低分辨率目标图像上，并借助(cheng,x.,wang,p.,&yang,r.(2018).depth estimation via affinitylearned with convolutional spatial propagation network.in proceedings of theeuropean conference on computer vision(eccv)(pp.103-119))中的cspn模块以实现更准确的引导图像上采样。
2、给定低分辨率图像t↓，及其对应的高分辨率引导图像g和低分辨率引导图像g↓，基于下-上采样的图像平滑处理过程表明联合图像平滑能够有助于更好地实现联合图像上采样，给定一张目标图像t，图像滤波过程可以被表示为：o＝w(t,t)t，其中o是滤波结果，w(t,t)是图像t的亲和矩阵，一般亲和矩阵在计算时需要消耗大量的系统资源，所以将亲和矩阵近似为：w(t,t)≈w(t,t↓)w(t↓,t↓)w(t↓,t)，其中w(t,t↓)为下采样操作，w(t↓,t↓)为低分辨率平滑操作，w(t↓,t)为上采样操作，当图像平滑的程度极小时，图像t几乎不会被平滑，图像滤波过程可视为：
3、
4、参照联合滤波的处理过程，联合上采样可以视为：
5、
6、其中，～代表图像滤波时图像平滑程度极小的标志，下采样结果上采样结果特征矩阵为当目标图像t和引导图像g之间存在相似结构时，上采样结果t中所体现的过程可以准确地保留住图像的细节，从而实现上采样，然后也会因此而带来严重的纹理拷贝现象，但在本专利技术的不同图像处理任务中，任务型亲和矩阵能够有效解决结构不一致的问题，因此最终的上采样结果可以被描述为：
7、
8、针对一般图像任务，本专利技术中的方法按照如下步骤对低分辨率图像t↓进行上采样。
9、步骤1.获取目标图像对(该图像对为具有相同结构或相似纹理的一对高分辨率引导图像和高分辨率目标图像)数据集，并将该数据集按一定比例分为训本文档来自技高网...
【技术保护点】
1.一种基于亲和度学习的引导图像上采样方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于亲和度学习的引导图像上采样方法，其特征在于，所述步骤2包括：
3.根据权利要求2所述的一种基于亲和度学习的引导图像上采样方法，其特征在于，所述步骤3包括如下：
4.根据权利要求3所述的一种基于亲和度学习的引导图像上采样方法，其特征在于，所述步骤3.1中的损失函数具体设计如下：
5.根据权利要求3所述的一种基于亲和度学习的引导图像上采样方法，其特征在于，所述步骤3.2搭建深度上采样网络模型具体如下：
6.根据权利要求1或3所述的一种基于亲和度学习的引导图像上采样方法，其特征在于，所述步骤3的训练执行次数为Ntrain-1次。
7.根据权利要求1所述的一种基于亲和度学习的引导图像上采样方法，其特征在于，所述步骤4包括：
8.根据权利要求7所述的一种基于亲和度学习的引导图像上采样方法，其特征在于，所述步骤4中测试的执行次数为Ntest-1。
9.根据权利要求7所述的一种基于亲和度学习的引导
10.一种图像处理设备，其特征在于，该图像处理设备内部署有权利要求1-9任一项所述的深度上采样模型。
...【技术特征摘要】
1.一种基于亲和度学习的引导图像上采样方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于亲和度学习的引导图像上采样方法，其特征在于，所述步骤2包括：
3.根据权利要求2所述的一种基于亲和度学习的引导图像上采样方法，其特征在于，所述步骤3包括如下：
4.根据权利要求3所述的一种基于亲和度学习的引导图像上采样方法，其特征在于，所述步骤3.1中的损失函数具体设计如下：
5.根据权利要求3所述的一种基于亲和度学习的引导图像上采样方法，其特征在于，所述步骤3.2搭建深度上采样网络模型具体如下：
6.根据权利要求1或3所述的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。