【技术实现步骤摘要】
本专利技术涉及图像信号处理，尤其涉及一种基于kernel-free匹配的真实双摄参考超分方法。
技术介绍
1、单图像超分辨率(sisr)旨在从低分辨率(lr)输入重建高分辨率(hr)图像，由于可用信息有限，这具有挑战性。相比之下，参考超分(refsr)引入了相似内容的高分辨率参考图像(ref)来辅助重建过程，并取得了更好的效果。然而，refsr的发展受到限制，因为在实际场景中很难获得内容相似的ref。
2、随着技术的进步，现代智能手机配备了不同视场(fov)的多个摄像头，其中广角镜头牺牲分辨率以增加fov，而长焦镜头具有较小的fov但更高的分辨率。因此，双摄sr(dlsr)逐渐受到关注，其中长焦图像作为参考，通过将匹配的参考细节传递到lr(广角图像)进行超分辨。而lr图像只有中心区域(即重叠的fov区域)有参考内容，并且视点和颜色存在差异。同时，由于长焦相机与广角相机的分辨率差距较大，lr图像的四周区域很难从参考物中找到相似的内容。因此，如何在分辨率差距大、视场不同的情况下提高lr和ref之间的匹配性能是dlsr的关键问题。
3、为了提高匹配和形变对齐的性能，已提出了许多的方法，如基于密集补丁匹配的方法，基于光流的形变对齐的方法，以及dcn形变对齐等。此外，也可利用对比学习来克服尺度和旋转的影响，并采用师生蒸馏网络来解决分辨率差距。为了加速匹配过程，可采用从粗到细的匹配方法进行高效匹配。除了匹配之外，高级训练和融合策略也在不断涌现。rrsr提出了一种新的互惠训练策略。datsr将transformer集成
4、为了解决上述问题，本专利技术方法提出了一种基于kernel-free匹配的真实双摄参考超分方法，在多款手机上实现了最优的参考超分效果。
技术实现思路
1、本专利技术的目的在于提出一种基于kernel-free匹配的真实双摄参考超分方法以解决
技术介绍
中所提出的问题，实现更高质量的参考超分效果。
2、为了实现上述目的，本专利技术采用了如下技术方案：
3、基于kernel-free匹配的真实双摄参考超分方法，具体包括以下步骤：
4、1.基于kernel-free匹配的真实双摄参考超分方法，具体包括以下步骤：
5、s1、建立真实双摄参考超分数据集：利用智能手机双摄，同时拍摄广角图像和长焦图像，采用由粗到细的对齐策略来创建对齐良好的lr-hr数据对，对数据对进行裁剪、颜色矫正处理，制作数据集；
6、s2、构建双摄参考超分模型：
7、基于深度学习技术，设计中心形变对齐策略、kernel-free匹配策略、四周形变对齐模块、单图超分模块及自适应融合模块，构建双摄参考超分模型；
8、s3、训练模型：利用深度学习pytorch框架训练s2中所构建的双摄参考超分模型，重复遍历s1中所构建的真实双摄参考超分数据集直到模型收敛；
9、s4、输出结果：将s1中获得的真实双摄参考超分数据集中的广角图像和长焦图像数据对输入到训练完的模型中，获得超分后的广角图像。
10、优选的，所述s1具体包括如下内容：
11、s1.1、使用智能手机通过双摄软件分别拍摄广角图像和长焦图像，其中，拍摄长焦图像时，镜头的焦距为拍摄广角图像时的两倍；
12、s1.2、使用sift和ransac计算最优的单应矩阵，将广角图像和长焦图像进行粗对齐；
13、s1.3、使用deepflow进行精细对齐；
14、s1.4、利用颜色校正，使长焦图像和广角图像具有相似的颜色；然后裁剪出重叠区域，生成lr-hr数据对；
15、s1.5、裁剪出长焦图像的中心区域作为ref图像数据，最终得到lr-hr-ref数据对。
16、优选的，所述s2具体包括如下内容：
17、s2.1、设计一种中心形变对齐策略，将参考图与广角图像中心区域对齐，获得广角图像中心区域的高清特征；
18、s2.2、设计一种kernel-free匹配策略，匹配广角图像的四周和中心，将索引映射到经过中心形变对齐后的参考图，获取广角图像四周的高清特征；
19、s2.3、利用单图超分模块提取广角图像的特征，并结合高清特征，经过自适应融合模块得到最终的重建结果。
20、优选的，所述中心形变对齐策略包括以下内容：
21、s2.1.1、给定广角图像ilr和它的参考iref，确定两者之间的重叠区域；
22、s2.1.2、使用sift寻找匹配点，使用ransac来过滤离群点，并计算得到单应性矩阵，将该矩阵应用于iref并生成形变对齐后的参考
23、s2.1.3、裁剪ilr中对应于的区域，并将其命名为广角图像的中心区域，记为ilrc；
24、s2.1.4、利用dcn进行精细的形变对齐，对进行下采样，使其与ilrc具有相同的尺度；
25、s2.1.5、利用预训练的spynet计算和ilrc之间的光流f；
26、s2.1.6、利用上采样光流f↑引导dcn将的特征与ilrc的特征对齐，生成精细对齐的特征。
27、优选的，所述kernel-free匹配和四周形变对齐模块包括以下内容：
28、s2.2.1、利用非局部相似性，在四周区域外的中心区域找到类似的内容；
29、s2.2.2、提出将广角图像四周区域与广角图像中心区域进行匹配，将其表述为kernel-free匹配；
30、s2.2.3、对于ilr的四周区域的查询块，在ilrc中搜索最匹配的块；
31、s2.2.4、kernel-free匹配在vgg提取的特征空间中进行，将特征密集划分为大小为3×3的块，每个块间距为1，计算每个块对之间的余弦相似度si,j；
32、s2.2.5、索引mi和置信度ci由以下公式获得：
33、
34、s2.2.6、将索引映射到ref中，提取hr中匹配的块。
35、优选的，所述单图超分模块包括以下内容：
36、s2.3.1、将广角图像的单图超分辨率任务与参考图像的纹理转移任务耦合会引入干扰；
37、s2.3.2、将单图超分辨率任务解耦为一个单独的模块，该模块由resblocks组成；
38、s2.3.3、提取的特征被上采样以对齐参考特征的大小。
39、优选的，所述自适应融合模块包括以下内容：
40、s2.4.1、形变对齐后的参考特征和广角图像特征flr是互补的，利用自适应融合模块将两者融合在一起；
41、s2.4.2、引入匹配过程中的置信度来指导自适应融合，且仅融合其高频部分整个过程被表述为：
42、
43、s2.4.3、c表示置信度图，g()表示卷积运算，·表示逐元素乘本文档来自技高网...
【技术保护点】
1.基于Kernel-Free匹配的真实双摄参考超分方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的基于Kernel-Free匹配的真实双摄参考超分方法，其特征在于，所述S1具体包括如下内容：
3.根据权利要求1所述的基于Kernel-Free匹配的真实双摄参考超分方法，其特征在于，所述S2具体包括如下内容：
4.根据权利要求3所述的基于Kernel-Free匹配的真实双摄参考超分方法，其特征在于，所述中心形变对齐策略包括以下内容：
5.根据权利要求3所述的基于Kernel-Free匹配的真实双摄参考超分方法，其特征在于，所述Kernel-Free匹配和四周形变对齐模块包括以下内容：
6.根据权利要求3所述的基于Kernel-Free匹配的真实双摄参考超分方法，其特征在于，所述单图超分模块包括以下内容：
7.根据权利要求3所述的基于Kernel-Free匹配的真实双摄参考超分方法，其特征在于，所述自适应融合模块包括以下内容：
8.根据权利要求1所述的基于Kernel-Free匹配的真
...【技术特征摘要】
1.基于kernel-free匹配的真实双摄参考超分方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的基于kernel-free匹配的真实双摄参考超分方法，其特征在于，所述s1具体包括如下内容：
3.根据权利要求1所述的基于kernel-free匹配的真实双摄参考超分方法，其特征在于，所述s2具体包括如下内容：
4.根据权利要求3所述的基于kernel-free匹配的真实双摄参考超分方法，其特征在于，所述中心形变对齐策略包括以下内容：
5.根据权利要求3所述的基...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。