【技术实现步骤摘要】
本专利技术涉及深度学习图像处理，尤其是涉及一种基于图像超分辨率的多对应匹配模型及其重建方法。
技术介绍
1、图像超分辨率(sr)旨在从退化的低分辨率图像重建高分辨率图像，已成为计算机视觉领域的研究热点之一。目前图像超分辨率主要包括单图像超分辨率(sisr)和基于参考的图像超分辨率(refsr)这两种研究方向。sisr的目的是根据给定的低分辨率图像重建高分辨率图像，而refsr则提供额外的高分辨率参考图像，将实际纹理转移到最终重建的高分辨率图像中，从而提高图像质量。
2、典型的refsr方法首先寻找输入低分辨率图像和参考图像之间的对应关系，根据找到的对应关系将纹理信息从参考图像转移到重建的高分辨率图像中。匹配低分辨率图像特征和参考图像特征的对应关系对于refsr方法至关重要，找到的对应关系越精确，就能将越多准确的纹理信息传输到高分辨率图像中，从而获得更好的性能。早期的研究通过光流估计在低分辨率图像和参考图像之间进行空间匹配校准。然而，光流在匹配长距离对应关系时受到限制。当低分辨率图像和参考图像之间存在很大差异时，其性能会明显下降。最近，研究人员转而使用特征空间中的块/像素匹配来搜索低分辨率图像和参考图像之间的对应关系。例如，yang等人通过注意机制搜索和转移纹理特征，重点关注深度特征的对应关系。lu等人提出了一个空间适应模块，以处理低分辨率图像和参考图像之间潜在的巨大分布差异。这些基于块匹配的方法取得了良好的高分辨率性能。对于基于像素匹配的refsr方法，jiang等人在补丁匹配阶段加入了对比度学习和知识提炼，以缩小低
3、通过上述分析，现有技术存在的问题及缺陷为：现有的大多数参考图像超分辨率模型中，单方面的重视低分辨率图像和参考图像的匹配精准度，忽略了充分利用参考图像的纹理细节信息。
技术实现思路
1、本专利技术的目的是提供一种基于图像超分辨率的多对应匹配模型及其重建方法，充分利用参考图像的纹理细节信息，恢复图像的细节，得到高质量的高分辨率图像。
2、为实现上述目的，本专利技术提供了一种基于图像超分辨率的多对应匹配模型及其重建方法，包括特征提取模块、多对应匹配特征提取模块和多对应匹配特征融合模块；
3、特征提取模块：提取低分辨率图像和参考图像特征；
4、多对应匹配特征提取模块：提取参考图像特征图中对应索引特征；
5、多对应匹配特征融合模块：融合低分辨率图像和多对应匹配特征提取模块提取参考图的相似图像索引特征并重建出高分辨率图像。
6、优选的，一种基于参考图像超分辨率的多对应匹配模型重建方法，步骤包括：
7、s1、输入低分辨率图像和参考图像，特征提取模块提取三个不同尺度下的低分辨率图像和参考图像特征；
8、s2、输入低分辨率图像特征和参考图像特征到多对应匹配特征提取模块，多对应匹配特征提取模块分别在三个不同尺度下的参考图像上匹配搜索多个与低分辨率图像具有对应关系的相似块/像素，提取参考图像特征图中对应索引特征；
9、s3、多对应匹配特征融合模块将低分辨率图像和多对应匹配特征提取模块提取的参考图多尺度的相似图像索引特征融合并重建出高分辨率图像；
10、s4、对带参考图的超分辨率多对应匹配模型进行多轮训练，每轮训练结束将网络模型参数另存为.pth文件，并使用测试数据集测试图像重建效果，根据测试图像重建效果修改网络模型参数，继续进行下一轮训练，多轮训练结束后，得到带参考图的多对应匹配模型的超分辨率重建网络效果最优的网络模型参数。
11、优选的，所述特征提取模块使用vgg网络作为特征提取器，结合多尺度特征提取机制，获得三种不同尺度的低分辨率采样特征和参考图像特征。
12、优选的，所述步骤s2具体包括：
13、s21、多对应匹配特征提取模块将低分辨率特征图和参考图像特征图分别展开为若干个大小相同的特征块；
14、s22、多对应匹配特征提取模块计算每一对特征块的余弦相似度，选择相似度值前k的相似特征块，保存在索引表和相似度表中；
15、s23、多对应匹配特征提取模块通过索引表和相似度表在参考图像特征图中将对应索引特征提取出来。
16、优选的，所述步骤s3中对低分辨率图像和多对应匹配特征提取模块提取的参考图多尺度的图像特征融合时，按照顺序依次融合k个参考图像特征信息，经过pixel shuffle层获得高分辨率图像，所述pixel shuffle层中上采用因子等于2。
17、优选的，所述步骤s4中训练具体包括：
18、提供训练数据集其中n为训练数据集中图像的数量，ilr为训练集中的低分辨率图像，ihr为训练集中的高分辨率图像，其损失函数表示为
19、
20、其中，和分别对应重建损失、对抗损失和感知损失，λadv和λper分别对应对抗损失和感知损失权重，重建损失权重默认值为1，对带参考图的超分辨率多对应匹配模型进行训练，训练结束后，得到带参考图的多对应匹配模型的超分辨率重建网络参数。
21、因此，本专利技术采用上述一种基于图像超分辨率的多对应匹配模型及其重建方法，具有以下有益效果：
22、(1)将低分辨率图像ilr输入到带参考图的超分辨率的多对应匹配模型，充分利用参考图像的纹理细节信息，恢复图像的细节，得到高质量的高分辨率图像isr；
23、(2)本专利技术模型可以集成到现有的参考图像超分辨率模型中，增强了当前模型的通用性和适应性；
24、(3)有效地提高了现有参考图像超分辨率方法的超分辨率性能。
25、下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
本文档来自技高网...【技术保护点】
1.一种基于参考图像超分辨率的多对应匹配模型，其特征在于：包括特征提取模块、多对应匹配特征提取模块和多对应匹配特征融合模块；
2.一种如权利要求1所述的基于参考图像超分辨率的多对应匹配模型重建方法，其特征在于，步骤包括：
3.根据权利要求2所述的一种基于参考图像超分辨率的多对应匹配模型重建方法，其特征在于：所述特征提取模块使用VGG网络作为特征提取器，结合多尺度特征提取机制，获得三种不同尺度的低分辨率采样特征和参考图像特征。
4.根据权利要求2所述的一种基于参考图像超分辨率的多对应匹配模型重建方法，其特征在于，所述步骤S2具体包括：
5.根据权利要求2所述的一种基于参考图像超分辨率的多对应匹配模型重建方法，其特征在于：所述步骤S3中对低分辨率图像和多对应匹配特征提取模块提取的参考图多尺度的图像特征融合时，按照顺序依次融合K个参考图像特征信息，经过pixel shuffle层获得高分辨率图像，所述pixel shuffle层中上采用因子等于2。
6.根据权利要求2所述的一种基于参考图像超分辨率的多对应匹配模型重建方法，其特
...【技术特征摘要】
1.一种基于参考图像超分辨率的多对应匹配模型，其特征在于：包括特征提取模块、多对应匹配特征提取模块和多对应匹配特征融合模块；
2.一种如权利要求1所述的基于参考图像超分辨率的多对应匹配模型重建方法，其特征在于，步骤包括：
3.根据权利要求2所述的一种基于参考图像超分辨率的多对应匹配模型重建方法，其特征在于：所述特征提取模块使用vgg网络作为特征提取器，结合多尺度特征提取机制，获得三种不同尺度的低分辨率采样特征和参考图像特征。
4.根据权利要求2所述的一种基于参考图像超分辨率的...
【专利技术属性】
技术研发人员：郑虹，闫志强，衡华宾，黄祖沛，王代君，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。