【技术实现步骤摘要】
基于密集匹配与自适应融合的参考图引导超分辨率方法
本专利技术属于计算机视觉领域，涉及参考图引导的图像超分辨率算法。具体讲，通过尺度不变特征变换(Scale-invariantfeaturetransform，SIFT)算法提取特征点结合随机抽样一致(RandomSampleConsensus,RANSAC)计算单应性矩阵对参考图做刚性变换，再通过光流匹配实现非刚性变换，得到与低分辨率图像尽可能对齐的参考图，经过编码解码网络与相似形融合模块重建低分辨率图像。
技术介绍
超分辨率是通过硬件或软件的方法提高原有图像的分辨率的技术，可以通过一张或多张低分辨率的图像来得到一幅高分辨率的图像。目前的单图像超分辨率达到了较高的PSNR，但是仍然存在细节缺失严重等问题，为了获得较真实的高频细节信息，基于参考图的超分辨率算法开始发展。现有的基于参考图像的超分辨率的方法主要是块匹配。该算法能够搜寻参考图中最相似的图像块以恢复低分辨率图像的细节信息，但是存在的缺陷是计算复杂度较高，并且不能实现非刚性变换，使得参考图信息不能完全被利用。
【技术保护点】
1.一种基于密集匹配与自适应融合的参考图引导超分辨率方法，其特征是，步骤如下：/n1)建立训练数据集；/n2)将参考图与低分辨率图像对齐；/n3)将低分辨率图像与对齐之后的参考图输入神经网络进行融合；/n4)设置好网络的学习率和各部分损失函数的权重，利用深度神经网络框架PyTorch训练上述卷积神经网络，直到损失收敛，生成训练模型；/n5)利用生成的训练模型进行图像超分辨率。/n
【技术特征摘要】
1.一种基于密集匹配与自适应融合的参考图引导超分辨率方法，其特征是，步骤如下：
1)建立训练数据集；
2)将参考图与低分辨率图像对齐；
3)将低分辨率图像与对齐之后的参考图输入神经网络进行融合；
4)设置好网络的学习率和各部分损失函数的权重，利用深度神经网络框架PyTorch训练上述卷积神经网络，直到损失收敛，生成训练模型；
5)利用生成的训练模型进行图像超分辨率。
2.如权利要求1所述的基于密集匹配与自适应融合的参考图引导超分辨率方法，其特征是，建立训练数据集具体步骤是，在构建数据集时，数据集的原始图片中有84组来源于google搜索与公开数据建筑物数据集Oxfordbuilding，16组来源于自己拍摄的建筑物数据集，每组数据除一张用来降采样作为低分辨率图片外，还有三张相似程度不同、拍摄时间不同、拍摄角度不同的三张参考图像，将所有的100组数据集训练利用并裁切为320×320的图像块，共计10786组图像块用于密集匹配与神经网络的训练。
3.如权利要求1所述的基于密集匹配与自适应融合的参考图引导超分辨率方法，其特征是，将参考图与低分辨率图像对齐具体步骤如下：
21)使用插值算法对输入的低分辨率图像IL进行上采样，得到与输出相同分辨率的图像
22)图像尺度全局匹配，提取SIFT特征点并采用RANSAC算法计算参考图与上采样之后低分辨率图片的单应性矩阵H0，对参考图进行平移、旋转与缩放，使得变换后的参考图在尺度上与低分辨率图像对齐，在主体建筑物大体位置上与低分辨率图像对齐，得到
23)像素尺度密集匹配，采用由粗到细的光流匹配算法，并根据周围像素点的匹配结果改善未匹配的部分，最终根据插值算法得到与参考图分辨率一致的光流矩阵，根据每个像素对应的(x，y)坐标偏移值使参考图严格与低分辨率图像对齐，得到
4.如权利要求1所述的基于密集匹配与自适应融合的参考图引导超分辨率方法，其特征是，将低分辨率图像与对齐之后的参考图输入神经网络进行融合，具体步骤如下：
31)编码器：采用一个多尺度输出的神经网络模型对输入图像进行特征提取，将输入图像编码为4个尺度的特征图；为了保证提取出来的特征在相同通道上具有相似性，所有的编码器共享权重；
32)自适应融合：每张图像具有四个尺度的特征，因此每个尺度都需要进行融合，特征融合的依据是低分辨率图像与参考图特征之间的余弦相似性，降质之后的参考图具有与低分辨率图像相同的模糊程度，能够使融合部分的选择更加精确，因此计算低分辨率图像与降质之后的参考图之间的余弦相似性得到一个H×W×1的相似性矩阵，H为特征图的高，W为特征图的宽，之后根据三个参考图得到的三个不同的相似性矩阵的最大值融合高分辨率参考图，并乘上相似性权重，最终得到每个尺度中相似性最大的部分拼接成的高质量参考图，计算相似性的公式如下：
其中，表示第i个降至之...
【专利技术属性】
技术研发人员：岳焕景，周桐，杨敬钰，侯春萍，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。