图像超分辨率方法及装置制造方法及图纸

本公开涉及一种图像超分辨率方法及装置，其包括：获取第一图像和第一参考图像；其中，所述第一参考图像的分辨率大于所述第一图像的分辨率；针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强，得到所述第一图像的增强特征图；以及，对所述增强特征图依次进行上采样和卷积处理，得到所述第一图像的超分辨率图像；其中，所述超分辨率图像的分辨率等于所述第一参考图像的分辨率。等于所述第一参考图像的分辨率。等于所述第一参考图像的分辨率。

Image super-resolution method and device

【技术实现步骤摘要】
图像超分辨率方法及装置


[0001]本专利技术涉及图像传输处理
，更具体地，涉及一种图像超分辨率方法及一种图像超分辨率装置。

技术介绍

[0002]在图像传输中，为了提高传输速度，降低对传输网络的要求，通常会在发送装置一侧压缩待传输的原始图像，以降低原始图像的分辨率，进而降低需要传输的像素量，然后将压缩后的低分辨率图像发送至接收装置；接收装置在接收到低分辨率图像后，再基于接收到的低分辨率图像重建出高分辨率的原始图像，完成图像恢复。
[0003]从低分辨率图像重建出高分辨率图像被称之为图像超分辨率技术，由于图像超分辨率任务本身存在不适定性，导致现有的超分辨率方法无法精确重建细节纹理真实的高分辨率图像，因此，有必要提供一种能够提高细节纹理真实感的新的图像超分辨率方法。

技术实现思路

[0004]本公开实施例的一个目的是提供一种关于图像超分辨率的新的技术方案。
[0005]根据本专利技术的第一方面，提供了根据一实施例的图像超分辨率方法，其包括：
[0006]接收图像发送设备传输的第一图像；其中，所述第一图像为通过压缩原始图像的分辨率得到的低分辨率图像；
[0007]获取第一参考图像；其中，所述第一参考图像的分辨率大于或者等于所述原始图像的分辨率；
[0008]针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强，得到所述第一图像的增强特征图；
[0009]对所述增强特征图进行上采样和卷积处理，得到所述第一图像的超分辨率图像；其中，所述超分辨率图像的分辨率等于所述第一参考图像的分辨率。
[0010]可选地，所述针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，包括：
[0011]对所述第一参考图像进行下采样，得到分辨率与所述第一图像相同的第二参考图像；
[0012]针对所述第一图像的特征，在所述第一图像和所述第二参考图像中挖掘第二组相似特征；
[0013]在所述第二组相似特征包括在所述第二参考图像中挖掘到的外部相似特征的情况下，根据所述第一参考图像与所述第二参考图像间的空间位置对应关系，将所述第二组相似特征中的所述外部相似特征替换为所述第一参考图像中的对应特征，得到所述第一组相似特征。
[0014]可选地，所述针对所述第一图像的特征，在所述第一图像和所述第二参考图像中
挖掘第二组相似特征，包括：
[0015]提取所述第一图像的深层特征，得到目标深层特征图，及提取所述第二参考图像的深层特征，得到第二深层特征图；
[0016]按照设定的分块规则，将所述目标深层特征图划分成多个目标像素块及将所述第二深层特征图划分成多个第二像素块，得到包括所述多个目标像素块和所述多个第二像素块的像素块集；其中，一个像素块对应一个特征，所述像素块集中所有像素块的像素数目相同；
[0017]针对所述目标像素块，在所述像素块集中挖掘得到相似度排序在前K个的其他像素块，作为所述第二组相似特征。
[0018]可选地，所述根据所述第一参考图像与所述第二参考图像间的空间位置对应关系，将所述第二组相似特征中的所述外部相似特征替换为所述第一参考图像中的对应特征，得到所述第一组相似特征，包括：
[0019]提取所述第一参考图像的深度特征，得到第一深度特征图；
[0020]对所述第一深度特征图的通道进行压缩，使得压缩后的第一深度特征图与所述第二深度特征图的像素数目相同；
[0021]按照所述分块规则，将所述压缩后的第一深度特征图划分成多个第一像素块，其中，所述多个第一像素块与所述多个第二像素块在空间位置上一一对应；
[0022]根据所述空间位置对应关系，将第二组相似特征中的第二像素块替换为对应的第一像素块。
[0023]可选地，所述方法在接收到所述第一图像之后，还包括：提取所述第一图像的浅层特征，得到所述第一图像的浅层特征图；
[0024]所述针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强，得到所述第一图像的增强特征图，包括：
[0025]通过N个串联连接的特征增强模型各执行一次所述针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强的步骤，得到所述第一图像的N个增强后的深层特征图；其中，
[0026]N为大于等于2的整数，所述第一参考图像输入至每一特征增强模型，所述浅层特征图输入至第1个特征增强模型，每一特征增强模型输出一个增强后的深层特征图，前一特征增强模型输出的增强后的深层特征图输入至相邻的后一特征增强模型，继续进行纹理增强；所述特征增强模型针对输入特征图的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合所述第一组相似特征对所述输入特征图的特征进行纹理增强，得到所述增强后的深层特征图；
[0027]根据所述浅层特征图和N个增强后的深层特征图，得到所述第一图像的增强特征图。
[0028]可选地，所述通过聚合所述第一组相似特征对所述输入特征图的特征进行纹理增强，得到所述增强后的深层特征图，包括：
[0029]根据所述第一组相似特征中相似特征与所述输入特征图的特征间的相似度，确定
每一相似特征的聚合权重；
[0030]根据所述聚合权重，对所述第一组相似特征与所述输入特征图的特征进行聚合，并根据聚合后的特征图得到所述增强后的深层特征图。
[0031]可选地，所述通过聚合所述第一组相似特征对所述输入特征图的特征进行纹理增强，得到所述增强后的深层特征图，包括：
[0032]通过聚合所述第一组相似特征对所述输入特征图的特征进行纹理增强；
[0033]对所述输入特征图和聚合后的特征图的对应像素求和，得到所述增强后的深层特征图。
[0034]可选地，所述根据所述浅层特征图和N个增强后的深层特征图，得到所述第一图像的增强特征图，包括：
[0035]通过注意力层学习所述N个增强后的深层特征图间的关系，并根据所述关系对所述N个增强后的深层特征图进行合并，得到合并特征图；
[0036]对第N个增强后的深层特征图进行卷积处理，得到卷积后的特征图；
[0037]根据所述合并特征图，所述卷积后的特征图和所述浅层特征图，得到所述增强特征图。
[0038]根据本公开的第二方面，提供了根据另一实施例的图像超分辨率方法，其包括：
[0039]获取第一图像和第一参考图像；其中，所述第一参考图像的分辨率大于所述第一图像的分辨率；
[0040]针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强，得到所述第一图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像超分辨率方法，其特征在于，包括：接收图像发送设备传输的第一图像；其中，所述第一图像为通过压缩原始图像的分辨率得到的低分辨率图像；获取第一参考图像；其中，所述第一参考图像的分辨率大于或者等于所述原始图像的分辨率；针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所述第一图像的特征进行纹理增强，得到所述第一图像的增强特征图；对所述增强特征图进行上采样和卷积处理，得到所述第一图像的超分辨率图像；其中，所述超分辨率图像的分辨率等于所述第一参考图像的分辨率。2.根据权利要求1所述的方法，其特征在于，所述针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，包括：对所述第一参考图像进行下采样，得到分辨率与所述第一图像相同的第二参考图像；针对所述第一图像的特征，在所述第一图像和所述第二参考图像中挖掘第二组相似特征；在所述第二组相似特征包括在所述第二参考图像中挖掘到的外部相似特征的情况下，根据所述第一参考图像与所述第二参考图像间的空间位置对应关系，将所述第二组相似特征中的所述外部相似特征替换为所述第一参考图像中的对应特征，得到所述第一组相似特征。3.根据权利要求2所述的方法，其特征在于，所述针对所述第一图像的特征，在所述第一图像和所述第二参考图像中挖掘第二组相似特征，包括：提取所述第一图像的深层特征，得到目标深层特征图，及提取所述第二参考图像的深层特征，得到第二深层特征图；按照设定的分块规则，将所述目标深层特征图划分成多个目标像素块及将所述第二深层特征图划分成多个第二像素块，得到包括所述多个目标像素块和所述多个第二像素块的像素块集；其中，一个像素块对应一个特征，所述像素块集中所有像素块的像素数目相同；针对所述目标像素块，在所述像素块集中挖掘得到相似度排序在前K个的其他像素块，作为所述第二组相似特征。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一参考图像与所述第二参考图像间的空间位置对应关系，将所述第二组相似特征中的所述外部相似特征替换为所述第一参考图像中的对应特征，得到所述第一组相似特征，包括：提取所述第一参考图像的深度特征，得到第一深度特征图；对所述第一深度特征图的通道进行压缩，使得压缩后的第一深度特征图与所述第二深度特征图的像素数目相同；按照所述分块规则，将所述压缩后的第一深度特征图划分成多个第一像素块，其中，所述多个第一像素块与所述多个第二像素块在空间位置上一一对应；根据所述空间位置对应关系，将第二组相似特征中的第二像素块替换为对应的第一像素块。5.根据权利要求1至4中任一项所述的方法，其中，所述方法在接收到所述第一图像之
后，还包括：提取所述第一图像的浅层特征，得到所述第一图像的浅层特征图；所述针对所述第一图像的特征，在所述第一图像和所述第一参考图像中挖掘第一组相似特征，并通过聚合挖掘到的第一组相似特征对所...

【专利技术属性】
技术研发人员：祝晓斌，周鸿杨，殷绪成，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：