超分辨率图像重建方法及装置、电子设备及存储介质制造方法及图纸

本公开涉及超分辨率图像重建方法及装置、电子设备及存储介质。该方法包括：获取多帧输入图像；对所述多帧输入图像进行特征提取，得到所述多帧输入图像间的联合特征图；基于所述联合特征图进行图像重建，得到所述多帧输入图像的目标图像。本公开通过融合多帧输入图像的特征信息，能够获取更高质量的高分辨率图像。

Super-resolution image reconstruction methods and devices, electronic devices and storage media

The present disclosure relates to a super-resolution image reconstruction method and device, an electronic device and a storage medium. The method includes: acquiring multi-frame input image; extracting features of the multi-frame input image to obtain the joint feature map between the multi-frame input images; reconstructing the image based on the joint feature map to obtain the target image of the multi-frame input image. The present disclosure enables higher quality high resolution images to be obtained by fusing feature information of multi-frame input images.

【技术实现步骤摘要】
超分辨率图像重建方法及装置、电子设备及存储介质
本公开涉及计算机视觉
，尤其涉及一种超分辨率图像重建方法及装置、电子设备及存储介质。
技术介绍
超分辨率图像重建是指通过低分辨率图像得到高分辨率图像的过程，通常情况下，受限于电子设备的数据采集能力以及流媒体的传输带宽，终端无法直接接收高分辨率的图像或视频。因此，如果不进行超分辨率图像重建，则用户无法观看到高清质量的画面。因此，如何进行超分辨率图像重建以获得更高质量的高分辨率图像是亟待解决的问题。
技术实现思路
有鉴于此，本公开提出了一种超分辨率图像重建技术方案。根据本公开的一方面，提供了超分辨率图像重建方法，包括：获取多帧输入图像；对所述多帧输入图像进行特征提取，得到所述多帧输入图像间的联合特征图；基于所述联合特征图进行图像重建，得到所述多帧输入图像的目标图像。在一种可能的实现方式中，所述对所述多帧输入图像进行特征提取，得到所述多帧输入图像间的联合特征图，包括：对所述多帧输入图像进行帧内特征提取，得到与所述多帧输入图像对应的多帧帧内特征图；对所述多帧帧内特征图进行帧间特征融合，得到所述多帧输入图像间的联合特征图。在一种可能的实现方式中，所述对所述多帧输入图像进行帧内特征提取，得到与所述多帧输入图像对应的多帧帧内特征图，包括：使用多个卷积核对所述多帧输入图像中的每帧输入图像进行卷积操作，得到与所述每帧输入图像对应的多帧帧内特征图。在一种可能的实现方式中，所述对所述多帧帧内特征图进行帧间特征融合，得到所述多帧输入图像间的联合特征图，包括：将所述多帧帧内特征图分为多组，其中，每组帧内特征图包含每帧输入图像的帧内特征图；对所述每组帧内特征图分别进行帧间特征融合，得到所述每组帧内特征图的联合特征图。在一种可能的实现方式中，所述对所述每组帧内特征图分别进行帧间特征融合，得到所述每组帧内特征图的联合特征图，包括：通过卷积神经网络对所述每组帧内特征图进行卷积操作，得到所述每组帧内特征图的联合特征图。在一种可能的实现方式中，在所述基于所述联合特征图进行图像重建，得到所述多帧输入图像对应的目标图像之前，还包括：对所述联合特征图进行多尺度特征编码，得到多尺度编码特征图；基于所述多尺度编码特征图进行图像重建，得到所述多帧输入图像的目标图像。在一种可能的实现方式中，所述对所述联合特征图进行多尺度特征编码，得到多尺度编码特征图，包括：基于所述联合特征图进行正向操作，得到多个尺度的第一特征图；基于所述多个尺度的第一特征图进行反向操作和叠加处理，得到第二特征图，其中，所述第二特征图的尺度与所述联合特征图的尺度相同；将所述第二特征图确定为所述多尺度编码特征图。在一种可能的实现方式中，所述正向操作包括池化、下采样和卷积中的至少一种操作。在一种可能的实现方式中，所述反向操作包括反池化、上采样和反卷积中的至少一种操作。在一种可能的实现方式中，所述基于所述联合特征图进行图像重建，得到所述多帧输入图像的目标图像，包括：根据多个待重建图像逐像素重建所述目标图像中的像素，其中，所述待重建图像包括所述联合特征图和多尺度编码特征图。在一种可能的实现方式中，在得到所述多帧输入图像的目标图像之后，所述方法还包括：对所述目标图像进行图像质量提升处理，得到优化后的目标图像。根据本公开的一方面，提供了一种超分辨率图像重建装置，包括：获取模块，用于获取多帧输入图像；特征提取模块，用于对所述多帧输入图像进行特征提取，得到所述多帧输入图像间的联合特征图；第一图像重建模块，用于基于所述联合特征图进行图像重建，得到所述多帧输入图像的目标图像。在一种可能的实现方式中，所述特征提取模块包括：帧内特征提取子模块，用于对所述多帧输入图像进行帧内特征提取，得到与所述多帧输入图像对应的多帧帧内特征图；帧间特征融合子模块，用于对所述多帧帧内特征图进行帧间特征融合，得到所述多帧输入图像间的联合特征图。在一种可能的实现方式中，所述帧内特征提取子模块用于：使用多个卷积核对所述多帧输入图像中的每帧输入图像进行卷积操作，得到与所述每帧输入图像对应的多帧帧内特征图。在一种可能的实现方式中，所述帧间特征融合子模块包括：分组单元，用于将所述多帧帧内特征图分为多组，其中，每组帧内特征图包含每帧输入图像的帧内特征图；帧间特征融合单元，用于对所述每组帧内特征图分别进行帧间特征融合，得到所述每组帧内特征图的联合特征图。在一种可能的实现方式中，所述帧间特征融合单元用于：通过卷积神经网络对所述每组帧内特征图进行卷积操作，得到所述每组帧内特征图的联合特征图。在一种可能的实现方式中，所述装置还包括：多尺度特征编码模块，用于对所述联合特征图进行多尺度特征编码，得到多尺度编码特征图；第二图像重建模块，用于基于所述多尺度编码特征图进行图像重建，得到所述多帧输入图像的目标图像。在一种可能的实现方式中，所述多尺度特征编码模块包括：正向操作子模块，用于基于所述联合特征图进行正向操作，得到多个尺度的第一特征图；反向操作和叠加处理子模块，用于基于所述多个尺度的第一特征图进行反向操作和叠加处理，得到第二特征图，其中，所述第二特征图的尺度与所述联合特征图的尺度相同；确定子模块，用于将所述第二特征图确定为所述多尺度编码特征图。在一种可能的实现方式中，所述正向操作包括池化、下采样和卷积中的至少一种操作。在一种可能的实现方式中，所述反向操作包括反池化、上采样和反卷积中的至少一种操作。在一种可能的实现方式中，所述第一图像重建模块用于：根据多个待重建图像逐像素重建所述目标图像中的像素，其中，所述待重建图像包括所述联合特征图和多尺度编码特征图。在一种可能的实现方式中，所述装置还包括：图像质量提升处理模块，用于对所述目标图像进行图像质量提升处理，得到优化后的目标图像。根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述超分辨率图像重建方法。根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述超分辨率图像重建方法。在本公开实施例中，通过获取多帧输入图像，对多帧输入图像进行提取，得到多帧输入图像间的联合特征图，并基于联合特征图进行图像重建，得到多帧输入图像的目标图像，由此通过融合多帧输入图像的特征信息，能够获取更高质量的高分辨率图像。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。附图说明包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。图1示出根据本公开实施例的超分辨率图像重建方法的流程图。图2示出根据本公开实施例的超分辨率图像重建方法步骤S12的一示例性的流程图。图3示出根据本公开实施例的超分辨率图像重建方法中使用多个卷积核对多帧输入图像中的每帧输入图像进行卷积操作，得到与每帧输入图像对应的多帧帧内特征图的示意图。图4示出根据本公开实施例的超分辨率图像重建方法中对多帧输入图像进行帧内特征提取，以及对多帧帧内特征图进行帧间特征融合的示意图。图5示出根据本公开实施例的超分辨率图像重建方法步骤S122的一示例性的流程图。图6示出根据本公开实施例的超分辨率图像重建本文档来自技高网...

【技术保护点】
1.一种超分辨率图像重建方法，其特征在于，包括：获取多帧输入图像；对所述多帧输入图像进行特征提取，得到所述多帧输入图像间的联合特征图；基于所述联合特征图进行图像重建，得到所述多帧输入图像的目标图像。

【技术特征摘要】
1.一种超分辨率图像重建方法，其特征在于，包括：获取多帧输入图像；对所述多帧输入图像进行特征提取，得到所述多帧输入图像间的联合特征图；基于所述联合特征图进行图像重建，得到所述多帧输入图像的目标图像。2.根据权利要求1所述的方法，其特征在于，所述对所述多帧输入图像进行特征提取，得到所述多帧输入图像间的联合特征图，包括：对所述多帧输入图像进行帧内特征提取，得到与所述多帧输入图像对应的多帧帧内特征图；对所述多帧帧内特征图进行帧间特征融合，得到所述多帧输入图像间的联合特征图。3.根据权利要求1所述的方法，其特征在于，在所述基于所述联合特征图进行图像重建，得到所述多帧输入图像对应的目标图像之前，还包括：对所述联合特征图进行多尺度特征编码，得到多尺度编码特征图；基于所述多尺度编码特征图进行图像重建，得到所述多帧输入图像的目标图像。4.根据权利要求3所述的方法，其特征在于，所述对所述联合特征图进行多尺度特征编码，得到多尺度编码特征图，包括：基于所述联合特征图进行正向操作，得到多个尺度的第一特征图；基于所述多个尺度的第一特征图进行反向操作和叠加处理，得到第二特征图，其中，所述第二特征图的尺度与所述联合特征图的尺度相同；将所述第二特征图确定为所述多尺度编码特征图。5.一种超分辨率图像重建装置，其特征在于，包括：获取模块，用于获取多帧输入图像；特征提取模块，用于对所述多帧输入图像进行特征提取，得到所述多帧输入图像间的联合特征图...

【专利技术属性】
技术研发人员：董超，赵富荣，李嵩，贺岳平，林娟，王甜甜，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东,44