图像超分辨率方法、程序产品、存储介质及电子设备技术

本申请涉及图像处理技术领域，提供一种图像超分辨率方法、程序产品、存储介质及电子设备。其中，图像超分辨率方法包括：获取针对同一场景采集的长焦图像和标准图像；将长焦图像向标准图像配准，得到配准长焦图像；根据配准长焦图像和标准图像计算掩膜图像；利用神经网络模型执行以下操作：分别提取标准图像和配准长焦图像的特征，基于掩膜图像融合提取到的特征，并根据融合后的特征计算超分辨图像。该方法的有益效果包括：其一，有利于简化神经网络模型的结构设计，提高超分辨图像解析力和稳定性；其二，超分辨图像在全局上都具有较高的解析力；其三，超分辨图像的画面自然，不容易出现瑕疵。瑕疵。瑕疵。

【技术实现步骤摘要】
图像超分辨率方法、程序产品、存储介质及电子设备


[0001]本专利技术涉及图像处理
，具体而言，涉及一种图像超分辨率方法、程序产品、存储介质及电子设备。

技术介绍

[0002]图像超分辨率是根据低分辨率图像重构高分辨率图像的一种操作，在图像和视频处理中有着广泛的应用。图像超分辨率方法主要包括基于单帧图像的方法和基于参考图像的方法，其中，基于参考图像的方法除了提供低分辨率图像以外，还要提供至少一帧相同场景的参考图像，以便为超分辨率操作提供更多参考信息。
[0003]在基于参考图像的方法中，又进一步包括基于深度学习的参考图像超分辨方法，这类方法通常是将参考图像和低分辨率图像一同输入到训练好的神经网络模型中，由模型直接输出高分辨率图像。然而，实践表明这类方法的超分辨率效果并不稳定，经常出现输出的高分辨图像解析力不佳的问题。

技术实现思路

[0004]本申请实施例的目的在于提供一种图像超分辨率方法、程序产品、存储介质及电子设备，以改善上述技术问题。
[0005]为实现上述目的，本申请提供如下技术方案：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像超分辨率方法，其特征在于，包括：获取针对同一场景采集的长焦图像和标准图像，所述长焦图像和所述标准图像的采集时间间隔小于时间间隔阈值；将所述长焦图像向所述标准图像配准，得到配准长焦图像；根据所述配准长焦图像和所述标准图像计算掩膜图像，所述掩膜图像中的每个像素的像素值表征所述标准图像和所述配准长焦图像在对应像素处的相似度；将所述标准图像、所述配准长焦图像和所述掩膜图像输入神经网络模型，得到所述标准图像对应的超分辨图像；其中，所述神经网络模型内部执行以下操作：分别提取所述标准图像和所述配准长焦图像的特征，基于所述掩膜图像融合提取到的特征，并根据融合后的特征计算所述超分辨图像。2.根据权利要求1所述的图像超分辨率方法，其特征在于，所述根据所述配准长焦图像和所述标准图像计算掩膜图像，包括：针对所述配准长焦图像中的每个像素执行以下操作：确定所述配准长焦图像中该像素的第一邻域和所述标准图像中该像素的对应像素的第二邻域，所述第一邻域和所述第二邻域尺寸相同；计算所述第一邻域和所述第二邻域的结构相似性SSIM响应值；根据所述SSIM响应值确定所述掩膜图像中该像素的对应像素的像素值。3.根据权利要求1所述的图像超分辨率方法，其特征在于，所述分别提取所述标准图像和所述配准长焦图像的特征，基于所述掩膜图像融合提取到的特征，并根据融合后的特征计算所述超分辨图像，包括：提取所述配准长焦图像在第1至第m个尺度下的特征，以及分别提取所述标准图像和所述掩膜图像在第m个尺度下的特征，m为正整数；k从m递减至1，执行以下操作：利用所述掩膜图像在第m个尺度下的特征，融合所述配准长焦图像在第k个尺度下的特征和第k+1个尺度下的融合特征，得到第k个尺度下的融合特征；其中，第m+1个尺度下的融合特征为所述标准图像在第m个尺度下的特征；根据第1个尺度下的融合特征计算所述超分辨图像。4.根据权利要求3所述的图像超分辨率方法，其特征在于，所述利用所述掩膜图像在第m个尺度下的特征，融合所述配准长焦图像在第k个尺度下的特征和第k+1个尺度下的融合特征，得到第k个尺度下的融合特征，包括：直接融合所述配准长焦图像在第k个尺度下的特征以及第k+1个尺度下的融合特征，得到第k个尺度下的初步融合特征；利用所述掩膜图像在第m个尺度下的特征，融合所述第k个尺度下的初步融合特征和所述第k+1个尺度下的融合特征，得到所述第k个尺度下的融合特征。5.根据权利要求4所述的图像超分辨率方法，其特征在于，所述利用所述掩膜图像在第m个尺度下的特征，融合所述第k个尺度下的初步融合特征和所述第k+1个尺度下的融合特征，得到所述第k个尺度下的融合特征，包括：利用所...

【专利技术属性】
技术研发人员：袁一璟，
申请(专利权)人：北京极感科技有限公司，
类型：发明
国别省市：