基于深度学习的实时视频超分辨率重建方法技术

本发明专利技术的目的是提供基于深度学习的实时视频超分辨率重建方法，涉及图像处理技术领域，所述方法执行以下步骤：步骤1：循环执行次低分辨率图像重构；步骤2：实时获取目标低分辨率视频图像；计算目标低分辨率视频图像的每一图像帧的模糊度，以及计算目标低分辨率视频图像的全部图像帧的归一化模糊度；步骤3：针对目标低分辨率视频图像的每一图像帧的模糊度；步骤4：针对目标低分辨率视频图像的全部图像帧的归一化模糊度，遍历个低分辨率视频图像；步骤5：分别计算第一高分辨率视频图像和第二高分辨率视频图像的所有图像帧的总和失真程度；本发明专利技术通过循环执行低分辨率图像重构和模板匹配，实现高质量的图像和视频重建。实现高质量的图像和视频重建。实现高质量的图像和视频重建。

【技术实现步骤摘要】
基于深度学习的实时视频超分辨率重建方法


[0001]本专利技术涉及图像处理
，尤其涉及基于深度学习的实时视频超分辨率重建方法。

技术介绍

[0002]随着数字图像和视频应用的普及和发展，对高质量图像和视频的需求日益增加。然而，由于设备限制和传输带宽的限制，很多情况下我们只能获得低分辨率的图像或视频。因此，提高低分辨率图像和视频的质量，实现高分辨率重建，成为了一个热门的研究领域。
[0003]在现有技术中，一种常见的方法是使用插值算法进行图像或视频的放大。这些插值算法包括最邻近插值、双线性插值和双三次插值等。最邻近插值算法简单快速，但放大结果会出现锯齿状的边缘；双线性插值算法可以平滑图像，但仍然存在一定程度的模糊；而双三次插值算法能够更好地保持图像的细节，但计算复杂度较高。这些插值算法虽然在一定程度上提高了图像的观感质量，但对于重建高分辨率图像仍然存在一定的局限性。
[0004]另一种常见的方法是使用超分辨率技术。超分辨率技术通过利用图像或视频中的空间和时间上的冗余信息，试图从低分辨率输入重建出高分辨率图像或视频。其中，基于插值的超分辨率方法通过先对低分辨率图像进行插值处理，再使用一些降噪或增强方法进行后处理，以提高图像的清晰度和细节。基于深度学习的超分辨率方法通过训练神经网络模型，学习低分辨率图像和对应的高分辨率图像之间的映射关系，从而实现高质量的重建结果。
[0005]然而，现有技术中存在一些问题。首先，基于插值的方法虽然简单，但无法充分利用图像或视频中的细节信息，重建结果往往缺乏真实感。其次，基于深度学习的超分辨率方法需要大量的训练样本和计算资源，模型的训练和推理时间较长，对硬件设备和计算能力要求较高。此外，一些超分辨率方法在重建过程中可能会引入一定的伪影或失真，降低了重建图像的质量。

技术实现思路

[0006]有鉴于此，本专利技术的主要目的在于提供基于深度学习的实时视频超分辨率重建方法，本专利技术通过循环执行低分辨率图像重构和模板匹配，实现高质量的图像和视频重建。
[0007]为达到上述目的，本专利技术的技术方案是这样实现的：基于深度学习的实时视频超分辨率重建方法，所述方法执行以下步骤：步骤1：循环执行次低分辨率图像重构，具体包括：获取用于训练的高分辨率视频图像；将高分辨率视频图像中的每一高分辨率视频图像帧输入到低分辨率重构模型中，得到其对应的低分辨率视频图像帧，进而得到高分辨率视频图像对应的第一低分辨率视频图像，并计算第一低分辨率视频图像的每一图像帧的模糊度和全部图像帧的归一化模糊度；然后将第一分辨率视频图像输入到低分辨率重构模型中，得到其对应的第二低分辨率视频图像，并计算第二低分辨率视频图像的每一图像帧的模糊度和全部图像帧的归一化模
糊度；循环执行次后，得到个低分辨率视频图像和其每一图像帧的模糊度和全部图像帧的归一化模糊度；所述个低分辨率视频图像分别为：第一低分辨率视频图像、第二低分辨率视频图像，
…
，第低分辨率视频图像；步骤2：实时获取目标低分辨率视频图像；计算目标低分辨率视频图像的每一图像帧的模糊度，以及计算目标低分辨率视频图像的全部图像帧的归一化模糊度；步骤3：针对目标低分辨率视频图像的每一图像帧的模糊度，在个低分辨率视频图像中遍历所有图像帧的模糊度，找到图像帧的模糊度与其差异值最小的图像帧所对应的低分辨率视频图像，若该低分辨率视频图像为第低分辨率视频图像，则将目标低分辨率视频图像中对应的图像帧循环次输入到高分辨率重构模型中，得到目标高分辨率图像帧；最后，基于得到的所有的目标高分辨率图像帧，得到目标低分辨率视频图像的第一高分辨率视频图像；步骤4：针对目标低分辨率视频图像的全部图像帧的归一化模糊度，遍历个低分辨率视频图像，找到全部图像帧的归一化模糊度与其差异值最小时所对应的低分辨率视频图像，若该低分辨率视频图像为第低分辨率视频图像，则将该目标低分辨率视频图像的所有图像帧循环次输入到高分辨率重构模型中，得到目标低分辨率视频图像的第二高分辨率视频图像；步骤5：分别计算第一高分辨率视频图像和第二高分辨率视频图像的所有图像帧的总和失真程度；若第一高分辨率视频图像的总和失真程度高于第二高分辨率视频图像的总和失真程度，则将第二高分辨率视频图像作为最终的重建图像；否则，则将第一高分辨率视频图像作为最终的重建图像。
[0008]进一步的，所述低分辨率重构模型基于深度学习的卷积神经网络建立得到，所述低分辨率重构模型的执行过程包括：采样、压缩编码、解压缩编码和双三次差值运算；所述低分辨率重构模型的构建过程具体包括：获取训练用视频图像；将训练用视频图像中的图像帧首先进行采样，得到采样视频图像；将采样视频图像进行压缩编码，得到压缩图像；然后将压缩图像进行解压缩编码，得到解压缩图像；将解压缩图像进行双三次差值运算，得到训练低分辨率视频图像帧；设定目标函数，所述目标函数用于计算训练低分辨率视频图像帧的边缘模糊度与预设的边缘模糊度的差值，若差值超过设定的阈值，则重新调整采样、压缩编码、解压缩编码和双三次差值运算的参数值，直到差值在设定的阈值范围内。
[0009]进一步的，所述低分辨率重构模型执行采样的过程，具体包括：使用如下公式，计算输入的视频图像的图像帧的采样点：；其中，代表采样点，是输入的视频图像的图像帧的原始像素，是sinc函数，是采样周期，是采样时刻，是样本点索引；是图像的亮度值；基于计算出的采样点，对输入的视频图像的图像帧进行采样。
[0010]进一步的，所述低分辨率重构模型执行压缩编码时，所使用的压缩编码函数使用如下公式进行表示：；
其中，是进行采样后的视频图像的图像帧，是网络权重，通过训练过程中的反向传播和梯度下降的优化算法学习得到；是偏置项，通过训练过程中的反向传播和梯度下降的优化算法学习得到的，为决策边界的偏移量；是激活函数，为压缩编码输出。
[0011]进一步的，所述低分辨率重构模型执行解压缩编码时，所使用的解压缩编码函数使用如下公式进行表示：；其中，是网络权重，通过训练过程中的反向传播和梯度下降的优化算法学习得到；是偏置项，通过训练过程中的反向传播和梯度下降的优化算法学习得到，为决策边界的偏移量；是激活函数，为解压缩编码输出。
[0012]进一步的，所述低分辨率重构模型执行解压缩编码时，首先将解压缩编码输出通过基于邻近像素的插值方法处理，得到解压缩编码输出中的每个像素值；每个像素值由周围4x4的像素块组成的16个像素的像素值的加权平均值得到；再使用双三次差值运算得到低分辨率视频图像帧；所述双三次差值运算使用如下公式进行表示：；其中，是低分辨率视频图像帧在坐标的像素值，和是坐标的整数部分；是通过16个临近像素点计算得出的系数，其计算公式为：；其中，是邻域内的像素值，和是其对应的坐标。
[0013]进一步的，所述高分辨率重构模型执行低分辨率重构模型的逆过程，具体包括：双三次差值运算的逆运算、解压缩编码的逆运算、压缩编码的逆运算和逆采样。
[0014]进一步的，所述图像帧的模糊度的计算执行以下步骤：将图像帧转换为灰度图像，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的实时视频超分辨率重建方法，其特征在于，所述方法执行以下步骤：步骤1：循环执行次低分辨率图像重构，具体包括：获取用于训练的高分辨率视频图像；将高分辨率视频图像中的每一高分辨率视频图像帧输入到低分辨率重构模型中，得到其对应的低分辨率视频图像帧，进而得到高分辨率视频图像对应的第一低分辨率视频图像，并计算第一低分辨率视频图像的每一图像帧的模糊度和全部图像帧的归一化模糊度；然后将第一分辨率视频图像输入到低分辨率重构模型中，得到其对应的第二低分辨率视频图像，并计算第二低分辨率视频图像的每一图像帧的模糊度和全部图像帧的归一化模糊度；循环执行次后，得到个低分辨率视频图像和其每一图像帧的模糊度和全部图像帧的归一化模糊度；所述个低分辨率视频图像分别为：第一低分辨率视频图像、第二低分辨率视频图像，
…
，第低分辨率视频图像；步骤2：实时获取目标低分辨率视频图像；计算目标低分辨率视频图像的每一图像帧的模糊度，以及计算目标低分辨率视频图像的全部图像帧的归一化模糊度；步骤3：针对目标低分辨率视频图像的每一图像帧的模糊度，在个低分辨率视频图像中遍历所有图像帧的模糊度，找到图像帧的模糊度与其差异值最小的图像帧所对应的低分辨率视频图像，若该低分辨率视频图像为第低分辨率视频图像，则将目标低分辨率视频图像中对应的图像帧循环次输入到高分辨率重构模型中，得到目标高分辨率图像帧；最后，基于得到的所有的目标高分辨率图像帧，得到目标低分辨率视频图像的第一高分辨率视频图像；步骤4：针对目标低分辨率视频图像的全部图像帧的归一化模糊度，遍历个低分辨率视频图像，找到全部图像帧的归一化模糊度与其差异值最小时所对应的低分辨率视频图像，若该低分辨率视频图像为第低分辨率视频图像，则将该目标低分辨率视频图像的所有图像帧循环次输入到高分辨率重构模型中，得到目标低分辨率视频图像的第二高分辨率视频图像；步骤5：分别计算第一高分辨率视频图像和第二高分辨率视频图像的所有图像帧的总和失真程度；若第一高分辨率视频图像的总和失真程度高于第二高分辨率视频图像的总和失真程度，则将第二高分辨率视频图像作为最终的重建图像；否则，则将第一高分辨率视频图像作为最终的重建图像。2.如权利要求1所述的基于深度学习的实时视频超分辨率重建方法，其特征在于，所述低分辨率重构模型基于深度学习的卷积神经网络建立得到，所述低分辨率重构模型的执行过程包括：采样、压缩编码、解压缩编码和双三次差值运算；所述低分辨率重构模型的构建过程具体包括：获取训练用视频图像；将训练用视频图像中的图像帧首先进行采样，得到采样视频图像；将采样视频图像进行压缩编码，得到压缩图像；然后将压缩图像进行解压缩编码，得到解压缩图像；将解压缩图像进行双三次差值运算，得到训练低分辨率视频图像帧；设定目标函数，所述目标函数用于计算训练低分辨率视频图像帧的边缘模糊度与预设的边缘模糊度的差值，若差值超过设定的阈值，则重新调整采样、压缩编码、解压缩编码和双三次差值运算的参数值，直到差值在设定的阈值范围内。3.如权利要求2所述的基于深度...

【专利技术属性】
技术研发人员：刘崇硕，雷鸣，林树洽，左海福，
申请(专利权)人：深圳市优森美科技开发有限公司，
类型：发明
国别省市：