一种基于多记忆及混合损失的视频超分辨率重建方法技术

本发明专利技术公开了一种基于多记忆及混合损失的视频超分辨率重建方法，包括光流网络和图像重构网络两个部分。在光流网络中，对于输入的多帧，计算当前帧与参考帧之间的光流，并利用光流作运动补偿，将当前帧尽可能补偿到与参考帧相似。在图像重构网络中，将补偿后的多帧依次输进网络，网络采用多记忆残差块提取图像特征，使得后面输入帧能接收到前面帧的特征图信息。最后，将输出的低分辨率特征图进行亚像素放大，并与双立方插值放大后的图像相加，得到最终的高分辨率视频帧。训练过程采用一种混合损失函数，对光流网络和图像重构网络同时进行训练。本发明专利技术极大地增强了帧间信息融合的特征表达能力，能够重建出细节真实丰富的高分辨率视频。

A Video Super-resolution Reconstruction Method Based on Multi-Memory and Mixed Loss

The invention discloses a video super-resolution reconstruction method based on multi-memory and mixed loss, which includes optical flow network and image reconstruction network. In optical flow network, for input frames, the optical flow between the current frame and the reference frame is calculated, and the optical flow is used as motion compensation to compensate the current frame as much as possible to be similar to the reference frame. In the image reconstruction network, the compensated multi-frames are input into the network in turn. The network uses multi-memory residual blocks to extract image features, so that the feature map information of the previous frame can be received by the latter input frame. Finally, the output low-resolution feature image is subpixel enlarged, and the final high-resolution video frame is obtained by adding the enlarged image with double cube interpolation. In the training process, a hybrid loss function is used to train both optical flow network and image reconstruction network. The invention greatly enhances the feature expression ability of inter-frame information fusion, and can reconstruct high-resolution video with real and rich details.

【技术实现步骤摘要】
一种基于多记忆及混合损失的视频超分辨率重建方法
本专利技术属于数字图像处理
，涉及一种视频超分辨率重建方法，具体涉及一种多记忆的混合损失函数约束的超分辨率重建方法。
技术介绍
近年来，随着高清显示设备(如HDTV)的出现以及4K(3840×2160)和8K(7680×4320)等超高清视频分辨率格式的出现，由低分辨率视频重建出高分辨率视频的需求日益增加。视频超分辨率是指从给定的低分辨率视频重建高分辨率视频的技术，广泛应用于高清电视、卫星图像、视频监控等领域。目前，应用最广泛的超分辨率方法是基于插值的方法，如最近邻插值，双线性插值以及双三次插值。这种方法通过将固定的卷积核应用于给定的低分辨率图像输入，来计算高分辨率图像中的未知像素值。因为这种方法只需要少量的计算，所以它们的速度非常快。但是，它们的重建效果也欠佳，特别是在重构高频信息较多的图像区域。近年来，为了找到更好的方式来重建丢失的信息，研究人员们开始致力于研究基于样本的方法，也称为基于学习的方法。最近，Dong等人率先提出基于卷积神经网络的超分辨率方法，该方法具有从众多多样化图像样本中学习细节的能力，因而备受关注。单张图像超分辨率是指利用一张低分辨率的图像，重构出其对应的高分辨率图像。与之相比，视频超分辨率则是利用多张有关联性的低分辨率视频帧，重建出它们对应的高分辨率视频帧。除了利用单张图像内部的空间相关性，视频超分辨率更重视利用低分辨率视频帧之间的时间相关性。传统的视频超分辨率算法利用图像先验知识，来进行像素级的运动补偿和模糊核估计，以此重建高分辨率视频。然而，这些方法通常需要较多计算资源，并且难处理高倍率放大倍数或大幅帧间相对运动的情况。最近，基于卷积神经网络的视频超分辨率方法已经出现，这种方法直接学习从低分辨率帧到高分辨率帧之间的映射关系。Tao等人提出了细节保持的深度视频超分辨率网络，他们设计出了一种亚像素运动补偿层，将低分辨率帧映射到高分辨率栅格上。然而，亚像素运动补偿层需要消耗大量显存，其效果却十分有限。Liu等人设计了一个时间自适应神经网络，来自适应地学习时间依赖性的最优尺度，但目前只是设计了一个简单的三层卷积神经网络结构，从而限制了性能。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种基于多记忆残差块和混合损失函数约束的超分辨率重建方法，在图像重构网络中插入多记忆残差块，更有效地利用帧间的时间相关性和帧内的空间相关性。并利用混合损失函数，同时约束光流网络和图像重构网络，进一步提高网络的性能，提取更真实丰富的细节。本专利技术所采用的技术方案是：一种基于多记忆及混合损失的视频超分辨率重建方法，其特征在于，包括以下步骤：步骤1：选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取大小为N×N像素的图像作为高分辨率学习目标，将其下采样r倍，得到大小为M×M的低分辨率图像，作为网络的输入，其中，N＝M×r；步骤2：将2n+1(n≥0)张时间连续的低分辨率视频图像输入光流网络，作为低分辨率输入帧，而处于中心位置的低分辨率图像帧作为低分辨率参考帧。依次计算每个低分辨率输入帧与低分辨率参考帧之间的光流，并使用光流对每个低分辨率输入帧作运动补偿，获得低分辨率补偿帧；步骤3：将低分辨率补偿帧输入图像重构网络，利用多记忆残差块进行帧间信息融合，得到残差特征图；步骤4：采用混合损失函数，对光流网络和图像重构网络同时进行约束，并进行反向传播学习；步骤5：将步骤3中得到的残差特征图放大，获得高分辨率残差图像，并将参考帧放大，获得高分辨率插值图像；步骤6：将步骤5中得到的高分辨插值图像与高分辨率残差图像相加，得到超分辨率视频帧。本专利技术使用了多记忆残差块，极大的增强了网络的特征表达能力，同时采用混合损失函数约束网络训练，因而不仅能重构出逼真丰富的图像细节，而且网络训练过程收敛速度快。附图说明图1为本专利技术的网络整体框架简图。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。请见图1，本专利技术提供的一种卫星影像超分辨率重建方法，其特征在于，包括以下步骤：一种基于多记忆及混合损失的视频超分辨率重建方法，其特征在于，包括以下步骤：步骤1：选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取大小为N×N像素的图像作为高分辨率学习目标，将其下采样r倍，得到大小为M×M的低分辨率图像，作为网络的输入，其中，N＝M×r；步骤2：将2n+1(n≥0)张时间连续的低分辨率视频图像输入光流网络，作为低分辨率输入帧，而处于中心位置的低分辨率图像帧作为低分辨率参考帧。依次计算每个低分辨率输入帧与低分辨率参考帧之间的光流，并使用光流对每个低分辨率输入帧作运动补偿，获得低分辨率补偿帧；本专利技术采用一种采用现有的从粗粒度到细粒度的方法提取光流，并使用现有的运动补偿算子对输入帧进行运动补偿。以四倍超分辨率为例。首先计算粗粒度光流，将双线性放大四倍后的当前帧与参考帧输入网络，使用两次步长为2的卷积，此时光流的尺寸为目标高分辨率图像的四分之一，再用亚像素放大将计算的光流放大到目标高分辨率，并进行运动补偿。然后计算细粒度光流，将双线性放大四倍后的当前帧与参考帧，以及粗粒度计算得到的光流与补偿帧输入进网络，但这次只使用一次步长为2的卷积，此时光流的尺寸为目标高分辨率的二分之一，再用亚像素放大将计算的光流放大到目标高分辨率，并进行运动补偿。步骤3：将低分辨率补偿帧输入图像重构网络，利用多记忆残差块进行帧间信息融合，得到残差特征图；本专利技术采用一种多记忆残差块，存储当前帧的特征信息，以便与下一帧进行特征信息融合。In+l＝{In，On}＝{In，ConvLSTMn(In)}(1)其中，ConvLSTMn表示多记忆残差块中第n个卷积记忆块，In表第n个卷积记忆块的输入，On表示对应的输出。将In与On作连结，得到In+1，即第n+1个卷积记忆块的输入。步骤4：采用混合损失函数，对光流网络和图像重构网络同时进行约束，并进行反向传播学习；本专利技术采用两种损失函数，同时约束光流网络和图像重构网络，并进行训练；其中，与分别表示图像重构网络与光流网络的损失函数；公式(2)中，i表示时间步，T代表时间步的最大范围；SR(·)代表超分辨率这个过程，Ji表示输入的第i个补偿帧；表示未下采样的高分辨率参考帧，λi是第i个时间步长的权重；公式(3)中，是第i个低分辨率帧，表示根据光流场Fi→0作用而成的补偿帧表示光流场Fi→0的全变分，α是一个惩罚项约束参数；最后将与结合起来，得到公式(4)中的混合损失函数β表示参数。步骤5：将步骤3中得到的残差特征图放大，获得高分辨率残差图像，并将参考帧放大，获得高分辨率插值图像；本专利技术采用亚像素放大，利用特征图的深度信息重构高分辨率图像的空间信息，不同于传统的转置卷积，能提取更丰富的图像细节；将低分辨率参考帧用双立方插值放大，获得高分辨率插值图像。亚像素放大的过程表示如下：Dim(I)＝H×W×N0＝H×W×r×r×N1＝H×r×W×r×N1(5)其中，Dim(·)表示一个张量的维度，I代表输入张量，H与W分别为张量I的高和宽，N0则是张量I的特征图本文档来自技高网...

【技术保护点】
1.一种基于多记忆及混合损失的视频超分辨率重建方法，其特征在于，包括以下步骤：步骤1：选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取大小为N×N像素的图像作为高分辨率学习目标，将其下采样r倍，得到大小为M×M的低分辨率图像，作为网络的输入，其中，N＝M×r；步骤2：将2n+1张时间连续的低分辨率视频图像输入光流网络，作为低分辨率输入帧，而处于中心位置的低分辨率图像帧作为低分辨率参考帧；依次计算每个低分辨率输入帧与低分辨率参考帧之间的光流，并使用光流对每个低分辨率输入帧作运动补偿，获得低分辨率补偿帧；其中，n≥0；步骤3：将低分辨率补偿帧输入图像重构网络，利用多记忆残差块进行帧间信息融合，得到残差特征图；步骤4：采用混合损失函数，对光流网络和图像重构网络同时进行约束，并进行反向传播学习；步骤5：将步骤3中得到的残差特征图放大，获得高分辨率残差图像，并将参考帧放大，获得高分辨率插值图像；步骤6：将步骤5中得到的高分辨插值图像与高分辨率残差图像相加，得到超分辨率视频帧。

【技术特征摘要】
1.一种基于多记忆及混合损失的视频超分辨率重建方法，其特征在于，包括以下步骤：步骤1：选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取大小为N×N像素的图像作为高分辨率学习目标，将其下采样r倍，得到大小为M×M的低分辨率图像，作为网络的输入，其中，N＝M×r；步骤2：将2n+1张时间连续的低分辨率视频图像输入光流网络，作为低分辨率输入帧，而处于中心位置的低分辨率图像帧作为低分辨率参考帧；依次计算每个低分辨率输入帧与低分辨率参考帧之间的光流，并使用光流对每个低分辨率输入帧作运动补偿，获得低分辨率补偿帧；其中，n≥0；步骤3：将低分辨率补偿帧输入图像重构网络，利用多记忆残差块进行帧间信息融合，得到残差特征图；步骤4：采用混合损失函数，对光流网络和图像重构网络同时进行约束，并进行反向传播学习；步骤5：将步骤3中得到的残差特征图放大，获得高分辨率残差图像，并将参考帧放大，获得高分辨率插值图像；步骤6：将步骤5中得到的高分辨插值图像与高分辨率残差图像相加，得到超分辨率视频帧。2.根据权利要求1所述的基于多记忆及混合损失的视频超分辨率重建方法，其特征在于：步骤2中，采用从粗粒度到细粒度的方法提取光流，并使用运动补偿算子对输入帧进行运动补偿。3.根据权利要求1所述的基于多记忆及混合损失的视频超分辨率重建方法，其特征在于：步骤3中，采用多记忆残差块，存储当前帧的特征信息，以便与下一帧进行特征信息融合；In+1＝{In，On}＝{In，Con...

【专利技术属性】
技术研发人员：王中元，易鹏，江奎，韩镇，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42