一种基于光流增强算法的视频超分辨率方法技术

本发明专利技术涉及实时视频通信技术领域，且公开了一种基于光流增强算法的视频超分辨率方法，该网络由OFRNet、MCNet、SRNet、光流增强模模块组成，该网络的目的是把超分辨率中心LR帧以生成中心HR帧首先，使用给定的T个连续LR帧作为OFRNet的输入来生成HR光流，具体地说，使用中央LR帧和相邻的帧作为网络的输入，生成相应的HR光流并使用光流增强模块来增强HR光流，之后通过空间深变换将增强的HR光流转化为LR网格，生成LR流立方体(Flow cube)。该基于光流增强算法的视频超分辨率方法，解决了LR光流问题和伪影问题，可以增强边界信息，有助于恢复图像的精细细节的问题。细节的问题。细节的问题。

【技术实现步骤摘要】
一种基于光流增强算法的视频超分辨率方法


[0001]本专利技术涉及实时视频通信
，具体为一种基于光流增强算法的视频超分辨率方法。

技术介绍

[0002]超分辨率的任务是将低分辨率(LR)图像恢复为高分辨率(HR)图像或多幅图像，它是计算机视觉和图像处理中的一个经典而具有挑战性的问题，超分辨率技术应用领域非常广泛，例如医学图像重建、人脸、遥感与全景视频超分辨率、无人机监控和高清电视等，相邻LR帧之间的帧间关系是多帧超分辨率方法的基础，利用时序依赖性可以有效地提高视频超分辨率的性能，现有的多帧超分辨率方法通过基于稀疏先验的亚像素运动配准来建立时序依赖性，这些方法首先用光流法估计了相应的光流，然后学习从运动补偿的LR 帧到HR帧的映射，运动补偿利用时序依赖性，以促进使用来自连续帧的时间信息。
[0003]近年来，许多方法都将帧间的一致性与深度学习的表示能力相结合，一些研究人员将相邻的帧作为输入，以得到HR结果图像，其他一些方法还建立了帧间相关模型来学习多帧超分辨率的时序依赖性，大多数视频超分辨率算法主要包括运动估计、运动补偿和超分辨率重建三个步骤，一些方法使用光流算法进行运动配准，其他方法首先在LR帧之间生成光流，然后使用超分辨率网络生成HR帧，该网络可以通过超分辨率任务进行端到端联合训练，然而，上述方法可能需要大量的计算成本，而LR光流不能提供更准确的时间依赖性，这些方法在处理大规模运动时表现不佳，由于这些方法需要降尺度运动估计，它们产生更粗糙的光流，这不利于模型的性能改进，一些方法是在超分辨率重建前将补偿后的相邻帧与中心帧连接起来，如果运动估计不准确，可能会导致配准错误，此外，如果在光流估计操作中产生误差，则会影响后续操作，并产生伪影，因此，挑战是从LR图像中推断和增强HR光流，为了解决LR光流在光流估计中不能提供更准确的时间依赖性和产生伪影的问题，本专利技术提供了一种基于光流增强算法的视频超分辨率方法。

技术实现思路

[0004](一)解决的技术问题
[0005]本专利技术的目的是为了解决了LR光流问题和伪影问题，可以增强边界信息，有助于恢复图像的精细细节的问题，而提出的一种基于光流增强算法的视频超分辨率方法。
[0006](二)技术方案
[0007]本专利技术解决上述技术问题的技术方案如下：
[0008]一种基于光流增强算法的视频超分辨率方法，该网络由OFRNet、MCNet、 SRNet、光流增强模模块组成，该网络的目的是把超分辨率中心LR帧以生成中心HR帧首先，使用给定的T个连续LR帧作为OFRNet 的输入来生成HR光流，具体地说，使用中央LR帧和相邻的帧作为网络的输入，生成相应的HR光流并使用光流增强模块
来增强HR光流，之后通过空间深变换将增强的HR光流转化为LR网格，生成LR流立方体(Flowcube)，然后，网络对流立方体进行运动补偿，以生成草稿立方体(Draftcube)为了减少运动估计过程中的不利影响，网络计算了运动补偿立方体与其相应的输入帧之间的残差，从而提取了细节组件d
i
，最后，网络将立方体、细节组件和中心LR帧连接起来，然后将其输入超分辨率重建网络，生成HR 中心帧。
[0009]优选地，所述OFRNet将基于深度学习的超分辨率方法和基于CNN的光流估计方法结合成一个统一的网络，该网络利用LR图像生成HR光流，具体来说，使用一对LR帧和作为网络的输入，并生成相应的HR重建光流
[0010][0011]由于多尺度机制有利于生成光流，OFRNet利用该机制来提高性能，在前两个层次中，网络使用递归模块来估计不同尺度的输入的光流，对于第三层，网络首先使用递归结构来生成深度表示，然后使用LR特征表示来使用SR模块生成HR光流，该网络可以有效地处理带有较大位移的视频，
[0012]在第一层，将输入的LR图像和解决进行降采样，生成和降采样因子为2，同时生成光流图光流图的所有元素均为零，光流图与和连接，作为特征提取层的输入，大小为3
×
3，然后通过三个连续的有效残差块生成深度特征，这些残差块使用信道分割、信道变换和深度卷积技术来提高性能，最后，将生成的特征放入两个大小为3
×
3的核的卷积层中，以生成光流
[0013]在第二层，网络采用双线性插值，将第一层得到的光流放大两倍，分辨率增加一倍将导致光流增加一倍，将生成的光流与仿射变换一起生成最后，将和连接起来，作为循环模块的输入，生成光流
[0014]在第三层中，这部分使用第二层输出光流来重建HR光流，这是因为第二层的输出光流与LR输入图像的大小相同，首先，将和连接起来，作为循环模块的输入来提取特征，之后这些特征被输入到三个额外的残差块中，然后利用亚像素层对所获得的特征执行分辨率增强任务，该网络最终利用卷积层生成HR光流
[0015]优选地，所述为了加强边界和详细信息，该专利技术专利使用一阶微分算法作为增强方法，一阶微分算法主要是指梯度幅值的计算，二维列向量是图像 h(x,y)的位置梯度：
[0016][0017]梯度幅值为：
[0018][0019]利用Sobel算子来计算梯度幅值的值，Sobel算子为：
[0020][0021][0022]m
Sx
是x方向上的核函数，同样，m
Sy
也是y方向上的核函数，这些核函数分别应用于输入图像。
[0023]优选地，所述为了得到与LR帧相同大小的流立方体，网络从高分辨率光流中提取了与LR输入帧相同分辨率的LR光流：
[0024][0025]其中，原始输入的大小用H和W表示，上升因子用s表示，
[0026]接下来，从LR流立方体中提取片段，以生成多个草稿图，公式使用W(
·
) 来表示双线性插值的变换操作，并使用来表示多个变换草图的连接，计算公式如下：
[0027][0028]由于网络使用HR光流，因此可以提供准确的时间依赖性。
[0029]优选地，所述在光流估计任务中，如果出现错误，它们将对后续的超分辨率重建产生不好的影响，并且很容易引入伪影，因此本专利技术提取补偿帧和输入帧之间的细节成分作为最后超分辨率的输入，网络将LR立方体、细节组件和中心LR帧连接起来，作为后面超分辨率网络的输入，融合步骤被简要地描述为：
[0030][0031]其中，表示LR立方体，d
i
表示细节成分，这三个组件的连接输入表示T
f
。
[0032]优选地，所述在OFRNet和MCNet之后，将所有LR立方体、中心LR帧和细节成分连接起来，然后输入SRNet生成HR框架：
[0033][0034]其中为SRNet生成的HR帧，Θ
SR
为参数集，
[0035]SRNet的第一层是特征提取层，其大小为3
×
3，有320个内核，为了获得深度特征，网络将输出特征输入到8个有效的残差块中，在网络的末端是一个3
×...

【技术保护点】

【技术特征摘要】
1.一种基于光流增强算法的视频超分辨率方法，其特征在于，该网络由OFRNet、MCNet、SRNet、光流增强模模块组成，该网络的目的是把超分辨率中心LR帧以生成中心HR帧首先，使用给定的T个连续LR帧作为OFRNet的输入来生成HR光流，具体地说，使用中央LR帧和相邻的帧作为网络的输入，生成相应的HR光流并使用光流增强模块来增强HR光流，之后通过空间深变换将增强的HR光流转化为LR网格，生成LR流立方体(Flow cube)，然后，网络对流立方体进行运动补偿，以生成草稿立方体(Draft cube)为了减少运动估计过程中的不利影响，网络计算了运动补偿立方体与其相应的输入帧之间的残差，从而提取了细节组件d
i
，最后，网络将立方体、细节组件和中心LR帧连接起来，然后将其输入超分辨率重建网络，生成HR中心帧。2.根据权利要求1所述的一种基于光流增强算法的视频超分辨率方法，其特征在于：所述OFRNet将基于深度学习的超分辨率方法和基于CNN的光流估计方法结合成一个统一的网络，该网络利用LR图像生成HR光流，具体来说，使用一对LR帧和作为网络的输入，并生成相应的HR重建光流成相应的HR重建光流由于多尺度机制有利于生成光流，OFRNet利用该机制来提高性能，在前两个层次中，网络使用递归模块来估计不同尺度的输入的光流，对于第三层，网络首先使用递归结构来生成深度表示，然后使用LR特征表示来使用SR模块生成HR光流，该网络可以有效地处理带有较大位移的视频，在第一层，将输入的LR图像和解决进行降采样，生成和降采样因子为2，同时生成光流图光流图的所有元素均为零，光流图与和连接，作为特征提取层的输入，大小为3
×
3，然后通过三个连续的有效残差块生成深度特征，这些残差块使用信道分割、信道变换和深度卷积技术来提高性能，最后，将生成的特征放入两个大小为3
×
3的核的卷积层中，以生成光流在第二层，网络采用双线性插值，将第一层得到的光流放大两倍，分辨率增加一倍将导致光流增加一倍，将生成的光流与仿射变换一起生成最后，将和连接起来，作为循环模块的输入，生成光流在第三层中，这部分使用第二层输出光流来重建HR光流，这是因为第二层的输出光流与LR输入图像的大小相同，首先，将和连接起来，作为循环模块的输入来提取特征，之后这些特征被输入到三个额外的残差块中，然后利用亚像素层对所获得的特征执行分辨率增强任务，该网络最终利用卷积层生成HR光流
3.根据权利要求1所述的一种基于光流增强算法的视频超分辨率方法，其特征在于：所述为了加强边界和详细信息，该发明专利使用一阶微分算法作为增强方法，一阶微分算法主要是指梯度幅值的...

【专利技术属性】
技术研发人员：杨敬民，廖健鑫，陈圳森，杨文元，
申请(专利权)人：闽南师范大学，
类型：发明
国别省市：