基于双向循环网络的高分辨率视频复原系统及方法技术方案

本发明专利技术涉及一种基于双向循环网络的高分辨率视频复原系统及方法，包括：正向循环模块包括多个依次设置的正向处理单元，正向处理单元与视频帧的一一对应设置，当前正向处理单元根据前一级正向处理单元的输出、上一时刻视频帧和当前视频帧，将当前视频帧转化为低频部分；反向循环模块包括多个依次设置的反向处理单元，反向处理单元与视频帧的一一对应设置，当前反向处理单元根据前一级反向处理单元的输出、下一时刻的视频帧和当前视频帧，将当前视频帧转化为高频部分；融合单元将低频部分与高频部分融合，获得高分辨率的视频帧。其针对各类场景下低分辨率视频序列，能够适应不同长度的视频，具有很好的鲁棒性。

【技术实现步骤摘要】
基于双向循环网络的高分辨率视频复原系统及方法
本专利技术涉及视频处理
，尤其是指一种基于双向循环网络的高分辨率视频复原系统及方法。
技术介绍
在现代生活中，高分辨率视频的需求非常普遍，在安防监视、医学成像、目标检测和人脸识别等众多领域都需要高分辨率图像或视频的支持。高分辨率视频复原技术通过低分辨率图像作为输入，在不需要其他信息的情况下生成对应的高分辨率图像，同时具有较好的主客观评价。如传统方法中的插值算法，它能够通过插值运算有效地提高图片的分辨率，但其主客观评价较差。
技术实现思路
为此，本专利技术所要解决的技术问题在于克服现有技术中传统方法中的插值算法，能够通过插值运算有效地提高图片的分辨率，但其主客观评价较差的技术缺陷。为解决上述技术问题，本专利技术提供了一种基于双向循环网络的高分辨率视频复原系统，包括：正向循环模块，所述正向循环模块包括多个依次设置的正向处理单元，所述正向处理单元与视频帧的一一对应设置，当前所述正向处理单元根据前一级正向处理单元的输出、上一时刻视频帧和当前视频帧，将当前视频帧转化为低频部分；反向循环模块，所述反向循环模块包括多个依次设置的反向处理单元，所述反向处理单元与视频帧的一一对应设置，当前所述反向处理单元根据前一级反向处理单元的输出、下一时刻的视频帧和当前视频帧，将当前视频帧转化为高频部分；融合单元，所述融合单元具有多个，所述融合单元与正向处理单元和反向处理单元对应设置，所述融合单元将所述低频部分与高频部分融合，获得高分辨率的视频帧。作为优选的，所述正向处理单元将视频的预设图像帧转化为低频部分，包括以下步骤：利用卷积层对Xf进行浅层特征提取，获得浅层特征，其中，为第t帧参考帧；将浅层特征进行通道拆分，获得重置信号r和更新信号u两部分；将重置信号r与进行点乘，并与级联得到新的中层特征中层特征通过残差网络进行特征细化，获得细化后的特征h't-1；将细化后的特征h't-1与u组合进行特征更新，获得输出分量和隐藏分量其中，和将作为输入进入下一个时刻的循环，作为第一输出分量，参与最终t时刻视频帧的复原过程。作为优选的，所述残差网络包括多个残差块。作为优选的，所述将细化后的特征h't-1与u组合进行特征更新，获得输出分量和隐藏分量包括：计算uF，通过卷积层和激活层对uF进行处理，获得隐藏分量通过卷积层对uF进行处理，获得输出分量作为优选的，所述融合单元包括三个通道数为3的残差块。本专利技术公开了一种基于双向循环网络的高分辨率视频复原方法，基于上述的高分辨率视频复原系统，包括以下步骤：S1、进入正向循环模块，令帧数t＝1，初始化隐藏状态和输出状态采用第1帧的图像输入模拟第0帧的图像输入；S2、每一个正向循环单元采用第t-1帧的图像、第t帧的图像、和作为输入，以级联的方式组合，获得正向输入特征Xf；采用卷积层对正向输入特征Xf进行浅层特征提取，得到对应的浅层特征Ffin；S3、采用正向循环单元对浅层特征Ffin进行深层特征细化和错误信息删除，得到下一个时间的隐藏状态和输出状态令t＝t+1,判断t<k是否成立，若成立，则重复步骤S2，若不成立，则进入步骤S5，并初始化隐藏状态和输出状态采用第k帧的图像输入模拟第k+1帧的图像输入，其中，k为视频序列的总帧数；S4、每一个反向循环单元采用第t帧的图像、第t+1帧的图像、和作为输入，以级联的方式组合，获得反向输入特征Xb，采用卷积层对反向输入特征Xb进行浅层特征提取，得到对应的浅层特征Fbin；S5、采用反向循环单元对浅层特征Fbin进行深层特征细化和错误信息删除，得到下一个时间的隐藏状态和输出状态令t＝t-1,判断t>0是否成立，若成立，则重复S4，若不成立，则进入S6；S6、融合正向循环的结果和反向循环的结果，复原获得高分辨率的视频序列。作为优选的，所述S6具体包括：融合和复原获得高分辨率的视频序列。本专利技术公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。本专利技术公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。本专利技术公开了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的方法。本专利技术的上述技术方案相比现有技术具有以下优点：1、基于神经网络的高分辨率视频复原算法在主客观评价中都明显优于传统算法，基于连续帧的算法能够充分地利用图像序列的时空信息，其效果优于单帧输入的算法，能够很好地应用在很多领域，帮助提高图像质量。2、本专利技术针对各类场景下低分辨率视频序列，能够适应不同长度的视频，具有很好的鲁棒性。3、本专利技术作为一个端到端的生成网络，在使用过程中，能够非常方便地将低分辨率视频作为网络输入，直接得到对应的高分辨率视频。附图说明图1为本专利技术中基于双向循环网络的高分辨率视频复原方法的流程图；图2为双向循环网络结构图；图3为t时刻的正向循环单元和反向循环单元示意图；图4为残差网络示意图；图5为特征更新示意图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好地理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定。参照图1-图5所示，本专利技术公开了一种基于双向循环网络的高分辨率视频复原系统，包括正向循环模块、反向循环模块和融合单元。所述正向循环模块包括多个依次设置的正向处理单元，所述正向处理单元与视频帧的一一对应设置，当前所述正向处理单元根据前一级正向处理单元的输出、上一时刻视频帧和当前视频帧，将当前视频帧转化为低频部分。所述反向循环模块包括多个依次设置的反向处理单元，所述反向处理单元与视频帧的一一对应设置，当前所述反向处理单元根据前一级反向处理单元的输出、下一时刻的视频帧和当前视频帧，将当前视频帧转化为高频部分。所述融合单元具有多个，所述融合单元与正向处理单元和反向处理单元对应设置，所述融合单元将所述低频部分与高频部分融合，获得高分辨率的视频帧。所述融合单元包括三个通道数为3的残差块。其中，所述正向处理单元将视频的预设图像帧转化为低频部分，包括以下步骤：利用卷积层对Xf进行浅层特征提取，获得浅层特征，其中，为第t帧参考帧。将浅层特征进行通道拆分，获得重置信号r和更新信号u两部分。将重置信号r与进行点乘，并与级联得到新的中层特征中层特征通过残差网络进行特征细化，获得细化后的特征h't-1。其中，所述残差网络包括多个残差块。将细化后的特征h't-1与u组合进行特征更新，获得输出分量和隐藏分量其中，和将作为输入进入下一个时刻的循环，作为第一输出分量，参与最终t时刻视频帧的复原过程。其中，所述将细化本文档来自技高网...

【技术保护点】
1.一种基于双向循环网络的高分辨率视频复原系统，其特征在于，包括：/n正向循环模块，所述正向循环模块包括多个依次设置的正向处理单元，所述正向处理单元与视频帧的一一对应设置，当前所述正向处理单元根据前一级正向处理单元的输出、上一时刻视频帧和当前视频帧，将当前视频帧转化为低频部分；/n反向循环模块，所述反向循环模块包括多个依次设置的反向处理单元，所述反向处理单元与视频帧的一一对应设置，当前所述反向处理单元根据前一级反向处理单元的输出、下一时刻的视频帧和当前视频帧，将当前视频帧转化为高频部分；/n融合单元，所述融合单元具有多个，所述融合单元与正向处理单元和反向处理单元对应设置，所述融合单元将所述低频部分与高频部分融合，获得高分辨率的视频帧。/n

【技术特征摘要】
1.一种基于双向循环网络的高分辨率视频复原系统，其特征在于，包括：
正向循环模块，所述正向循环模块包括多个依次设置的正向处理单元，所述正向处理单元与视频帧的一一对应设置，当前所述正向处理单元根据前一级正向处理单元的输出、上一时刻视频帧和当前视频帧，将当前视频帧转化为低频部分；
反向循环模块，所述反向循环模块包括多个依次设置的反向处理单元，所述反向处理单元与视频帧的一一对应设置，当前所述反向处理单元根据前一级反向处理单元的输出、下一时刻的视频帧和当前视频帧，将当前视频帧转化为高频部分；
融合单元，所述融合单元具有多个，所述融合单元与正向处理单元和反向处理单元对应设置，所述融合单元将所述低频部分与高频部分融合，获得高分辨率的视频帧。


2.根据权利要求1所述的基于双向循环网络的高分辨率视频复原系统，其特征在于，所述正向处理单元将视频的预设图像帧转化为低频部分，包括以下步骤：
利用卷积层对Xf进行浅层特征提取，获得浅层特征，其中，为第t帧参考帧；
将浅层特征进行通道拆分，获得重置信号r和更新信号u两部分；
将重置信号r与进行点乘，并与级联得到新的中层特征
中层特征通过残差网络进行特征细化，获得细化后的特征h't-1；
将细化后的特征h't-1与u组合进行特征更新，获得输出分量和隐藏分量其中，和将作为输入进入下一个时刻的循环，作为第一输出分量，参与最终t时刻视频帧的复原过程。


3.根据权利要求2所述的基于双向循环网络的高分辨率视频复原系统，其特征在于，所述残差网络包括多个残差块。


4.根据权利要求2所述的基于双向循环网络的高分辨率视频复原系统，其特征在于，所述将细化后的特征h't-1与u组合进行特征更新，获得输出分量和隐藏分量包括：
计算uF，
通过卷积层和激活层对uF进行处理，获得隐藏分量
通过卷积层对uF进行处理，获得输出分量


5.根据权利要求1所述的基于双向循环网络的高分辨率视频复原系统，其特征在于，所述融合单元包括三个通道数为3的残差块。

【专利技术属性】
技术研发人员：胡剑凌，高立杭，马青静，曹洪龙，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏;32