基于隐藏状态特征流估计的视频超分辨重建方法技术

本发明专利技术公开了一种基于隐藏状态特征流估计的视频超分辨重建方法，其特征在于，包括如下步骤：1）数据集预处理；2）建立重建模型；3）模型训练。这种方法能获取更多高频细节信息，学习更好的特征，能提高视频超分辨的重建效果。能提高视频超分辨的重建效果。能提高视频超分辨的重建效果。

【技术实现步骤摘要】
基于隐藏状态特征流估计的视频超分辨重建方法


[0001]本专利技术涉及图像处理技术，具体是一种基于隐藏状态特征流估计的视频超分辨重建方法。

技术介绍

[0002]超分辨是低分辨率领域传统而又动态的课题，其目的是通过填充低分辨率LR(Low
‑
Resolution,简称LR)图像中缺失的细节，将低分辨图生成相应的高分辨率图。而根据输入的不同，超分辨又可以分为单幅图像超分辨率技术、多幅图像超分辨技术和视频超分辨率技术。近年来，随着智能手机、APP、智能高清电视和监控设备等需求日益增大，超分辨这一技术需求也变得越来越大。随着深度学习的大量研究以及取得较好效果，过去几年，单幅图像超分辨取得显著的进步。而最近几年，对高清视频的需求越来越大，视频超分辨也越来越备受关注。
[0003]现有的基于深度学习的视频超分辨率重建方法一般有特征提取、对齐、融合和重建四个步骤，特征对齐和融合主要是对多帧进行显式或隐式的运动估计和运动补偿，当视频中存在遮挡、复杂的运动等问题时，特征对齐和融合的策略对视频帧重建的质量起着关键的作用。由于相邻的视频帧存在大量的冗余信息，为了充分挖掘视频帧内的空间关系以及帧间的时间关系来达到更好的特征融合，不仅需要深度网络尽可能地增大参考帧特征的感受野来提取不同层的空间特征，也需要有选择地利用不同的相邻帧所提供的不同信息量。基于循环的方法是大多先进算法采用的策略，基于循环的方法可以很好进行隐式对齐和融合特征的提取，但以往的方法对保留下来的隐藏状态信息大多是没有进行处理直接融合作为模型的输入，在特征对齐和融合方面都是对输入视频帧进行对齐，在进行特征融合时，没能充分利用特征间的关系和没有很好利用过去隐藏状态信息的高频细节特征。
[0004]所以，需要一个新的技术解决上述出现的问题。

技术实现思路

[0005]本专利技术的目的是针对现有技术不足，而提供一种基于隐藏状态特征流估计的视频超分辨重建方法。这种方法能获取更多高频细节信息，学习更好的特征，能提高视频超分辨的重建效果。
[0006]实现本专利技术目的的技术方案是：
[0007]一种基于隐藏状态特征流估计的视频超分辨重建方法，与现有的技术不同的是，包括如下步骤：
[0008]1)数据集预处理：对获取的高清视频帧数据集Vimeo
‑
90K进行高斯核为1.6的模糊处理，并进一步采用4倍的尺度下采样得到低分辨率视频帧，得到训练集T；
[0009]2)建立重建模型：应用重建模型Model对训练数据集T进行处理，得到超分辨图像SR，重建模型Model设有预隐藏状态过程PHSnet、特征流估计过程FFEnet、特征深度融合过程FDFnet、重构过程Rnet，包括：
[0010]2‑
1)将训练集T中的多帧样本I
t
,I
t
‑1...I
t
‑
n
输入预隐藏状态网络PHSnet，得到初始隐藏状态特征H0，其中，预隐藏状态PHSnet过程为：首先，输入多帧低分辨视频帧I
t
,I
t
‑1...I
t
‑
n
分别经过一层3*3卷积操作conv3进行浅层特征提取，之后对提取到的特征进行通道拼接融合conccat，得到融合特征x1；其次，特征x1通过由每一层都是通道注意力组成的Unet
attention
模型,得到特征x2；然后，特征x2经过由5层残差单元组成的残差块RB，得到特征x3；最后，特征x3通过没有亚像素组成的重构网络Rnet，得到最终的初始隐藏状态特征信息H0，所述过程如公式(1)、公式(2)、公式(3)、公式(4)所示：
[0011]x1＝conccat(conv3(I
t
),conv3(I
t
‑1)...conv3(I
t
‑
n
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)，
[0012]x2＝Unet
attention
(x1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)，
[0013]x3＝RB(x2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)，
[0014]H0＝Rnet(x3)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)；
[0015]2‑
2)将训练集T中的样本I
t
,I
t
‑1和初始隐藏状态特征H0输入特征流估计网络FFEnet，得到特征H02、f
12
，其中，特征流估计FFEnet过程为：首先，输入两帧低分辨视频帧I
t
,I
t
‑1通过各自残差块，分别得到浅层特征f1、f2；然后，将浅层特征f1、f2输入流估计网络FEnet，得到流估计flow；最后，将特征H0、f1进行流估计flow，得到扭曲特征H02、f
12
；
[0016]2‑
3)将步骤2
‑
2)得到扭曲特征H02、f
12
以及特征f2进行通道数拼接融合输入特征深度融合网络FDFnet,得到高频细节特征信息f3，其中特征深度融合过程FDFnet为：首先对输入特征Z1经过由5层残差单元组成的残差块，得到特征Z2；然后对特征Z2经过U型多层次混合注意力网络，得到特征Z3；最后，对特征深度融合过程FDFnet进行N个级联，得到最终高频细节特征f3；
[0017]2‑
4)将步骤2
‑
3)得到高频细节特征信息f3输入重构网络Rnet，重构网络Rnet由4层残差层、2层并行卷积层、1层Dropout层、1层亚像素卷积层组成，输出得到第一帧的超分辨图像SR1、隐藏状态信息特征H
t1
，具体重构Rnet过程为：首先对输入特征f3分别进行卷积层以及激活函数层σ、Dropout层与卷积层得到隐藏信息特征图h
t
、重构输出特征图o
t
；对h
t
、o
t
进行通道拼接融合concat得到最终隐藏信息特征图H
t
,同时对o
t
进行亚像素卷积Pixel得到特征图与对应进行双三次上采样Bicubic重构帧的低分辨图I
t
按逐元素相加得到最终超分辨图SR；
[0018]2‑
5)重复步骤2
‑
2)后，得到特征f4、f5、流估计Flow；
[0019]2‑
6)将步骤2
‑
4)所得到的隐藏状态信息特征H
t1
、f4进行Flow流估计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于隐藏状态特征流估计的视频超分辨重建方法，其特征在于，包括如下步骤：1)数据集预处理：对获取的高清视频帧数据集Vimeo
‑
90K进行高斯核为1.6的模糊处理，并进一步采用4倍的尺度下采样得到低分辨率视频帧，得到训练集T；2)建立重建模型：应用重建模型Model对训练数据集T进行处理，得到超分辨图像SR，重建模型Model设有预隐藏状态过程PHSnet、特征流估计过程FFEnet、特征深度融合过程FDFnet、重构过程Rnet，包括：2
‑
1)将训练集T中的多帧样本I
t
,I
t
‑1...I
t
‑
n
输入预隐藏状态网络PHSnet，得到初始隐藏状态特征H0，其中，预隐藏状态PHSnet过程为：首先，输入多帧低分辨视频帧I
t
,I
t
‑1...I
t
‑
n
分别经过一层3*3卷积操作conv3进行浅层特征提取，之后对提取到的特征进行通道拼接融合conccat，得到融合特征x1；其次，特征x1通过由每一层都是通道注意力组成的Unet
attention
模型,得到特征x2；然后，特征x2经过由5层残差单元组成的残差块RB，得到特征x3；最后，特征x3通过没有亚像素组成的重构网络Rnet，得到最终的初始隐藏状态特征信息H0，所述过程如公式(1)、公式(2)、公式(3)、公式(4)所示：x1＝conccat(conv3(I
t
),conv3(I
t
‑1)...conv3(I
t
‑
n
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)，x2＝Unet
attention
(x1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)，x3＝RB(x2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)，H0＝Rnet(x3)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)；2
‑
2)将训练集T中的样本I
t
,I
t
‑1和初始隐藏状态特征H0输入特征流估计网络FFEnet，得到特征H02、f
12
，其中，特征流估计FFEnet过程为：首先，输入两帧低分辨视频帧I
t
,I
t
‑1通过各自残差块，分别得到浅层特征f1、f2；然后，将浅层特征f1、f2输入流估计网络FEnet，得到流估计flow；最后，将特征H0、f1进行流估计flow，得到扭曲特征H02、f
12
；2
‑
3)将步骤2
‑
2)得到扭曲特征H02、f
12
以及特征f2进行通道数拼接融合输入特征深度融合网络FDFnet,得到高频细节特征信息f3，其中特征深度融合过程FDFnet为：首先对输入特征Z1经过由5层残差单元组成的残差块，得到特征Z2；然后对特征Z2经过U型多层次混合注意力网络，得到特征Z3；最后，对特征深度融合过程FDFnet进行N个级联，得到最终高频细节特征f3；2
‑
4)将步骤2
‑
3)得到高频细节特征信息f3输入重构网络Rnet，...

【专利技术属性】
技术研发人员：林乐平，欧志山，欧阳宁，莫建文，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：