一种提高视频空间分辨率的方法技术

本发明专利技术属于视频编辑技术领域，具体为一种提高视频空间分辨率的方法。本发明专利技术步骤包括：局部帧及局部特征的提取：将多帧相邻视频帧输入到局部网络NETL中，利用帧间的局部信息学习出局部重构帧SRt

【技术实现步骤摘要】
一种提高视频空间分辨率的方法
本专利技术属于视频编辑
，具体涉及一种视频超分方法，更具体地涉及提高视频空间分辨率的方法。
技术介绍
传统的视频超分技术基本是作为传统的图像超分技术的研究分支。它是一门具有较高科学研究价值及较为广泛应用领域的现代视频处理技术。视频分辨率是视频质量的重要指标,分辨率越高,细节越精细,质量越佳，视频提供的信息越丰富。因此HR视频在各个领域有着重要的应用价值及研究前景。但由于视频在采集、存储、传输过程中的限制或干扰，导致其存在不同程度的质量退化。通常获取HR视频最直接的方法是使用HR相机，但由于成本问题，实际情况下许多应用并没有条件使用HR相机。而视频超分技术采用基于信号处理的方法提高视频分辨率，是一种有效提高视频分辨率、改善视频性能的途径，并且该方法成本低，因此对高效高质量的视频超分技术的研究显得更加重要。视频超分不是简单的扩大视频尺寸，它产生了新的包含更有价值信息的视频。目前，这类视频超分技术在生物医学、航空研究、军事应用、视频监控、视频格式转换、视频增强和复原(如老旧电影的翻制)、显微成像、虚拟现实等领域都表现出巨大的应用潜力。本专利技术方法涉及视频超分技术，是在已有的低分辨率视频的基础上通过利用视频每帧内的局部信息及相邻帧间的关联信息，重构出内容更丰富、细节更清晰的视频帧，生成分辨率更高的视频序列。视频超分技术的主要思想是采用一定的算法，从LR的视频序列重构出HR视频序列，从而使获得的视频明显减少模糊、噪声等瑕疵而具有更丰富的高频细节及纹理信息而表现出更好的视觉质量，这类视频超分技术是计算机视频处理领域的一个基本问题。视频超分可以通过基于插值的算法、基于实例方法和基于神经网络的方法来实现。早期的超分方法是基于插值的，如双三次插值和兰索斯重采样，由于超分是一种不适定问题，每个像素从低分辨率视频到高分辨率视频的映射上有许多解，并且这类方法仅使用低分辨率视频的信息，因此很难模拟真实视频的视觉复杂性，对于纹理复杂、平滑着色的视频，插值法很可能生成不真实的效果。不能很好地重构出高分辨率视频。因此超分需要很强的先验来约束解空间，最近大多数较好的方法多采用基于实例的策略来学习强大的先验知识。该方法通过找到多个LR碎片与HR碎片间的对应关系，为每个LR碎片在LR视频帧中找到与该碎片最相似的几个碎片，并计算出使重构代价最小的权值参数，最后使用多个LR片和权值参数来生成高分辨率片形成高分辨率视频。该方法的不足是会损失视频中的高频内容，此外由于存在重叠片的计算会导致计算量的增大。近年来，随着CNN在计算机视觉领域的应用，出现了许多基于CNN的图像超分方法。这些方法实现了这一技术突破性的发展，其中以SRCNN[1]及VDSR[3]方法最具代表性。通过对视频每一帧采用这些方法可以简单地将图像超分扩展到视频超分领域。C.Dong等人在2015年提出来基于卷积神经网络的图像超分方法(SRCNN)，通过学习LR和HR图像间的映射关系来重建HR图像。映射表现为一个CNN，将低分辨率图像作为输入，将高分辨率图像作为输出。该方法利用了神经网络的优越性，将图像超分问题建模为神经网络结构，通过优化目标函数训练合适的神经网络得到简单有效的增强图像分辨率的模型。神经网络容易对大量训练集数据学习得到，此外一旦训练好超分的模型后，对高分辨率图像的重构就是简单的前馈过程，因此计算复杂度也得到大幅度降低。C.Dong等人又对SRCNN方法进行了改进，提出了FSRCNN[2]方法，改进了神经网络的结构实现更快的超分效果。KimJ等人2016年通过加深神经网络结构在图像分辨率上取得了更好的效果，同时利用残差学习提高网络效率加快网络的训练速度。在以上基于CNN的图像超分技术的基础之上，KappelerA在2016年等人提出了基于CNN的视频超分技术VSRnet[4]，该技术不仅对视频每一帧使用图像超分方法进行重构，还结合了视频相邻帧间相关性，利用了更多的信息来重构视频，得到更好的视频超分效果。但这种方法需要对输入的视频进行上采样预处理，增加了超分过程的计算复杂度，CaballeroJ等人2016年又提出了一种新的视频超分网络结构VESPCN[5]，将视频上采样的预处理操作融入神经网络的结构，加快了视频超分的过程。随着神经网络在超分领域实现的越来越好的效果，更多的学者通过继续改进神经网络的结构、对视频相邻间信息的融合方式，在超分结果的质量及速度方面不断得到突破。传统视频超分方法仅利用低分辨率视频中的信息，对视频每一帧进行超分。然而传统的视频超分方法仅利用了低分辨率视频的信息来重构视频帧，其效果往往局限于低分辨率视频中的信息，不足以提供丰富的信息来恢复出真实的高分辨率视频中的纹理细节等较为复杂的内容。此外传统的视频超分方法为了利用相邻帧之间的相关性，常常要采用光流法对相邻帧的运动信息进行估计并补偿，这极大程度上增加了视频超分的时间复杂度。
技术实现思路
为了改进现有技术得到更好的超分效果，本专利技术的目的在于提供一种提高视频空间分辨率的方法，以提升低分辨率视频的质量，达到实时超分效果。本专利技术提供的提高视频空间分辨率的方法，具体步骤如下：(1)局部帧及局部特征的提取将当前帧(LRt)与其前后相邻的帧级联起来(LRt-1，LRt+1)输入到局部网络NETL中，利用帧间的局部信息学习出局部重构帧SRtLocal及该帧的特征FtLocal：其中，WL为局部网络中的参数，FtLocal表示局部网络在当前时间t生成的特征，SRtLocal表示局部网络在当前时间t得到的超分后的帧；(2)重构当前帧将步骤(1)学到的局部帧SRtLocal、局部帧的特征FtLocal、相邻的前一重构后的视频帧SRt-1及前一帧的内容特征Ft-1输入到内容网络NETC中，重构当前帧SRt并生成当前帧的内容特征Ft：其中，Wc为内容网络中的参数。本专利技术步骤(1)中，局部网络NETL对视频每一帧利用该帧及其前后相邻2帧的信息，初步恢复出每一帧中的内容；局部网络NETL由5个卷积层、8个残差块以及1个去卷积层构成；局部网络的具体结构及学习流程为：首先，将相邻的3帧视频(LRt-1，LRt，LRt+1)级联起来一同输入到局部网络NETL中，依次经过1个大小为3*3的卷积层、8个残差块，得到中间特征ft；其中，残差块采用论文[6]中的结构，由两个卷积层及一个跳跃连接构成；ft＝Res8(Res8(...Res8(Conv(LRt-1，LRt，LRt+1))...))(3)然后，将中间特征分两路处理，分别得到局部网络的两个输出，局部超分帧SRtLocal和局部特征FtLocal，具体步骤为：为得到局部超分帧SRtLocal，将中间特征经过一个大小为3*3的卷积层及一个大小为8*8的去卷积层得到局部超分帧的残差图，再将该残差图与双三次插值上采样后的当前帧相加，得到局部超分帧SRtLocal；其中去卷积层采用步幅为4，来实现视频帧的空间分辨率的放大；为得到局部特征FtLocal，将中间特征通过两个大小为3*3的卷积层估计出当前帧的局部特征FtLocal，本专利技术步骤(2)中，内容网络NETC基于步骤(1)输出的局部超分帧SRtLocal和局部特征FtLocal，再结合前一帧的重构结本文档来自技高网...

【技术保护点】
1.一种提高视频分辨率的方法，其特征在于，具体步骤如下：(1)局部帧及局部特征的提取将多个相邻的视频帧(LRt‑1，LRt，LRt+1)输入到局部网络NETL中，利用帧间的局部信息学习出局部重构帧SRtLocal及该帧的特征FtLocal：

【技术特征摘要】
1.一种提高视频分辨率的方法，其特征在于，具体步骤如下：(1)局部帧及局部特征的提取将多个相邻的视频帧(LRt-1，LRt，LRt+1)输入到局部网络NETL中，利用帧间的局部信息学习出局部重构帧SRtLocal及该帧的特征FtLocal：其中，WL为局部网络中的参数，FtLocal表示局部网络在当前时间t生成的特征，SRtLocal表示局部网络在当前时间t得到的超分后的帧；(2)重构当前帧将步骤(1)学到的局部帧SRtLocal和相邻的前一重构后的视频帧SRt-1及前一帧的内容特征Ft-1输入到内容网络NETC中，重构当前帧SRt并生成当前帧的内容特征Ft：其中，Wc为内容网络中的参数。2.根据权利要求1所述的方法，其特征在于，步骤(1)中，局部网络NETL对视频每一帧利用该帧及其前后相邻2帧的信息，初步恢复出每一帧中的内容；局部网络NETL由5个卷积层、8个残差块以及1个去卷积层构成；具体流程为：首先，将相邻的3帧视频(LRt-1，LRt，LRt+1)级联起来一同输入到局部网络NETL中，依次经过1个大小为3*3的卷积层、8个残差块，得到中间特征ft；其中，残差块由两个卷积层及一个跳跃连接构成；ft＝Res8(Res8(...Res8(Conv(LRt-l，LRt，LRt+1))...))然后，将中间特征ft分两路处理，分别得到局部网络的两个输出，局部超分帧SRtLocal和局部特征FtLocal，具体步骤为：为得到局部超分帧SRtLocal，将中间特征经过一个大小为3*3的卷积层及一个大小为8*8的去卷积层得到局部超分帧的残差图，再将该残差图与双三次插值上采样后的当前帧相加，得到局部超分帧SRtLocal；其...

【专利技术属性】
技术研发人员：颜波，林楚铭，谭伟敏，马晨曦，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31