一种提高视频空间分辨率的方法技术

本发明专利技术属于视频编辑技术领域，具体为一种提高视频空间分辨率的方法。视频超分是计算机视觉领域的一个重要分支，它利用视频每一帧内的局部关联信息以及相邻帧之间包含的相关信息来重构具有更高分辨率的视频。本发明专利技术方法不仅考虑当前帧内部像素的局部冗余信息，还结合前后相邻帧时间维度的关联性获得低分辨率视频中丢失的高频细节信息恢复原始视频帧的内容，达到了增强视频分辨率丰富细节纹理的效果。实验结果表明，本方法较好地实现了视频分辨率的提升，使得视频具有更加清晰的视觉质量、更丰富的内容及更高的研究应用价值。

A method to improve the spatial resolution of video

The invention belongs to the field of video editing technology, in particular to a method for improving the spatial resolution of video. Video over segmentation is an important branch of the field of computer vision. It uses the local correlation information within each frame of the video and the related information between adjacent frames to reconstruct the video with higher resolution. The method not only takes into account the local redundant information in the current frame, but also combines the correlation of the time dimension of the adjacent frames to obtain the content of the original video frame which is lost in the low resolution video, and achieves the effect of enhancing the video resolution and enriching the details of the texture. The experimental results show that this method can improve the video resolution better, which makes the video have more clear visual quality, richer content and higher research application value.

【技术实现步骤摘要】
一种提高视频空间分辨率的方法
本专利技术属于视频编辑
，具体涉及一种视频超分，更具体地涉及提高视频空间分辨率的方法。
技术介绍
传统的视频超分技术基本是作为传统的图像超分技术的研究分支。它是一门具有较高科学研究价值及较为广泛应用领域的现代视频处理技术。视频分辨率是视频质量的重要指标，分辨率越高，细节越精细，质量越佳，视频提供的信息越丰富。因此高分辨率视频在各个领域有着重要的应用价值及研究前景。但由于视频在采集、存储、传输过程中的限制或干扰，导致其存在不同程度的质量退化。通常获取高分辨率视频最直接的方法是使用高分辨率相机，但由于成本问题，实际情况下许多应用并没有条件使用高分辨率相机。而视频超分技术采用基于信号处理的方法提高视频分辨率，是一种有效提高视频分辨率、改善视频性能的途径，并且该方法成本低，因此对高效高质量的视频超分技术的研究显得更加重要。视频超分不是简单的扩大视频尺寸，它产生了新的包含更有价值信息的视频。目前，这类视频超分技术在生物医学、航空研究、军事应用、视频监控、视频格式转换、视频增强和复原（如老旧电影的翻制）、显微成像、虚拟现实等领域都表现出巨大的应用潜力。本专利技术方法涉及视频超分技术，是在已有的低分辨率视频的基础上通过利用视频每帧内的局部信息及相邻帧间的关联信息，重构出内容更丰富、细节更清晰的视频帧，生成分辨率更高的视频序列。视频超分技术的主要思想是采用一定的算法，从低分辨率的视频序列重构出高分辨率视频序列，从而使获得的视频明显减少模糊、噪声等瑕疵而具有更丰富的高频细节及纹理信息而表现出更好的视觉质量，这类视频超分技术是计算机视频处理领域的一个基本问题。视频超分可以通过基于插值的算法、基于实例方法和基于神经网络的方法来实现。早期的超分方法是基于插值的，如双三次插值和兰索斯重采样，由于超分是一种不适定问题，每个像素从低分辨率视频到高分辨率视频的映射上有许多解，并且这类方法仅使用低分辨率视频的信息，因此很难模拟真实视频的视觉复杂性，对于纹理复杂、平滑着色的视频，插值法很可能生成不真实的效果。不能很好地重构出高分辨率视频。因此超分需要很强的先验来约束解空间，最近大多数较好的方法多采用基于实例的策略来学习强大的先验知识。该方法通过找到多个低分辨率碎片与高分辨率碎片间的对应关系，为每个低分辨率碎片在低分辨率视频帧中找到与该碎片最相似的几个碎片，并计算出使重构代价最小的权值参数，最后使用多个低分辨率片和权值参数来生成高分辨率片形成高分辨率视频。该方法的不足是会损失视频中的高频内容，此外由于存在重叠片的计算会导致计算量的增大。近年来，随着CNN在计算机视觉领域的应用，出现了许多基于CNN的图像超分方法。这些方法实现了这一技术突破性的发展，其中以SRCNN[1]及VDSR[3]方法最具代表性。通过对视频每一帧采用这些方法可以简单地将图像超分扩展到视频超分领域。C.Dong等人在2015年提出来基于卷积神经网络的图像超分方法（SRCNN），通过学习低分辨率和高分辨率图像间的映射关系来重建高分辨率图像。映射表现为一个CNN，将低分辨率图像作为输入，将高分辨率图像作为输出。该方法利用了神经网络的优越性，将图像超分问题建模为神经网络结构，通过优化目标函数训练合适的神经网络得到简单有效的增强图像分辨率的模型。神经网络容易对大量训练集数据学习得到，此外一旦训练好超分的模型后，对高分辨率图像的重构就是简单的前馈过程，因此计算复杂度也得到大幅度降低。C.Dong等人又对SRCNN方法进行了改进，提出了FSRCNN[2]方法，改进了神经网络的结构实现更快的超分效果。KimJ等人2016年通过加深神经网络结构在图像分辨率上取得了更好的效果，同时利用残差学习提高网络效率加快网络的训练速度。在以上基于CNN的图像超分技术的基础之上，KappelerA在2016年等人提出了基于CNN的视频超分技术VSRnet[4]，该技术不仅对视频每一帧使用图像超分方法进行重构，还结合了视频相邻帧间相关性，利用了更多的信息来重构视频，得到更好的视频超分效果。但这种方法需要对输入的视频进行上采样预处理，增加了超分过程的计算复杂度，CaballeroJ等人2016年又提出了一种新的视频超分网络结构VESPCN[5]，将视频上采样的预处理操作融入神经网络的结构，加快了视频超分的过程。随着神经网络在超分领域实现的越来越好的效果，更多的学者通过继续改进神经网络的结构、对视频相邻间信息的融合方式，在超分结果的质量及速度方面不断得到突破。
技术实现思路
为了改进现有技术得到更好的超分效果，本专利技术的目的在于提供一种提高视频空间分辨率的方法，以便提升低分辨率视频的质量，缩短超分时间。本专利技术提供的提高视频空间分辨率的方法，具体步骤如下：（1）视频相邻帧之间的运动补偿和多帧信息融合对于视频超分，分别对视频序列中的每一帧做超分处理，以对第n帧视频In的超分为例；本技术是在NiklausS等人在2017年提出的视频插帧算法中使用的网络结构[6]的基础上进行改进，来执行视频相邻帧的运动补偿；具体过程如图1所示，对视频第n帧In进行超分时，首先将该帧In与其前后各两帧（In-2、In-1、In+1、In+2）聚合为lr（lr={In-2,In-1,In,In+1,In+2}），作为运动补偿网络的输入；通过运动补偿网络为当前帧的每一相邻帧分别计算8对在纵向和横向上的一维核(v1，h1)、(v2，h2)、...、(v8，h8)，v、h分别表示求出的垂直、水平方向的核；总共得到32对一维卷积核，记为：(vn-2,1,hn-2,1)、(vn-2,2,hn-2,2)、...、(vn-2,8,hn-2,8)、(vn-1,1,hn-1,1)、(vn-1,2,hn-1,2)、...、(vn-1,8,hn-1,8)、(vn-1,1,hn-1,1)、(vn-1,2,hn-1,2)、...、(vn+1,8,hn+1,8)、(vn+1,1,hn+1,1)、(vn+2,2,hn+2,2)、...、(vn+2,8,hn+2,8)，其中，(vi,j，hi,j)表示为第i帧求出的第j对一维卷积核；vn-2,1表示为第n-2帧求出的第1个垂直方向的核，hn-2,1表示为第n-2帧求出的第1个水平方向的核；得到32个一维核后，每对核分别与网络的输入lr进行卷积得到1个featuremap，一共得到32个featuremap（fn-2,1、fn-2,1、...、fn-2,1、fn-1,1、fn-1,2、...、fn-1,8、fn+1,1、fn+1,2、...、fn+1,8、fn+2,1、fn-2,2、...、fn+2,8）,其中，fi,j表示使用核(vi,j，hi,j)对lr进行卷积处理后得到的featuremap，fn-2,1表示使用核（vn-2,1，hn-2,1）对网络的输入lr进行处理得到的featuermap；最后再将这些featuremap与当前帧聚合起来作为网络此步的输出q（q={In,fn-2,1,...,fn-2,1,fn-1,1,...,fn-1,8,fn+1,1,...,fn+1,8,fn+2,1,...,fn+2,8}），并将其输入下一步网络中；这样同时实现了视频超分过程中相邻帧本文档来自技高网...

【技术保护点】
1.一种提高视频空间分辨率的方法，其特征在于，具体步骤如下：（1）视频相邻帧之间运动补偿并融合多帧信息分别对视频序列中的每一帧视频，结合其相邻的4帧视频信息后单独做超分处理，以实现视频超分；设第n帧视频为In，首先对于视频插帧算法中的网络结构加以改进，用于执行视频超分过程中的相邻帧的运动补偿，即对于每一帧的超分：将该帧In与其前后各两帧：In‑2、In‑1、In+1、In+2合并为lr，lr={In‑2, In‑1, In, In+1, In+2}，作为网络的低分辨率输入；为每一个相邻帧分别计算8对在纵向和横向上的一维核{(v1，h1) 、(v2，h2)、... 、(v8，h8)}，v、h分别表示求出的垂直、水平方向的核；总共得到32对一维卷积核，记为：(vn‑2,1, hn‑2,1)、(vn‑2,2, hn‑2,2)、... 、(vn‑2,8, hn‑2,8) 、(vn‑1,1, hn‑1,1)、(vn‑1,2, hn‑1,2)、... 、(vn‑1,8, hn‑1,8) 、(vn‑1,1, hn‑1,1)、(vn‑1,2, hn‑1,2)、... 、(vn+1,8, hn+1,8) 、(vn+1,1, hn+1,1)、(vn+2,2, hn+2,2)、... 、(vn+2,8, hn+2,8)，其中，(vi,j，hi,j)表示为第i帧求出的第j对一维卷积核；得到32个一维核后，每对核分别与网络的输入lr进行卷积得到1个feature map，一共得到32个feature map：fn‑2,1、fn‑2,1、... 、fn‑2,1、fn‑1,1、fn‑1,2、... 、fn‑1,8、fn+1,1、fn+1,2、... 、fn+1,8、fn+2,1、fn‑2,2、... 、fn+2,8，其中，fi,j表示使用核(vi,j，hi,j)对lr进行卷积处理后得到的feature map；最后再将这些feature map与当前帧聚合起来作为网络此步的输出q：q={In, fn‑2,1,... ,fn‑2,1,fn‑1,1,... ,fn‑1,8,fn+1,1,... ,fn+1,8,fn+2,1,... ,fn+2,8}，并将其输入下一步网络中；这样同时实现了视频超分过程中相邻帧运动信息抵消和相邻帧图像的特征信息与当前帧图像融合；（2）重构当前帧将上一步得到的特征图与当前帧的合并结果q输入到单视频帧重构的网络中；这一步类似于图像超分的过程，首先对输入信号进行预处理，再将其经过一个基于gated highway unit的超分网络结构，执行若干次gated highway unit中定义的操作，得到当前帧的残差图，将上采样后的当前低分辨率帧与该残差图结合，得到网络最终输出的高分辨率视频帧...

【技术特征摘要】
1.一种提高视频空间分辨率的方法，其特征在于，具体步骤如下：（1）视频相邻帧之间运动补偿并融合多帧信息分别对视频序列中的每一帧视频，结合其相邻的4帧视频信息后单独做超分处理，以实现视频超分；设第n帧视频为In，首先对于视频插帧算法中的网络结构加以改进，用于执行视频超分过程中的相邻帧的运动补偿，即对于每一帧的超分：将该帧In与其前后各两帧：In-2、In-1、In+1、In+2合并为lr，lr={In-2,In-1,In,In+1,In+2}，作为网络的低分辨率输入；为每一个相邻帧分别计算8对在纵向和横向上的一维核{(v1，h1)、(v2，h2)、...、(v8，h8)}，v、h分别表示求出的垂直、水平方向的核；总共得到32对一维卷积核，记为：(vn-2,1,hn-2,1)、(vn-2,2,hn-2,2)、...、(vn-2,8,hn-2,8)、(vn-1,1,hn-1,1)、(vn-1,2,hn-1,2)、...、(vn-1,8,hn-1,8)、(vn-1,1,hn-1,1)、(vn-1,2,hn-1,2)、...、(vn+1,8,hn+1,8)、(vn+1,1,hn+1,1)、(vn+2,2,hn+2,2)、...、(vn+2,8,hn+2,8)，其中，(vi,j，hi,j)表示为第i帧求出的第j对一维卷积核；得到32个一维核后，每对核分别与网络的输入lr进行卷积得到1个featuremap，一共得到32个featuremap：fn-2,1、fn-2,1、...、fn-2,1、fn-1,1、fn-1,2、...、fn-1,8、fn+1,1、fn+1,2、...、fn+1,8、fn+2,1、fn-2,2、...、fn+2,8，其中，fi,j表示使用核(vi,j，hi,j)对lr进行卷积处理后得到的featuremap；最后再将这些featuremap与当前帧聚合起来作为网络此步的输出q：q={In,fn-2,1,...,fn-2,1,fn-1,1,...,fn-1,8,fn+1,1,...,fn+1,8,fn+2...

【专利技术属性】
技术研发人员：颜波，李可，马晨曦，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31