一种基于视频数据的轻量化超分辨率方法技术

本发明专利技术提供了一种基于视频数据的轻量化超分辨率方法。设计了轻量化超分辨率网络，包括特征提取、特征对齐、特征重构等模块，分别利用基本的卷积操作和通道分离、通道打乱、自校正卷积等处理，能够在保证模型参数量不会过大的同时，较好地利用视频帧通道的各级特征并进行差异化地学习，得到较好的全景视频超分辨率结果。结果。结果。

【技术实现步骤摘要】
一种基于视频数据的轻量化超分辨率方法


[0001]本专利技术属计算机视觉领域，具体涉及一种基于视频数据的轻量化超分辨率方法。

技术介绍

[0002]超分辨率(SR)是一项底层的计算机视觉任务。它所要解决的问题是如何将一幅低分辨率(LR)图像映射到高分辨率(HR)，同时增强其中的细节，以期达到赏心悦目的目的。SR主要针对两种对象进行处理，一类是图像，另一类是视频。基于图像的超分辨率技术所要实现的目标是在提升LR图像的分辨率时增强其中的细节，而基于视频的SR技术在达到图像SR要求的同时还要保证视频帧与帧之间的连续一致性，否则会使得合成的视频播放不连贯，影响观看体验。
[0003]现有的超分辨算法可以分为两大类：一类是传统的方法，另一类则是基于深度学习的方法。传统的超分辨算法包括双线性插值、双立方插值、稀疏表示等等。基于深度学习的方法，由于卷积神经网络(CNN)的强特征学习能力，使其在性能上远远优于传统的超分辨方法，很多基于深度学习的图像、视频超分辨算法被提出，分别从不同的问题角度尝试提升超分辨效果，包括原始数据本身、网络结构和损失函数等等。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频数据的轻量化超分辨率方法，其特征在于步骤如下：S1、将低分辨率的360
°
全景视频拆成连续的视频帧，以滑动窗口的方式将连续视频帧输入到网络，窗口大小设置成3帧，步长为1帧，在处理第一帧和最后一帧时，分别将原视频帧序列的第二帧和倒数第二帧添加到序列的第一帧和最后一帧，窗口中心对应的视频帧为目标帧，另外两帧视频帧为近邻帧；S2、输入视频帧经特征提取模块进行特征提取，所述的特征提取模块由若干两层卷积构成的残差块residualblock组成；S3、提取到的特征经特征对齐模块提取近邻帧和目标帧的帧间信息，并利用帧间信息将近邻帧的特征图和目标帧特征图对齐后输出，具体过程包括：S301、、将步骤S2提取得到的近邻帧特征和目标帧特征按照通道维度进行拼接，再通过卷积层进行特征提取；S302、将步骤S301得到的特征信息输入自校正卷积网络，首先，将输入特征信息的通道一分为二，一路分支经平均池化层、卷积层、上采样操作后得到的特征与输入特征进行相加融合，融合后的特征经过Sigmoid层，与输入特征经过卷积层后的输出进行相乘融合，融合后的特征再经卷积层，得到这一路分支的输...

【专利技术属性】
技术研发人员：乔海洋，白洁，杨奔奔，刘红英，尚凡华，赵鹏，
申请(专利权)人：电信科学技术第十研究所有限公司，
类型：发明
国别省市：