基于超分辨率重构的视频压缩方法技术

本发明专利技术公开了一种基于超分辨率重构的视频压缩方法，主要解决现有方法在低码率压缩情况下丢失较多信息导致重构出的视频峰值信噪比低的问题，其实现步骤为：1.获取包含压缩样本集和输入视频集的训练样本；2.构建基于TensorFlow架构的深度卷积神经网络模型；3.利用获取的训练样本对构建的深度卷积神经网络模型进行训练；4.将待压缩的视频进行预处理后输入到训练好的深度卷积神经网络模型中，对视频进行压缩与恢复，得到最终恢复出的视频。本发明专利技术减少了低码率压缩情况下的信息丢失，提高了恢复视频的峰值信噪比，可应用于视频存储、视频传输及视频通信场合。

Video compression method based on super-resolution reconstruction

【技术实现步骤摘要】
基于超分辨率重构的视频压缩方法
本专利技术属于视频压缩
，特别涉及一种视频压缩方法，可应用于视频存储、视频传输及视频通信场合。
技术介绍
随着视频产业链的不断发展和计算机技术的不断突破，以视频为载体的信息传播方式已经得到广泛使用。相较于普通的文字和图片，视频包含的数据量比较大，并且随着成像设备的快速发展，在一些使用超高清视频的场景中，超高清视频包含的数据量非常大，在对视频进行存储或者传输时，往往受到存储器容量和网络带宽的限制需要对视频进行压缩，而在压缩的过程中则会造成数据受损，给后续视频恢复带来困难。超分辨率技术因其技术优势能够有效缓解这一问题。近年来，随着网络直播、新一代多媒体视频通信、物联网等技术的快速发展，视频压缩由于具有较高的研究价值以及广阔的商业应用空间，无论是在科研领域还是在工业应用领域都受到了越来越广泛的关注。当前，大部分传统的视频压缩方法都是利用视频数据在空间和时间上的相关性进行视频压缩，其中应用较为广泛的视频压缩方法是H.264视频压缩方法，该方法主要是通过帧内预测压缩、帧间预测压缩以及数据量化编码等技术来实现视频压缩，但该方法并没有充分应用视频大数据中的先验信息，在一些需要对数据进行低码率压缩的场景中会丢失较多信息，导致重构出的视频峰值信噪比低，给后续使用带来困难。
技术实现思路
本专利技术目的在于针对上述现有技术的不足，提供一种基于超分辨率重构的视频压缩方法，以减少低码率压缩情况下的信息丢失，提高重构视频的峰值信噪比。本专利技术的技术思路是：通过对需要压缩的视频进行下采样，将下采样后的视频输入H.264压缩方法中来减少数据量，通过设计一个压缩神经网络在原始视频大数据中学习先验信息，用学习到的先验信息帮助超分辨率重构，以此提升重构视频的峰值信噪比。其实现步骤包括如下：(1)获取训练样本；(1a)将包含N个高清视频的视频集备份存储2份，一份作为原始样本集X，一份作为标签视频集Y，并对原始样本集依次进行下采样、编码及解码的预处理，得到压缩样本集X(c)；(1b)用压缩样本集和输入视频集共同作为训练样本集X(t)；(2)构建基于TensorFlow架构的深度卷积神经网络DNN的网络模型：(2a)设计依次由相邻帧融合子网络、编码子网络、量化子网络和解码子网络4部分组成的压缩神经网络模块，该量化子网络依次包含一个全连接层、tanh函数映射层、sign函数映射层和截断层；(2b)设计依次由特征提取子网络，特征融合子网络和重构子网络3部分组成构超分辨率重构模块；(2c)将压缩神经网络模块中解码子网络的输出端与超分辨率重构模块中的特征融合子网络相连接，构成深度卷积神经网络DNN的网络模型；(3)用(1)获得的训练样本集对(2)构建的网络模型进行训练：(3a)将训练样本输入(2)中构建的DNN网络模型中，输出重构的视频图像；(3b)计算深度卷积神经网络DNN的网络模型的损失值，利用损失值采用随机梯度下降算法对该DNN网络模型进行训练，得到训练好的DNN网络模型；(4)将待压缩的视频进行预处理后，用训练好的网络模型对视频进行压缩与解码：(4a)在编码端对视频图像进行压缩：(4a1)将需要压缩的视频图像进行备份存储；(4a2)将需要压缩的视频图像输入到训练好的DNN网络模型中，提取量化子网络中的截断层特征进行压缩，并每隔M个特征进行备份保留，得到压缩特征；(4a3)将备份存储的视频图像按照预先设定的下采样方式进行下采样，再使用H.264方法进行压缩，得到视频图像的压缩码流；(4a4)用压缩码流与压缩特征共同组成压缩文件；(4b)在解码端对压缩文件进行解码：(4b1)提取出压缩文件中的压缩码流，通过H.264方法对该压缩码流进行解码，得到初始恢复视频；(4b2)先提取出压缩文件中的压缩特征，每M个视频帧共享一个压缩特征，再对压缩特征进行解压缩得到解压缩特征，并用该解压缩特征替换量化子网络中的截断层特征；(4b3)将初始恢复视频和替换后的截断层特征一起输入训练好的DNN网络结构中，该DNN模型的输出即为恢复后的视频。本专利技术与现有技术相比具有以下优点：1.峰值信噪比高本专利技术在现有H.264视频压缩方法的基础上，将超分辨率重构技术应用到视频压缩领域，并且通过神经网络对视频中的相邻帧进行信息提取和融合，利用神经网络强大的表征能力和学习能力来拟合输入视频和和输出视频之间的映射关系，恢复出的视频峰值信噪比较高。2.低码率压缩时信息丢失较少本专利技术除了设计一个超分辨率重构模块对初始视频进行超分辨率重构外，还设计了一个压缩神经网络对需要压缩的视频进行学习，由于在下采样以及对下采样后的视频进行压缩的过程中，会造成不可逆的信息损失，给视频恢复带来困难，本专利技术通过设计的压缩神经网络对需要压缩的视频进行学习，学习到的信息叫做边信息，边信息用来帮助超分辨率重构，并且在测试使用时，采用多帧共享的方式，可在不显著降低压缩程度的同时，减少低码率压缩情况下的信息丢失，进一步提高视频的峰值信噪比。附图说明图1是本专利技术的实现流程图；图2是需要压缩的视频中的某一帧图像；图3是使用H.264方法对图2中的图像进行压缩后，恢复出的图像；图4是使用本专利技术方法对图2中的图像进行压缩后，恢复出的图像；具体实施方式下面结合附图对本专利技术的实施例和效果做进一步描述。参照图1，对本实例的具体实施步骤如下：步骤1，获取训练样本。本实施例中的高清视频包含542个视频序列，每个视频序列由32个连续帧组成，主要是从高清纪录片中搜集的高清视频序列，比较真实，数据集中有森林、雪、沙漠、城市生活等各种场景，其中大部分视频帧的分辨率为1280*720，从这些视频序列中获得训练样本的步骤如下：(1a)将上述542个视频序列备份存储2份，一份作为原始样本集X＝{X1,X2,…,Xi,…,XN}，其中，Xi表示第i个视频，N表示视频总个数，Xi＝{Xi,1,Xi,2,…,Xi,j,…,Xi,L}，其中，Xi,j表示第i个视频中的第j帧，L表示第i个视频中的总帧数；另一份作为标签视频集Y＝{Y1,Y2,…,Yi,…,YN}，其中，Yi表示第i个视频，N表示视频总个数，Yi＝{Yi,1,Yi,2,…,Yi,j,…,Yi,L}，其中，Yi,j表示第i个视频中的第j帧，L表示第i个视频中的总帧数；(1b)对原始视频集X进行下采样，本实例是在matlab语言中用以下命令实现对原始样本集X中的视频进行下采样：frame_down＝imresize(frame,rate,'bicubic')；其中，frame_down表示下采样后的视频帧，frame表示原始视频帧，rate表示采样倍数，'bicubic'表示采样方法,本实施例中,rate＝4；(1c)使用现有的H.264压缩方法对下采样后的视频进行编码；(1d)使用现有的H.264压缩方法对编码视频进行解码，得到压缩样本集X(c),其中，表示第i个视频，N表示视频总个数，其中，表示第i个视频中的第j帧，L表示第i个视频中的总帧数，用压缩样本集X(c)和原始样本集X共同作为训练样本集X(t)＝{X(c)，X}。步骤2，构建基于TensorFlow架构的深度卷积神经网络DNN的网络模型。(2a)设计用于学习边信息的压缩神经网络模块：(2a1)搭建相本文档来自技高网...

【技术保护点】
1.一种基于超分辨率重构的视频压缩方法，包括：(1)获取训练样本：(1a)将包含N个高清视频的视频集备份存储2份，一份作为原始样本集X，一份作为标签视频集Y，并对输入视频集依次进行下采样、编码及解码的预处理，得到压缩样本集X

【技术特征摘要】
1.一种基于超分辨率重构的视频压缩方法，包括：(1)获取训练样本：(1a)将包含N个高清视频的视频集备份存储2份，一份作为原始样本集X，一份作为标签视频集Y，并对输入视频集依次进行下采样、编码及解码的预处理，得到压缩样本集X(c)；(1b)用压缩样本集和原始样本集共同作为训练样本集X(t)；(2)构建基于TensorFlow架构的深度卷积神经网络DNN的网络模型：(2a)设计依次由相邻帧融合子网络、编码子网络、量化子网络和解码子网络4部分组成的压缩神经网络模块，用于学习原始视频的边信息，该量化子网络依次包含一个卷积层、tanh函数映射层、sign函数映射层和截断层；(2b)设计依次由特征提取子网络，特征融合子网络和重构子网络3部分组成构超分辨率重构模块；(2c)将压缩神经网络模块中解码子网络的输出端与超分辨率重构模块中的特征融合子网络相连接，构成深度卷积神经网络DNN的网络模型；(3)用(1)获得的训练样本集对(2)构建的网络模型进行训练：(3a)将训练样本输入(2)中构建的DNN网络模型中，输出重构的视频图像；(3b)计算深度卷积神经网络DNN的网络模型的损失值，利用损失值采用随机梯度下降算法对该DNN网络模型进行训练，得到训练好的DNN网络模型；(4)将待压缩的视频进行预处理后，用训练好的网络模型对视频进行压缩与解码：(4a)在编码端对视频图像进行压缩：(4a1)将需要压缩的视频图像进行备份存储；(4a2)将需要压缩的视频图像输入到训练好的DNN网络模型中，提取量化子网络中的截断层特征进行压缩，并每隔M个特征进行备份保留，得到压缩特征；(4a3)将备份存储的视频图像按照预先设定的下采样方式进行下采样，再使用H.264方法进行压缩，得到视频图像的压缩码流；(4a4)用压缩码流与压缩特征共同组成压缩文件；(4b)在解码端对压缩文件进行解码：(4b1)提取出压缩文件中的压缩码流，通过H.264方法对该压缩码流进行解码，得到初始恢复视频；(4b2)先提取出压缩文件中的压缩特征，每M个视频帧共享一个压缩特征，再对压缩特征进行解压缩得到解压缩特征，并用该解压缩特征替换量化子网络中的截断层特征；(4b3)将初始恢复视频和替换后的截断层特征一起输入训练好的DNN网络结构中，该DNN模型的输出即为恢复后的视频。2.根据权利要求1所述的方法，其中(1)中对对原始样本集进行预处理，其实现如下：(2a)对原始视频集X进行下采样，即在matlab语言中用以下命令实现对视频进行下采样：frame_down＝imresize(frame,rate,'bicubic')；其中，frame_down表示下采样后的视频帧，frame表示原始视频帧，rate表示采样倍数，'bicubic'表示采样方法；(2b)使用现有的H.264压缩方法对下采样后的视频进行编码；(2c)使用现有的H.264压缩方法对编码视频进行解码，得到压缩样本集其中，表示第i个视频，N表示视频总个数，其中，表示第i个视频中的第j帧，L表示第i个视频中的总帧数，用压缩样本集X(c)和原始样本集X共同作为训练样本集X(t)＝{X(c)，X}。3.根据权利要求1所述的方法，其中(2a)中的相邻帧融合子网络，由三层卷积层组成，各层参数如下：第一卷积层的卷积核大小为3×3×3，卷积核数量为32，步长为1；第二卷积层的卷积核大小为3×3×3，卷积核数量为32，步长为1；第三卷积层的卷积核大小为1×1，卷积核数量为32，步长为1。4.根据权利要求1所述的方法，其中(2a)中的编码子网络，由9个卷积层和3个拼接层组成，结构参数如下：第一卷积层的卷积核大小为3×3，...

【专利技术属性】
技术研发人员：董伟生，范兴宣，毋芳芳，石光明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61