本发明专利技术公开了一种视频画质提升方法，对源视频进行解码并拆分成一帧帧图像，将每帧图像输入x2超分网络，得到高分辨率图像；同时，将每帧图像输入x2插值网络，得到的图像与高分辨率图像做差，得到高分辨率下的图像失真信息；将该图像失真信息输入下采样网络，得到低分辨率下的图像失真信息；将低分辨率下的图像失真信息与原图像帧叠加，得到高质量图像；对一帧帧高质量图像进行合并，得到高画质视频。其中，下采样网络没有直接作用于x2超分结果，而是作用于超分结果和插值结果的差，从而获得低分辨率下的失真差异信息，最后与原图叠加获得重组图像。如此设计充分借鉴了超分网络的残差学习思想，保证了原图的信息没有丢失，进而使网络更具有鲁棒性。具有鲁棒性。具有鲁棒性。
【技术实现步骤摘要】
视频画质提升方法、装置及设备
[0001]本专利技术属于视频处理的
，尤其涉及一种基于轻量级卷积神经网络的视频画质提升方法、装置及设备。
技术介绍
[0002]目前的轻量级深度学习超分辨率算法虽然能较好地提升视频画质和分辨率，但同时也极大地提升了视频码率，而传统的画质提升算法往往类型过于单一，无法满足提高清晰度的需求。
[0003]而且，在模型选择上，传统的基于SRGAN的模型缺乏鲁棒性，无法解决真实噪声问题，而基于光流的视频超分则需要利用光流估计进行对齐，无法达到实时效果。
技术实现思路
[0004]本专利技术的目的是提供一种视频画质提升方法，基于轻量级卷积神经网络，解决当前视频画质优化过程中存在的作用类型单一、算法缺乏鲁棒性问题。
[0005]为解决上述问题，本专利技术的技术方案为：
[0006]一种视频画质提升方法，包括：
[0007]对源视频进行解码并拆分成一帧帧图像，将每帧图像输入x2超分网络，得到高分辨率图像；
[0008]同时，将每帧图像输入x2插值网络，得到的图像与所述高分辨率图像做差，得到高分辨率下的图像失真信息；
[0009]将所述图像失真信息输入下采样网络，得到低分辨率下的图像失真信息；
[0010]将低分辨率下的图像失真信息与原图像帧叠加，得到高质量图像；
[0011]对一帧帧高质量图像进行合并，得到高画质视频。
[0012]根据本专利技术一实施例，将每帧图像输入x2超分网络，得到高分辨率图像进一步包括：
[0013]对输入图像经过第一卷积层提取初级特征后，将初级特征输入先后顺序排列的两个BasicBlock模块进行处理，将获得的特征进行通道层之间的聚合，得到聚合特征；
[0014]将聚合特征输入第二卷积层并与输入图像进行叠加，恢复成原尺度空间的图像；
[0015]将原尺度空间的图像进行上采样，得到高分辨率图像。
[0016]根据本专利技术一实施例，BasicBlock模块的数据处理包括：
[0017]对输入图像数据进行两次池化后，先后得到第一尺度特征、第二尺度特征；
[0018]通过多卷积层对两池化层之间进行特征信息共享，降低运算量；
[0019]对第二尺度特征进行卷积和上采样，得到与第一尺度特征相同尺度的图像数据，将所述图像数据与第一尺度特征进行拼接后做卷积和上采样，得到输出图像数据；
[0020]将输入图像数据与输出图像数据进行残差连接。
[0021]根据本专利技术一实施例，在对第二尺度特征进行卷积和上采样时，通过SEBlock注意
力模块提取不同尺度下对应的空间特征，增强网络的鲁棒性。
[0022]根据本专利技术一实施例，将每帧图像输入x2超分网络之前，对x2超分网络进行训练；
[0023]在对x2超分网络进行训练时，采用损失函数loss，其公式为：
[0024][0025]其中，C、W、H分别代表图像的通道、宽度、高度，y
m,i,j
代表高分辨率标签图像对应位置的像素值，则代表低分辨率输入经过超分网络之后的输出；α代表加权系数；代表VGG函数，用于反映标签和输出之间的感知损失。
[0026]根据本专利技术一实施例，将所述图像失真信息输入下采样网络，得到低分辨率下的图像失真信息进一步包括：
[0027]对高分辨率下的图像失真信息经过多卷积层提取特征后进行拼接，得到特征增强信息；
[0028]将特征增强信息进行卷积和下采样，通过SEBlock注意力模块提取不同尺度下对应的空间特征，得到输出特征信息；
[0029]将输入的高分辨率下的图像失真信息与输出特征信息进行残差连接。
[0030]一种视频画质提升装置，包括：
[0031]超分模块，用于对源视频进行解码并拆分成一帧帧图像，将每帧图像输入x2超分网络，得到高分辨率图像；
[0032]差值模块，用于将每帧图像输入x2插值网络，得到的图像与所述高分辨率图像做差，得到高分辨率下的图像失真信息；
[0033]下采样模块，用于将所述图像失真信息输入下采样网络，得到低分辨率下的图像失真信息；
[0034]叠加模块，用于将低分辨率下的图像失真信息与原图像帧叠加，得到高质量图像；
[0035]拼接模块，用于对一帧帧高质量图像进行合并，得到高画质视频。
[0036]一种视频画质提升设备，包括：存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行本专利技术一实施例中的视频画质提升方法中的步骤。
[0037]一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本专利技术一实施例中的视频画质提升方法中的步骤。
[0038]本专利技术由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
[0039]本专利技术一实施例中的视频画质提升方法，对源视频进行解码并拆分成一帧帧图像，将每帧图像输入x2超分网络，得到高分辨率图像；同时，将每帧图像输入x2插值网络，得到的图像与高分辨率图像做差，得到高分辨率下的图像失真信息；将该图像失真信息输入下采样网络，得到低分辨率下的图像失真信息；将低分辨率下的图像失真信息与原图像帧叠加，得到高质量图像；对一帧帧高质量图像进行合并，得到高画质视频。其中，下采样网络没有直接作用于x2超分结果，而是作用于超分结果和插值结果的差，从而获得低分辨率下
的失真差异信息，最后再与原图叠加获得重组图像。如此设计充分借鉴了超分网络的残差学习思想，保证了原图的信息没有丢失，进而使网络更具有鲁棒性。
附图说明
[0040]图1为本专利技术一实施例中的视频画质提升方法流图；
[0041]图2为本专利技术一实施例中的整体网络架构图；
[0042]图3为本专利技术一实施例中的超分网络结构图；
[0043]图4为本专利技术一实施例中的BasicBlock模块的结构图；
[0044]图5为本专利技术一实施例中的下采样网络结构图；
[0045]图6为本专利技术一实施例中的视频画质提升装置框图；
[0046]图7为本专利技术一实施例中的视频画质提升设备示意图。
具体实施方式
[0047]以下结合附图和具体实施例对本专利技术提出的一种视频画质提升方法、装置及设备作进一步详细说明。根据下面说明和权利要求书，本专利技术的优点和特征将更清楚。
[0048]实施例一
[0049]本实施例提供了一种视频画质提升方法，请参看图1，该视频画质提升方法包括以下步骤：
[0050]S1：对源视频进行解码并拆分成一帧帧图像，将每帧图像输入x2超分网络，得到高分辨率图像；
[0051]S2：将每帧图像输入x2插值网络，得到的图像与所述高分辨率图像做差，得到高分辨率下的图像失真信息；
[0052]S3：将所述图像失真信息输入下采样网络，得到低分辨本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频画质提升方法，其特征在于，包括：对源视频进行解码并拆分成一帧帧图像，将每帧图像输入x2超分网络，得到高分辨率图像；同时，将每帧图像输入x2插值网络，得到的图像与所述高分辨率图像做差，得到高分辨率下的图像失真信息；将所述图像失真信息输入下采样网络，得到低分辨率下的图像失真信息；将低分辨率下的图像失真信息与原图像帧叠加，得到高质量图像；对一帧帧高质量图像进行合并，得到高画质视频。2.如权利要求1所述的视频画质提升方法，其特征在于，将每帧图像输入x2超分网络，得到高分辨率图像进一步包括：对输入图像经过第一卷积层提取初级特征后，将初级特征输入先后顺序排列的两个BasicBlock模块进行处理，将获得的特征进行通道层之间的聚合，得到聚合特征；将聚合特征输入第二卷积层并与输入图像进行叠加，恢复成原尺度空间的图像；将原尺度空间的图像进行上采样，得到高分辨率图像。3.如权利要求2所述的视频画质提升方法，其特征在于，BasicBlock模块的数据处理包括：对输入图像数据进行两次池化后，先后得到第一尺度特征、第二尺度特征；通过多卷积层对两池化层之间进行特征信息共享，降低运算量；对第二尺度特征进行卷积和上采样，得到与第一尺度特征相同尺度的图像数据，将所述图像数据与第一尺度特征进行拼接后做卷积和上采样，得到输出图像数据；将输入图像数据与输出图像数据进行残差连接。4.如权利要求3所述的视频画质提升方法，其特征在于，在对第二尺度特征进行卷积和上采样时，通过SEBlock注意力模块提取不同尺度下对应的空间特征，增强网络的鲁棒性。5.如权利要求1所述的视频画质提升方法，其特征在于，将每帧图像输入x2超分网络之前，对x2超分网络进行训练；在对x2超分网络进行训练时，采用损失函数los...
【专利技术属性】
技术研发人员：朱运平，唐杰，张加瑞，戴立言，
申请(专利权)人：上海网达软件股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。