视频增强处理方法、装置、电子设备和存储介质制造方法及图纸

本申请实施例提供了一种视频增强处理方法、装置、电子设备和存储介质，其中，该方法包括：确定待增强图像的增强辅助图像，其中，所述增强辅助图像和所述待增强图像为压缩视频数据解码生成的重建图像；基于所述待增强图像、所述增强辅助图像和预设特征提取网络确定时空特征图；根据预设特征增强网络处理所述时空特征图以生成叠加图像；根据所述叠加图像处理所述待增强图像以生成视频增强图像。本申请实施例通过包括时空特征的图像对待增强图像进行处理以生成视频增强图像，基于视频重建图像的时空特征提高图像的显示质量，提高视频的显示效果，可增强用户的观看体验。可增强用户的观看体验。可增强用户的观看体验。

【技术实现步骤摘要】
视频增强处理方法、装置、电子设备和存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种视频增强处理方法、装置、电子设备和存储介质。

技术介绍

[0002]随着视频应用的与日俱增，视频应用场景变得更加灵活多样，视频分辨率范围逐渐增加，这意味着对视频的压缩质量具有更高的要求。经过压缩的视频存在失真和压缩噪声的问题，经过压缩复原后的视频存在不同程度的质量损失，如何降低这些质量损失，提高视频质量，成为视频处理的重要领域。
[0003]目前，视频压缩编码标准H.256/HEVC和H.266/VCC对于压缩图像的后处理主要采用的是环路滤波技术，其包括去方块滤波(Deblocking Filter，DF)、像素自适应补偿(Sample Adaptive Offset，SAO)和自适应环路滤波(Adaptive Loop Filter，ALF)。其中，方块滤波包括两个环节：滤波决策和滤波操作；SAO通过选择一个合适的分类器将重建像素划分类别，然后对不同类别像素使用不同的补偿值；ALF，根据具备梯度的方向性和活动性来选择合适的滤波系数。这些传统方法能够在一定程度上消除压缩噪声并提高压缩视频质量，但是由于滤波算法使用的参数固定，不能完全还原有损压缩图像与原始图像之间的映射关系。
[0004]而近年来，随着深度学习的兴起，视频领域尝试应用深度学习来降低视频压缩损失。相比传统的视频增强处理方法，深度学习技术基于大数据而具有自行学习的能力，可摒弃传统人工设置学习特征，提高有损压缩图像与原始图像之间的映射关系，从而提高视频质量。同时，由于深度学习的学习效果依赖于训练数据的数据量，深度学习的效果、鲁棒性以及泛化能力会随着数据量的增大而增强。鉴于视频图像在压缩后存在模糊和细节信息弱化的问题，针对这些问题，深度学习中多采用基于单帧质量增强视频，但是由于压缩视频中图像本身的真值并不存在，存在不适定性问题，基于深度学习的图像增强处理主要依赖于外部训练集的习得的先验知识，视频质量的增强存在进步空间。

技术实现思路

[0005]本申请实施例的主要目的在于提出一种视频增强处理方法、装置、电子设备和存储介质，其旨在提高视频压缩重建图像的显示质量，增强用户的观看效果。
[0006]本申请实施例提供了一种视频增强处理方法，该方法包括以下步骤：
[0007]确定待增强图像的增强辅助图像，其中，所述增强辅助图像和所述待增强图像为压缩视频数据解码生成的重建图像；
[0008]基于所述待增强图像、所述增强辅助图像和预设特征提取网络确定时空特征图；
[0009]根据预设特征增强网络处理所述时空特征图以生成叠加图像；
[0010]根据所述叠加图像处理所述待增强图像以生成视频增强图像。
[0011]本申请实施例还提供了另一种视频增强处理方法，该方法包括以下步骤：
[0012]确定待增强图像的增强辅助图像，其中，所述增强辅助图像和所述待增强图像为压缩视频数据解码生成的重建图像；
[0013]基于所述待增强图像、所述增强辅助图像和预设特征提取网络确定时空特征图；
[0014]传输所述时空特征图和所述预设特征增强网络。
[0015]本申请实施例还提供了另一种视频增强处理方法，该方法包括以下步骤：
[0016]接收时空特征图和预设特征增强网络；
[0017]根据预设特征增强网络处理所述时空特征图以生成叠加图像；
[0018]根据所述叠加图像处理所述待增强图像以生成视频增强图像。
[0019]本申请实施例提供了一种视频增强处理装置，该装置包括：
[0020]图像提取模块，用于确定待增强图像的增强辅助图像，其中，所述增强辅助图像和所述待增强图像为压缩视频数据解码生成的重建图像；
[0021]特征图模块，用于基于所述待增强图像、所述增强辅助图像和预设特征提取网络确定时空特征图；
[0022]特征增强模块，用于根据预设特征增强网络处理所述时空特征图以生成叠加图像；
[0023]增强图像模块，用于根据所述叠加图像处理所述待增强图像以生成视频增强图像。
[0024]本申请实施例还提供了另一种视频增强处理装置，该装置包括：
[0025]图像提取模块，用于确定待增强图像的增强辅助图像，其中，所述增强辅助图像和所述待增强图像为压缩视频数据解码生成的重建图像；
[0026]特征图模块，用于基于所述待增强图像、所述增强辅助图像和预设特征提取网络确定时空特征图；
[0027]编码发送模块，用于传输所述时空特征图和所述预设特征增强网络。
[0028]本申请实施例还提供了另一种视频增强处理装置，该装置包括：
[0029]解码接收模块，用于接收时空特征图和预设特征增强网络；
[0030]特征增强模块，用于根据预设特征增强网络处理所述时空特征图以生成叠加图像；
[0031]增强图像模块，用于根据所述叠加图像处理所述待增强图像以生成视频增强图像。
[0032]本申请实施例还提供了一种电子设备，该电子设备包括：
[0033]一个或多个处理器；
[0034]存储器，用于存储一个或多个程序，
[0035]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本申请实施例中任一所述的视频增强处理方法。
[0036]本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本申请实施例中任一所述的视频增强处理方法。
[0037]本申请实施例，通过确定出待增强图像的增强辅助图像，使用预设特征提取网络对带增强图像和增强辅助图像进行处理以获取到时空特征图，基于预设增强网络处理时空特征图生成叠加图像，按照该叠加图像对待增强图像进行处理以生成视频增强图像，基于
视频重建图像的时空特征提高图像的显示质量，提高视频的显示效果，可增强用户的观看体验。
附图说明
[0038]图1是本申请实施例提供的一种视频增强处理方法的流程图；
[0039]图2a是本申请实施例提供的一种增强辅助图像的选择示例图；
[0040]图2b是本申请实施例提供的一种增强辅助图像的选择示例图；
[0041]图2c是本申请实施例提供的一种增强辅助图像的选择示例图；
[0042]图3是本申请实施例提供的一种三维可变形卷积残差块的结构示意图；
[0043]图4是本申请实施例提供的一种卷积残差块结构示意图；
[0044]图5是本申请实施例提供的一种网络模型的传输示例图；
[0045]图6是本申请实施例提供的一种部分区域图像处理示意图；
[0046]图7是本申请实施例提供的一种视频增强处理框图；
[0047]图8是本申请实施例提供的一种视频增强处理方法的流程图；
[0048]图9是本申请实施例提供的一种特征提取过程的示例图；
[0049]图10是本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频增强处理方法，其特征在于，所述方法包括：确定待增强图像的增强辅助图像，其中，所述增强辅助图像和所述待增强图像为压缩视频数据解码生成的重建图像；基于所述待增强图像、所述增强辅助图像和预设特征提取网络确定时空特征图；根据预设特征增强网络处理所述时空特征图以生成叠加图像；根据所述叠加图像处理所述待增强图像以生成视频增强图像。2.根据权利要求1所述的方法，其特征在于，所述预设特征提取网络包括至少一个三维可变形卷积残差块，所述三维可变形卷积残差块至少包括三维可变形卷积层和激活函数。3.根据权利要求1所述的方法，其特征在于，所述预设特征增强网络包括至少一个卷积残差块，所述卷积残差块至少包括卷积层和激活函数。4.根据权利要求1所述的方法，其特征在于，所述预设特征增强网络以及所述预设特征提取网络的网络模型和网络参数在码流和/传输层中传输。5.根据权利要求4所述的方法，其特征在于，所述网络模型和所述网络参数位于以下至少之一：视频码流、视频码流的补充增强信息、视频应用信息、系统层媒体属性描述单元、媒体轨道。6.根据权利要求2所述的方法，其特征在于，所述预设特征提取网络中的所述三维可变形卷积残差块的个数N根据所述重建图像对应的视频属性和/或设备处理性能确定。7.根据权利要求6所述的方法，其特征在于，所述视频属性包括以下至少之一：视频类型、应用场景。8.根据权利要求1所述的方法，其特征在于，还包括：针对视频类型和/或应用场景分别训练至少一个所述预设特征提取网络和至少一个所述预设特征增强网络。9.根据权利要求1所述的方法，其特征在于，还包括：使用权重参数对所述待增强图像和所述增强辅助图像的信息进行加权。10.根据权利要求9所述的方法，其特征在于，所述待增强图像和所述增强辅助图像的不同区域设置的权重参数不同。11.根据权利要求9所述的方法，其特征在于，不同增强参与图像设置的权重参数不同，其中，所述增强参与图像包括所述待增强图像和所述增强辅助图像。12.根据权利要求1所述的方法，其特征在于，所述待增强图像和所述增强辅助图像为所述重建图像的至少一个分量。13.根据权利要求1所述的方法，其特征在于，所述待增强图像和所述增强辅助图像为所述重建图像的部分区域。14.根据权利要求1所述的方法，其特征在于，所述确定待增强图像的增强辅助图像，包括：按照时间顺序在视频解码生成的重建图像集中分别在所述待增强图像之前和/或之后分别获取阈值数量的重建图像作为增强辅助图像，其中，所述重建图像集包括至少两帧重建图像。15.根据权利要求1所述的方法，其特征在于，所述根据所述叠加图像处理所述待增强图像以生成视频增强图像，包括：...

【专利技术属性】
技术研发人员：王学嘉，崔文学，刘天鸿，姜峰，刘绍辉，赵德斌，吴钊，吴平，高莹，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：