低码率复杂场景下背景质量提升方法及装置制造方法及图纸

本发明专利技术公开了一种低码率复杂场景下背景质量提升方法及装置，其中方法包括：训练过程，进一步包括利用训练数据预处理模块将待训练的前后景样本序列和参考背景序列处理成模型适用的训练数据对，所述数据对包括低质量的训练序列、对应的高质量背景基准序列以及对应场景下的高质量无干扰背景作输入参考帧；利用前后景特征分离模块得到特征；利用前后景特征融合模块对前后景分离特征作融合和上采样操作，得到融合帧；推理过程，进一步包括将从视频流里或存储介质里加载得到待处理的视频序列和对应场景下的参考背景帧；利用优化后的前后景特征融合模块，输入前后景分离特征，得到背景增强帧序列即得到处理后的视频。增强帧序列即得到处理后的视频。增强帧序列即得到处理后的视频。

【技术实现步骤摘要】
低码率复杂场景下背景质量提升方法及装置


[0001]本专利技术属于视频增强
，具体涉及一种低码率复杂场景下背景质量提升方法及装置。

技术介绍

[0002]在现实生活中，因为视频在传输过程中会占用大量带宽，需要使用降低传输码率，视频压缩等手段降低传输成本，这样会造成视频在播放端画质很差的结果，例如监控类的视频，由于需要全时段监控，视频数据量巨大，为了降低传输成本必然会导致播放端视频质量较差，缺少细节信息，不利于作为调取监控证据的材料。
[0003]对于以上需求场景，如果能在播放端提升背景质量，就能在视频传输过程中减少对背景的质量要求，将传输资源都留给重要的细节区域，背景信息则可以在播放端进行优化增强，既减轻了传输成本，又保留了视频关键信息。
[0004]目前针对视频图像质量提升一般使用超分辨率技术。传统的超分辨率是基于图像的纹理，通过判断纹理的方向，在此基础上再做增强，处理后仍然比较模糊，得到的质量都不尽如人意。近年来，利用机器学习来做超分辨率越来越成为一种趋势。基于机器学习的神经网络结构，可以更好地获得图像细节，基于生成对抗网络(GAN)技术可以生成很高质量的结果，但基于GAN的超分辨率模型都有如下缺陷：图像增加的细节基于训练数据生成，得到的图像很可能与原图存在较大特征细节上的歧义，不适合如监控视频的对图像细节有要求的场景。

技术实现思路

[0005]鉴于以上存在的问题，本专利技术提供一种低码率复杂场景下背景质量提升方法及装置，用于解决经过高压缩率、超低码率传输的各类监控场景的视频背景质量差的问题。
[0006]为解决上述技术问题，本专利技术采用如下的技术方案：
[0007]本专利技术实施例的一方面提供一种低码率复杂场景下背景质量提升方法，包括：
[0008]训练过程，进一步包括利用训练数据预处理模块将待训练的前后景样本序列和参考背景序列处理成模型适用的训练数据对，所述数据对包括低质量的训练序列、对应的高质量背景基准序列以及对应场景下的高质量无干扰背景作输入参考帧；利用前后景特征分离模块，输入序列为低质量的训练序列和输入参考帧进行4倍像素解重组下采样，得到特征，对背景特征的分离使用M组双残差密集网络串联提取特征，对前景特征的分离使用残差网络，输出前后景分离特征；利用前后景特征融合模块对前后景分离特征作融合和上采样操作，得到融合帧；利用目标函数优化模块，将融合帧和对应的基准图像序列之间的最小化重建损失函数作为目标函数，通过梯度下降法找到前后景特征分离模块和前后景特征融合模块的最优参数，进而得到优化后的前后景特征分离模块和前后景特征融合模块；
[0009]推理过程，进一步包括将从视频流里或存储介质里加载得到待处理的视频序列和对应场景下的参考背景帧，利用推理数据预处理模块将加载得到的视频序列与参考背景帧
序列组合成数据对；将视频序列与参考背景帧序列组合成的数据对通过优化后的前后景特征分离模块得到前后景分离特征；利用优化后的前后景特征融合模块，输入前后景分离特征，得到背景增强帧序列即得到处理后的视频。
[0010]一种可能的设计中，M的取值范围为10～30。
[0011]一种可能的设计中，每个残差网络包含卷积层，用于提取训练数据预处理模块得到的低质量的训练序列或推理数据预处理模块得到的视频序列中的前景区域。
[0012]一种可能的设计中，使用双残差密集网络对齐训练序列与输入参考帧，识别出训练序列和输入参考帧边缘的差异，然后提取背景区域特征。
[0013]一种可能的设计中，前后景特征融合模块包括多个卷积层、LeakyReLU激活层和上采样操作。
[0014]本专利技术实施例的又一方面提供一种低码率复杂场景下背景质量提升装置，包括：
[0015]训练数据预处理模块用于将待训练的前后景样本序列和参考背景序列处理成模型适用的训练数据对，所述数据对包括低质量的训练序列、对应的高质量背景基准序列以及对应场景下的高质量无干扰背景作输入参考帧；前后景特征分离模块，用于将输入序列为低质量的训练序列和输入参考帧进行4倍像素解重组下采样，得到特征，对背景特征的分离使用M组双残差密集网络串联提取特征，对前景特征的分离直接使用残差网络，输出前后景分离特征；前后景特征融合模块用于对前后景分离特征作融合和上采样操作，得到融合帧；目标函数优化模块用于将融合帧和对应的基准图像序列之间的最小化重建损失函数作为目标函数，通过梯度下降法找到前后景特征分离模块和前后景特征融合模块的最优参数，进而得到优化后的前后景特征分离模块和前后景特征融合模块；
[0016]推理数据预处理模块用于从视频流里或存储介质里加载得到待处理的视频序列和对应场景下的参考背景帧，并将加载得到的视频序列与参考背景帧序列组合成数据对；优化后的前后景分离特征用于将视频序列与参考背景帧序列组合成的数据处理得到前后景分离特征；优化后的前后景特征融合模块用于将前后景分离特征处理得到背景增强帧序列即得到处理后的视频。
[0017]一种可能的设计中，M的取值范围为10～30。
[0018]一种可能的设计中，每个残差网络包含卷积层，用于提取训练数据预处理模块得到的低质量的训练序列或推理数据预处理模块得到的视频序列中的前景区域。
[0019]一种可能的设计中，输入帧中的背景区域信息几乎完全来源于高清背景帧中的背景信息，使用双残差密集网络对齐输入帧与参考帧，识别出输入帧和参考帧边缘的差异，然后提取背景区域特征。
[0020]一种可能的设计中，前后景特征融合模块包括多个卷积层、LeakyReLU激活层和上采样操作。
[0021]采用本专利技术具有如下的有益效果：通过计算输入的待处理帧与参考帧之间的前景与背景的特征差异，分离并提取前景与背景特征信息，再将分离后的特征信息进行融合，可以完成参考帧中高质量的背景特征信息与待处理帧中前景特征信息的融合，在保证帧中细节的正确性的前提下，仍能得到有效的背景质量提升，不仅可以在保持视频质量不变的情况下降低传输带宽，还能在超低传输码率，很差视频质量的情况下，对达到4K尺寸的视频流的背景质量进行实时提升。
附图说明
[0022]图1为本专利技术实施例的低码率复杂场景下背景质量提升方法的流程示意图；
[0023]图2为本专利技术实施例的低码率复杂场景下背景质量提升方法中前后景分离模块工作流程图；
[0024]图3为采用本专利技术实施例之前的低质量高压缩率图；
[0025]图4为图3采用本专利技术实施例的低码率复杂场景下背景质量提升方法处理后的图。
具体实施方式
[0026]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0027]参见图1，所示为本专利技术实施例的低码率复杂场景下背景质量提升方法的流程示意图，包括：...

【技术保护点】

【技术特征摘要】
1.一种低码率复杂场景下背景质量提升方法，其特征在于，包括：训练过程，进一步包括利用训练数据预处理模块将待训练的前后景样本序列和参考背景序列处理成模型适用的训练数据对，所述数据对包括低质量的训练序列、对应的高质量背景基准序列以及对应场景下的高质量无干扰背景作输入参考帧；利用前后景特征分离模块，输入序列为低质量的训练序列和输入参考帧进行4倍像素解重组下采样，得到特征，对背景特征的分离使用M组双残差密集网络串联提取特征，对前景特征的分离使用残差网络，输出前后景分离特征；利用前后景特征融合模块对前后景分离特征作融合和上采样操作，得到融合帧；利用目标函数优化模块，将融合帧和对应的基准图像序列之间的最小化重建损失函数作为目标函数，通过梯度下降法找到前后景特征分离模块和前后景特征融合模块的最优参数，进而得到优化后的前后景特征分离模块和前后景特征融合模块；推理过程，进一步包括将从视频流里或存储介质里加载得到待处理的视频序列和对应场景下的参考背景帧，利用推理数据预处理模块将加载得到的视频序列与参考背景帧序列组合成数据对；将视频序列与参考背景帧序列组合成的数据对通过优化后的前后景特征分离模块得到前后景分离特征；利用优化后的前后景特征融合模块，输入前后景分离特征，得到背景增强帧序列即得到处理后的视频。2.如权利要求1所述的低码率复杂场景下背景质量提升方法，其特征在于，M的取值范围为10～30。3.如权利要求1所述的低码率复杂场景下背景质量提升方法，其特征在于，每个残差网络包含卷积层，用于提取训练数据预处理模块得到的低质量的训练序列或推理数据预处理模块得到的视频序列中的前景区域。4.如权利要求1所述的低码率复杂场景下背景质量提升方法，其特征在于，使用双残差密集网络对齐训练序列与输入参考帧，识别出训练序列和输入参考帧边缘的差异，然后提取背景区域特征。5.如权利要求1所述的低码率复杂场景下背景质量提升方法，其特征在于，前后景特征融合模块包括多个卷积层、LeakyReLU激活层和上采样操作。6.一种低码率复杂...

【专利技术属性】
技术研发人员：赵浩，陈梅丽，谢亚光，祁伟，
申请(专利权)人：杭州当虹科技股份有限公司，
类型：发明
国别省市：