视频编解码中的环路滤波方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种视频编解码中的环路滤波方法、装置、设备及存储介质，涉及视频编解码技术领域。所述方法包括：获取视频中当前帧对应的重建帧以及生成该重建帧所使用的量化参数；对量化参数进行变换处理，得到变换后的量化参数；基于目标图像和变换后的量化参数，生成融合量化参数的目标图像；其中，目标图像包括重建帧或者当前帧对应的残差图像；基于重建帧和融合量化参数的目标图像，生成环路滤波模型的输入数据；通过环路滤波模型对输入数据进行滤波处理，得到滤波后的重建帧。本申请能够提升环路滤波模型在量化参数上的泛化能力，且有助于减轻编解码器的存储压力。有助于减轻编解码器的存储压力。有助于减轻编解码器的存储压力。

【技术实现步骤摘要】
视频编解码中的环路滤波方法、装置、设备及存储介质


[0001]本申请实施例涉及视频编解码
，特别涉及一种视频编解码中的环路滤波方法、装置、设备及存储介质。

技术介绍

[0002]近年来，随着深度学习技术的发展，已经有不少研究尝试采用深度学习模型替代传统视频编码框架中的部分模块或提出基于深度学习的端到端编码框架，尤其是在环路滤波工具上，相比于传统滤波工具能明显提升编码性能。基于深度学习的环路滤波工具主要思路是通过神经网络学习重建图像到原始图像的映射关系，通常用来替换或帮助传统滤波工具修复有损编码带来的信息损失、抑制编码噪声，从而提升重建帧质量。
[0003]编解码器通常能支持较大跨度的量化参数(Quantization Parameter，简称QP)，如AVS3(Audio Video coding Standard，音视频编码标准3)中，对于10比特(bit)的内部编码精度支持的QP范围为-16～63，量化的精细程度通常由QP来决定，QP值相差越大带来的图像损失程度也可能越大，相应的重建帧质量差距也就越大。为了能使环路滤波模型能用于恢复大范围内不同大小的QP值带来的不同程度的信息损失，相关技术采用的方案是训练多个环路滤波模型。例如，根据帧类型和QP值划分数据集，训练多个环路滤波模型，测试时根据当前帧的类型和QP值选择相应的模型进行滤波。又例如，将滤波器支持的QP值划分成Low QP、Mid QP和High QP三个QP段分别训练模型。
[0004]由于基于深度学习的环路滤波工具由多个模型组成，且深度学习的方法通常参数量巨大，会明显增加编解码器的存储压力。而且，单个模型有效覆盖的QP范围有限，滤波效果依赖于训练数据与实际测试数据的相似性。

技术实现思路

[0005]本申请实施例提供了一种视频编解码中的环路滤波方法、装置、设备及存储介质，能够提升环路滤波模型在量化参数上的泛化能力，且有助于减轻编解码器的存储压力。所述技术方案如下：
[0006]一方面，本申请实施例提供了一种视频编解码中的环路滤波方法，所述方法包括：
[0007]获取视频中当前帧对应的重建帧以及生成所述重建帧所使用的量化参数；
[0008]对所述量化参数进行变换处理，得到变换后的量化参数；
[0009]基于目标图像和所述变换后的量化参数，生成融合量化参数的目标图像；其中，所述目标图像包括所述重建帧或者所述当前帧对应的量化后残差图像；
[0010]基于所述重建帧和所述融合量化参数的目标图像，生成环路滤波模型的输入数据；
[0011]通过所述环路滤波模型对所述输入数据进行滤波处理，得到滤波后的重建帧。
[0012]另一方面，本申请实施例提供了一种环路滤波模型的训练方法，所述方法包括：
[0013]获取训练样本，所述训练样本的样本数据包括样本图像对应的重建图像以及生成
所述重建图像所使用的量化参数，所述训练样本的标签数据包括所述样本图像；
[0014]对所述量化参数进行变换处理，得到变换后的量化参数；
[0015]基于目标图像和所述变换后的量化参数，生成融合量化参数的目标图像；其中，所述目标图像包括所述重建图像或者所述样本图像对应的量化后残差图像；
[0016]基于所述重建图像和所述融合量化参数的目标图像，生成所述训练样本对应的模型输入数据；
[0017]采用所述训练样本对环路滤波模型进行训练。
[0018]另一方面，本申请实施例提供了一种视频编解码中的环路滤波装置，所述装置包括：
[0019]数据获取模块，用于获取视频中当前帧对应的重建帧以及生成所述重建帧所使用的量化参数；
[0020]变换处理模块，用于对所述量化参数进行变换处理，得到变换后的量化参数；
[0021]第一融合处理模块，用于基于目标图像和所述变换后的量化参数，生成融合量化参数的目标图像；其中，所述目标图像包括所述重建帧或者所述当前帧对应的量化后残差图像；
[0022]第二融合处理模块，用于基于所述重建帧和所述融合量化参数的目标图像，生成环路滤波模型的输入数据；
[0023]滤波处理模块，用于通过所述环路滤波模型对所述输入数据进行滤波处理，得到滤波后的重建帧。
[0024]另一方面，本申请实施例提供了一种环路滤波模型的训练装置，所述装置包括：
[0025]样本获取模块，用于获取训练样本，所述训练样本的样本数据包括样本图像对应的重建图像以及生成所述重建图像所使用的量化参数，所述训练样本的标签数据包括所述样本图像；
[0026]变换处理模块，用于对所述量化参数进行变换处理，得到变换后的量化参数；
[0027]第一融合处理模块，用于基于目标图像和所述变换后的量化参数，生成融合量化参数的目标图像；其中，所述目标图像包括所述重建图像或者所述样本图像对应的量化后残差图像；
[0028]第二融合处理模块，用于基于所述重建图像和所述融合量化参数的目标图像，生成所述训练样本对应的模型输入数据；
[0029]滤波模型训练模块，用于采用所述训练样本对环路滤波模型进行训练。
[0030]另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述视频编解码中的环路滤波方法。
[0031]另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述环路滤波模型的训练方法。
[0032]再一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储
介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述视频编解码中的环路滤波方法。
[0033]再一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述环路滤波模型的训练方法。
[0034]还一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品被处理器执行时，用于实现上述视频编解码中的环路滤波方法。
[0035]还一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品被处理器执行时，用于实现上述环路滤波模型的训练方法。
[0036]本申请实施例提供的技术方案可以包括如下有益效果：
[0037]通过获取视频中当前帧对应的重建帧以及生成该重建帧所使用的量化参数，量化参数经过变换处理之后，与目标图像进行一次融合处理生成重合量化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频编解码中的环路滤波方法，其特征在于，所述方法包括：获取视频中当前帧对应的重建帧以及生成所述重建帧所使用的量化参数；对所述量化参数进行变换处理，得到变换后的量化参数；基于目标图像和所述变换后的量化参数，生成融合量化参数的目标图像；其中，所述目标图像包括所述重建帧或者所述当前帧对应的量化后残差图像；基于所述重建帧和所述融合量化参数的目标图像，生成环路滤波模型的输入数据；通过所述环路滤波模型对所述输入数据进行滤波处理，得到滤波后的重建帧。2.根据权利要求1所述的方法，其特征在于，所述对所述量化参数进行变换处理，得到变换后的量化参数，包括：对所述量化参数进行线性变换处理，得到所述变换后的量化参数；或者，对所述量化参数进行非线性变换处理，得到所述变换后的量化参数。3.根据权利要求1所述的方法，其特征在于，所述获取视频中当前帧对应的重建帧以及生成所述重建帧所使用的量化参数之后，还包括：根据所述量化参数生成与所述重建帧的长和宽均相等的量化参数图像；其中，所述量化参数图像中与所述重建帧中的目标像素对应位置处的像素值，等于所述目标像素量化所采用的QP值，所述量化参数图像用于进行所述变换处理。4.根据权利要求1所述的方法，其特征在于，所述基于所述重建帧和所述融合量化参数的目标图像，生成环路滤波模型的输入数据，包括：对所述重建帧和所述融合量化参数的目标图像进行通道融合处理，生成所述环路滤波模型的输入数据。5.根据权利要求1所述的方法，其特征在于，所述基于所述重建帧和所述融合量化参数的目标图像，生成环路滤波模型的输入数据，包括：提取所述重建帧对应的第一特征图；提取所述融合量化参数的目标图像对应的第二特征图；对所述第一特征图和所述第二特征图进行通道融合处理，生成所述环路滤波模型的输入数据。6.根据权利要求1所述的方法，其特征在于，所述基于目标图像和所述变换后的量化参数，生成融合量化参数的目标图像，包括：将所述目标图像和所述变换后的量化参数的对应位置处的像素值进行乘法运算，生成所述融合量化参数的目标图像。7.根据权利要求1至6任一项所述的方法，其特征在于，所述基于目标图像和所述变换后的量化参数，生成融合量化参数的目标图像之前，还包括：对所述目标图像进行映射处理，得到处理后的目标图像；其中，所述映射处理用于将所述目标图像中的像素值映射至设定取值范围之内，所述处理后的目标图像用于与所述变换后的量化参数生成所述融合量化参数的目标图像。8.一种环路滤波模型的训练方法，其特征在于，所述方法包括：获取训练样本，所述训练样本的样本...

【专利技术属性】
技术研发人员：朱晗，许晓中，刘杉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：