环路滤波实现方法、装置及计算机存储介质制造方法及图纸

本申请实施例公开了一种环路滤波实现方法、装置及计算机存储介质，该方法包括：获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量；确定所述待滤波图像的融合信息；其中，所述融合信息至少包括对所述至少两个图像分量进行融合得到的；基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。少一个图像分量。少一个图像分量。

【技术实现步骤摘要】
环路滤波实现方法、装置及计算机存储介质
[0001]本申请是申请日为2019年3月7日，申请号为201980090702.4，专利技术名称为“环路滤波实现方法、装置及计算机存储介质”的申请的分案申请。


[0002]本申请实施例涉及图像处理
，尤其涉及一种环路滤波实现方法、装置及计算机存储介质。

技术介绍

[0003]在视频编解码系统中，大多数视频编码采用的是基于块形编码单元(Coding Unit，CU)的混合编码框架，由于相邻的CU采用不同的编码参数，比如：不同的变换过程、不同的量化参数(Quantization Parameter，QP)、不同的预测方式、不同的参考图像帧等，而且各个CU引入的误差大小及其分布特性的相互独立，相邻CU边界的不连续性而产生块效应，从而影响了重建图像的主客观质量，甚至影响后续编解码的预测准确性。
[0004]这样，在编解码过程中，环路滤波器被使用来提升重建图像的主客观质量。传统的环路滤波器通常是人为地去归纳失真图像的特征，人为地设计滤波器结构及配置滤波器系数，例如去方块滤波、样点自适应补偿和自适应环路滤波等，这些依赖于人工设计的滤波器对最优滤波器的拟合并不到位，自适应能力和滤波效果较差，且编码端需要将依赖于局部统计信息的滤波器相关参数写入码流中以保证编解码端的一致性，这增加了编码比特数。
[0005]随着深度学习理论的迅速发展，业界内提出了卷积神经网络(Convolutional Neural Network，CNN)对重建图像进行滤波处理以去除图像失真，相对传统的环路滤波器获得了明显的主客观质量提升。然而，目前的CNN滤波器未充分综合利用相关信息，使得重建图像的主客观质量提升有限。

技术实现思路

[0006]本申请实施例提供一种环路滤波实现方法、装置及计算机存储介质，通过采用级联处理结构以及将块划分信息和/或QP信息等编码参数作为辅助信息与输入的多个图像分量进行融合处理，不仅充分利用了多个图像分量之间的关系，而且还降低了计算复杂度，节省了编码码率；同时还进一步提升了编解码过程中视频重建图像的主客观质量。
[0007]本申请实施例的技术方案可以如下实现：
[0008]第一方面，本申请实施例提供了一种环路滤波实现方法，所述方法包括：
[0009]获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；
[0010]基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量；
[0011]确定所述待滤波图像的融合信息；其中，所述融合信息至少包括对所述至少两个图像分量进行融合得到的信息；
[0012]基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤
波后的至少一个图像分量。
[0013]第二方面，本申请实施例提供了一种环路滤波实现装置，所述环路滤波实现装置包括：获取单元、分路单元、确定单元和滤波单元，其中，
[0014]所述获取单元，配置为获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；
[0015]所述分路单元，配置为基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量；
[0016]所述确定单元，配置为确定所述待滤波图像的融合信息；其中，所述融合信息至少包括对所述至少两个图像分量进行融合得到的信息；
[0017]所述滤波单元，配置为基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。
[0018]第三方面，本申请实施例提供了一种环路滤波实现装置，所述环路滤波实现装置包括：存储器和处理器，其中，
[0019]所述存储器，用于存储能够在所述处理器上运行的计算机程序；
[0020]所述处理器，用于在运行所述计算机程序时，执行如第一方面所述方法的步骤。
[0021]第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有环路滤波实现程序，所述环路滤波实现程序被至少一个处理器执行时实现如第一方面所述方法的步骤。
[0022]本申请实施例提供了一种环路滤波实现方法、装置及计算机存储介质，首先获取待滤波图像，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的；然后基于所述待滤波图像，分别获得所述待滤波图像的至少两个图像分量；该处理过程可以看作分路阶段；再确定所述待滤波图像的融合信息；其中，所述融合信息至少包括对所述至少两个图像分量进行融合得到的；该处理过程可以看作合并阶段；这样，通过采用级联处理结构以及对输入的多个图像分量进行融合处理，不仅充分利用了多个图像分量之间的关系，而且还有效避免了对这多个图像分量需要进行多次完整的网络前向计算的问题，进而降低了计算复杂度，节省了编码码率；最后基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量；这样，通过融合信息还可以进一步辅助滤波，提升了编解码过程中视频重建图像的主客观质量。
附图说明
[0023]图1为相关技术方案提供的一种传统编码框图的组成结构示意图；
[0024]图2为本申请实施例提供的一种改进型编码框图的组成结构示意图；
[0025]图3为本申请实施例提供的一种环路滤波实现方法的流程示意图；
[0026]图4为本申请实施例提供的一种块划分矩阵的结构示意图；
[0027]图5为本申请实施例提供的一种传统CNN滤波器的组成结构示意图；
[0028]图6A和图6B为本申请实施例提供的另一种传统CNN滤波器的组成结构示意图；
[0029]图7为本申请实施例提供的一种环路滤波框架的组成结构示意图；
[0030]图8为本申请实施例提供的另一种环路滤波框架的组成结构示意图；
[0031]图9为本申请实施例提供的一种环路滤波实现装置的组成结构示意图；
[0032]图10为本申请实施例提供的一种环路滤波实现装置的具体硬件结构示意图。
具体实施方式
[0033]为了能够更加详尽地了解本申请实施例的特点与
技术实现思路
，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
[0034]在视频编解码系统中，待编码视频包括原始图像帧，而原始图像帧中包括原始图像，对该原始图像进行多种处理，诸如预测、变换、量化、重建和滤波等，在这些处理过程中，已处理的视频图像相对原始图像可能已经发生像素值偏移，导致视觉障碍或假象。此外，在大多数视频编解码系统采用的基于块形CU的混合编码框架下，由于相邻的编码块采用不同的编码参数(比如不同的变换过程、不同的QP、不同的预测方式、不同的参考图像帧等)，各个编码块引入的误差大小及其分布特性的相互独立，相邻编码块边界的不连续性，产生块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种环路滤波实现方法，所述方法包括：基于待滤波图像的至少两个原始图像分量，分别对所述至少两个原始图像分量中每一个原始图像分量进行分量处理，得到分量处理后的至少两个图像分量；对所述分量处理后的至少两个图像分量进行融合处理；基于所述融合处理，进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。2.根据权利要求1所述的方法，其特征在于，所述进行融合处理包括将所述至少两个图像分量一次性输入。3.根据权利要求1所述的方法，其中，在得到分量处理后的至少两个图像分量之前，所述方法还包括：基于所述待滤波图像的至少两个原始图像分量，分别确定每个原始图像分量对应的第一辅助信息；其中，所述第一辅助信息至少包括块划分信息和/或量化参数信息。4.根据权利要求3所述的方法，其中，所述基于待滤波图像的至少两个原始图像分量，分别对所述至少两个原始图像分量中每一个原始图像分量进行分量处理，得到分量处理后的至少两个图像分量，包括：基于所述待滤波图像的至少两个原始图像分量，分别将所述至少两个原始图像分量中每个原始图像分量与每个原始图像分量对应的第一辅助信息进行添加处理，处理后得到所述待滤波图像的至少两个原始图像分量。5.根据权利要求3所述的方法，其中，所述对所述分量处理后的至少两个图像分量进行融合处理，包括：对所述待滤波图像的至少两个原始图像分量以及每个原始图像分量对应的第一辅助信息进行融合处理，得到所述待滤波图像的融合信息。6.根据权利要求1所述的方法，其中，所述基于所述融合处理，进行环路滤波处理，得到所述...

【专利技术属性】
技术研发人员：万帅，王铭泽，马彦卓，霍俊彦，杨付正，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：