环路滤波实现方法、装置及计算机存储介质制造方法及图纸

本申请实施例公开了一种环路滤波实现方法、装置及计算机存储介质，该方法包括：获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；确定所述待滤波图像的融合信息；其中，所述融合信息是所述待滤波图像的至少两个图像分量以及对应的辅助信息融合得到的；基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。一个图像分量。一个图像分量。

【技术实现步骤摘要】
环路滤波实现方法、装置及计算机存储介质
[0001]本案为2019年3月7日递交的国际专利申请PCT/CN2019/077371的中国国家阶段专利申请201980075008.5的分案申请。


[0002]本申请实施例涉及图像处理
，尤其涉及一种环路滤波实现方法、装置及计算机存储介质。

技术介绍

[0003]在视频编解码系统中，大多数视频编码采用的是基于块形编码单元(Coding Unit，CU)的混合编码框架，由于相邻的CU采用不同的编码参数，比如：不同的变换过程、不同的量化参数(Quantization Parameter，QP)、不同的预测方式、不同的参考图像帧等，而且各个CU引入的误差大小及其分布特性的相互独立，相邻CU边界的不连续性而产生块效应，从而影响了重建图像的主客观质量，甚至影响后续编解码的预测准确性。
[0004]这样，在编解码过程中，环路滤波器被使用来提升重建图像的主客观质量。传统的环路滤波器通常是人为地去归纳失真图像的特征，人为地设计滤波器结构及配置滤波器系数，例如去方块滤波、样点自适应补偿和自适应环路滤波等，这些依赖于人工设计的滤波器对最优滤波器的拟合并不到位，自适应能力和滤波效果较差，且编码端需要将依赖于局部统计信息的滤波器相关参数写入码流中以保证编解码端的一致性，这增加了编码比特数。
[0005]随着深度学习理论的迅速发展，业界内提出了卷积神经网络(Convolutional Neural Network，CNN)对重建图像进行滤波处理以去除图像失真，相对传统的环路滤波器获得了明显的主客观质量提升。然而，目前的CNN滤波器未充分综合利用相关信息，使得重建图像的主客观质量提升有限。

技术实现思路

[0006]本申请实施例提供一种环路滤波实现方法、装置及计算机存储介质，通过将块划分信息和/或QP信息等编码参数作为辅助信息与输入的多个图像分量进行融合处理，不仅充分利用了多个图像分量之间的关系，而且还降低了计算复杂度，节省了编码码率；同时还进一步提升了编解码过程中视频重建图像的主客观质量。
[0007]本申请实施例的技术方案可以如下实现：
[0008]第一方面，本申请实施例提供了一种环路滤波实现方法，所述方法包括：
[0009]获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；
[0010]确定所述待滤波图像的融合信息；其中，所述融合信息是所述待滤波图像的至少两个图像分量以及对应的辅助信息融合得到的；
[0011]基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。
[0012]第二方面，本申请实施例提供了一种环路滤波实现装置，所述环路滤波实现装置包括：获取单元、确定单元和滤波单元，其中，
[0013]所述获取单元，配置为获取待滤波图像；其中，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的，所述待编码视频包括原始图像帧，所述原始图像帧包括所述原始图像；
[0014]所述确定单元，配置为确定所述待滤波图像的融合信息；其中，所述融合信息是所述待滤波图像的至少两个图像分量以及对应的辅助信息融合得到的；
[0015]所述滤波单元，配置为基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量。
[0016]第三方面，本申请实施例提供了一种环路滤波实现装置，所述环路滤波实现装置包括：存储器和处理器，其中，
[0017]所述存储器，用于存储能够在所述处理器上运行的计算机程序；
[0018]所述处理器，用于在运行所述计算机程序时，执行如第一方面所述方法的步骤。
[0019]第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有环路滤波实现程序，所述环路滤波实现程序被至少一个处理器执行时实现如第一方面所述方法的步骤。
[0020]本申请实施例提供了一种环路滤波实现方法、装置及计算机存储介质，首先获取待滤波图像，所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的；然后确定确定所述待滤波图像的融合信息；其中，所述融合信息是所述待滤波图像的至少两个图像分量以及对应的辅助信息融合得到的；最后基于所述融合信息对所述待滤波图像进行环路滤波处理，得到所述待滤波图像滤波后的至少一个图像分量；这样，通过将块划分信息和/或QP信息等编码参数作为辅助信息与输入的多个图像分量进行融合处理，不仅充分利用了多个图像分量之间的关系，而且还有效避免了对这多个图像分量需要进行多次完整的网络前向计算的问题，进而降低了计算复杂度，节省了编码码率；另外，通过融入块划分信息和/或QP信息等辅助信息，还可以进一步辅助滤波，提升了编解码过程中视频重建图像的主客观质量。
附图说明
[0021]图1为相关技术方案提供的一种传统编码框图的组成结构示意图；
[0022]图2为本申请实施例提供的一种改进型编码框图的组成结构示意图；
[0023]图3为本申请实施例提供的一种环路滤波实现方法的流程示意图；
[0024]图4为本申请实施例提供的一种块划分矩阵的结构示意图；
[0025]图5为本申请实施例提供的一种传统CNN滤波器的组成结构示意图；
[0026]图6A和图6B为本申请实施例提供的另一种传统CNN滤波器的组成结构示意图；
[0027]图7为本申请实施例提供的一种环路滤波框架的组成结构示意图；
[0028]图8为本申请实施例提供的另一种环路滤波框架的组成结构示意图；
[0029]图9为本申请实施例提供的一种环路滤波实现装置的组成结构示意图；
[0030]图10为本申请实施例提供的一种环路滤波实现装置的具体硬件结构示意图。
具体实施方式
[0031]为了能够更加详尽地了解本申请实施例的特点与
技术实现思路
，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
[0032]在视频编解码系统中，待编码视频包括原始图像帧，而原始图像帧中包括原始图像，对该原始图像进行多种处理，诸如预测、变换、量化、重建和滤波等，在这些处理过程中，已处理的视频图像相对原始图像可能已经发生像素值偏移，导致视觉障碍或假象。此外，在大多数视频编解码系统采用的基于块形CU的混合编码框架下，由于相邻的编码块采用不同的编码参数(比如不同的变换过程、不同的QP、不同的预测方式、不同的参考图像帧等)，各个编码块引入的误差大小及其分布特性的相互独立，相邻编码块边界的不连续性，产生块效应。这些失真不但影响了重建图像的主客观质量，若重建图像作为后续编码像素的参考图像，甚至还会影响后续编解码的预测准确性，进而影响了视频码流中比特的大小。因此，在视频编解码系统中，往往会加入环路滤波器(In
‑
Loop Filt本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种环路滤波实现方法，所述方法包括：获取待滤波图像；其中，所述待滤波图像是在对待编码视频中的原始图像进行编码的过程中所生成的；确定所述待滤波图像的融合信息；其中，所述融合信息包括所述待滤波图像的至少两个图像分量；基于所述融合信息获取所述待滤波图像的环路滤波输出，得到所述待滤波图像的所述环路滤波输出中的至少一个图像分量。2.根据权利要求1所述的方法，其中，所述获取待滤波图像，包括：对待编码视频中的原始图像进行视频编码处理，将所生成的重建图像作为所述待滤波图像。3.根据权利要求2所述的方法，其中，对待编码视频中的原始图像进行视频编码处理，生成重建图像；对所述重建图像进行预设滤波处理，将预设滤波后的图像作为所述待滤波图像。4.根据权利要求1所述的方法，其中，在所述确定所述待滤波图像的融合信息之前，所述方法还包括：确定所述待滤波图像对应的辅助信息；其中，所述辅助信息至少包括块划分信息，所述块划分信息包括块大小和块位置。5.根据权利要求4所述的方法，其中，所述确定所述待滤波图像对应的辅助信息，包括：对待编码视频中的原始图像进行编码单元CU划分，得到CU划分信息，将所述CU划分信息作为所述待滤波图像对应的块划分信息。6.根据权利要求5所述的方法，其中，所述将所述CU划分信息作为所述待滤波图像对应的块划分信息，包括：针对所述CU划分信息，在CU边界对应的各个像素点位置填充第一值，在其他像素点位置填充第二值，得到与所述CU划分信息对应的第一矩阵；其中，所述第一值与所述第二值不同；将所述第一矩阵作为所述待滤波图像对应的块划分信息。7.根据权利要求4至6任一项所述的方法，其中，所述确定所述待滤波图像对应的辅助信息，包括：获取待编码视频中的原始图像对应的量化参数，将所述量化参数作为所述待滤波图像对应的量化参数信息。8.根据权利要求7所述的方法，其中，所述将所述量化参数作为所述待滤波图像对应的量化参数信息，包括：建立与所述原始图像尺寸相同的第二矩阵；其中，所述第二矩阵中各个像素点位置均填充所述原始图像对应的量化参数的归一化值；将所述第二矩阵作为所述待滤波图像对应的量化参数信息。9.根据权利要求1至8任一项所述的方法，其中，所述确定所述待滤波图像的融合信息，包括：将所述待滤波图像的至少两个图像分量以及对应的辅助信息进行融合处理，得到所述待滤波图像的融合信息。
10.根据权利要求1至9任一项所述的方法，其中，在所述确定所述待滤波图像的融合信息之前，所述方法还包括：针对所述待滤波图像的至少两个图像分量，选取低分辨率的图像分量；对所述低分辨率的图像分量进行上采样处理。11.一种环路滤波实现装置，所述环路滤波实现装置包括：获取单元、确定单元和滤波单元，其中，所述获取单元，配置为获取待滤波图像；其中，所述待滤波图像是在对待编码视频中的原始图像进行编码的过程中所生成的；所述确定单元，配置为确定所述待滤波图像的融合信息；其中，所述融合信息包括所述待滤波图像的至少两个图像分量；所述滤波单元，配置为基于所述融合信息获取所述待滤波图像的环路滤波输出，得到所述待滤波图像的所述环路滤波输出中的至少一个图像分量。12.根据权利要求11所述的环路滤波实现装置，其中，所述获取单元，具体配置为对待编码视频中的原始图像进行视频编码处理，将所生成的重建图像作为所述待滤波图像。13.根据权利要求12所述的环路滤波实现装置，其中，所述获取单元，具体配置为对待编码视频中的原始图像进行视频编码处理，生成重建图像；对所述重建图像进行预设滤波处理，将预设滤波后的图像作为所述待滤波图像。14.根据权利要求11所述的环路滤波实现装置，其中，所述确定单元，还配置为确定所述待滤波图像对应的辅助信息；其中，所述辅助信息至少包括块划分信息，所述块划分信息包括块大小和块位置。15.根据权利要求14所述的环路滤波实现装置，其中，所述环路滤波实现装置还包括划分单元，配置为对待编码视频中的原始图像进行CU划分，得到CU划分信息，将所述CU划分信息作为所述待滤波图像对应的块划分信息。16.根据权利要求15所述的环路滤波实现装置，其中，所述确定单元，具体配置为针对所述CU划分信息，在CU边界对应的各个像素点位置填充第一值，在其他像素点位置填充第二值，得到与所述CU划分信息对应的第一矩阵；其中，所述第一值与所述第二值不同；以及将所述第一矩阵作为所述待滤波图像对应的块划分信息。17.根据权利要求14至16任一项所述的环路滤波实现装置，其中，所述获取单元，还配置为获取待编码视频中的原始图像对应的量化参数，将所述量化参数作为所述待滤波图像对应的量化参数信息。18.根据权利要求17所述的环路滤波实现装置，其中，所述确定单元，具体配置为建立与所述原始图像尺寸相同的第二矩阵；其中，所述第二矩阵中各个像素点位置均填充所述原始图像对应的量化参数的归一化值；以及将所述第二矩阵作为所述待滤波图像对应的量化参数信息。19.根据权利要求11至18任一项所述的环路滤波实现装置，其中，所述环路滤波实现装置还包括融合单元，配置为将所述待滤波图像的至少两个图像分量以及对应的辅助信息进行融合处理，得到所述待滤波图像的融合信息。20.根据权利要求11至19任一项所述的环路滤波实现装置，其中，所述环路滤波实现装置还包括采样单元，配置为针对所述待滤波图像的至少两个图像分量，选取低分辨率的图
像...

【专利技术属性】
技术研发人员：万帅，王铭泽，马彦卓，霍俊彦，杨付正，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：