一种针对B帧和P帧的低复杂度神经网络滤波算法制造技术

本发明专利技术属于视频编码技术领域，具体为一种针对B帧和P帧的低复杂度神经网络滤波算法。本发明专利技术方法包括：通过测试不同比例下的神经网络滤波器的输出和视频编码标准输出的重建像素融合结果，选择其中最佳的滤波强度编入码流中，达到最佳滤波效果。其中设计了一个新的语法元素称为帧级的语法元素，即对于每一帧的每一个分量都存在的语法元素，其由n比特构成，用于表征当前帧中神经网络输出的结果和视频编码器重建像素的融合程度。通过该语法元素实现自适应滤波强度的效果，有效解决了直接使用滤波器导致的过模糊过平滑问题。相较于原来的CTU级别的语法元素，直接使用帧级的滤波不会带来额外的人为边界，是一种性能优异且复杂度很低的算法。

A low complexity neural network filtering algorithm for B frame and P frame

【技术实现步骤摘要】
一种针对B帧和P帧的低复杂度神经网络滤波算法
本专利技术属于视频编码
，具体涉及一种针对B帧和P帧的低复杂度神经网络滤波算法。
技术介绍
在视频编码领域，使用基于卷积神经网络的滤波技术以及被广泛地应用开来，神经网络滤波比传统的DBSAOALF取得了更加优异的滤波效果，但是其复杂度较高导致了其在实际应用中受限，而且尤其是在B帧和P帧中，重复使用神经网络滤波器会导致过模糊的问题，即对于一块区域反复进行平滑化，进行滤波会导致当前块的细节和高频信息丢失。在过去的几年中，很多研究者提出了各种各样的解决方案，其主要是基于CTU级别的滤波思想，视频编码中的B帧和P帧是基于块来进行预测变换的，所以有些块会具有较大残差或者运动矢量，而有些则几乎和参考的已被滤波的帧一样。所以CTU级别的滤波通过对每一个CTU进行滤波判断，可以使得几乎每一个块都可以选择到最佳的滤波结果。当然额外的添加一个bit来表示每一个CTU是否选择使用是比较消耗码流的，因此有学者提出添加一个额外的分类器来帮助当前CU进行判断和决策是否使用神经网络滤波的方法。也有学者使用了反复训练神经网络的方法来减少这种过平滑，使得最终达到了一个全局最优的滤波效果。事实上CTU滤波的缺陷也很明显，对于卷积神经网络而言，使用CTU滤波需要额外的补零或者填补重建像素，如果填补0的话，因为0带来的误差，会导致滤波性能明显下降。如果使用填补重建像素，则会显著提升神经网络的计算复杂度。因此我们提出了基于帧级的滤波。
技术实现思路
本专利技术的目的是在于提出一种针对B帧和P帧的低复杂度神经网络滤波算法。本专利技术提出的针对B帧和P帧的低复杂度神经网络滤波算法，区别于针对CTU级别进行的滤波，采用的是对整帧进行滤波，其具有更低的复杂度和更好的滤波效果，包括将视频编码器的输出重建像素和神经网络滤波的结果进行融合，实现最佳滤波，解决了反复使用神经网络滤波器带来的过平滑问题。本专利技术提出的针对B帧和P帧的低复杂度神经网络滤波算法，具体步骤如下：(1)在编码端，关闭掉HM的配置文件中DB和SAO的选项，对目标视频进行编码，得到重建像素X；在一帧编码结束之后，传统编码器使用DBSAO等滤波器对整帧的重建像素R进行滤波，本专利技术则在这一步中关闭了DB和SAO，不使用传统滤波器对重建像素R进行滤波操作；(2)对于未处理的重建像素R，使用神经网络滤波器对其进行滤波，得到滤波像素Y。其中，神经网络滤波器的结参考文献【ChaoLiu,HemingSun,JunanChen,ZhengxueCheng,MasaruTakeuchi,JiroKatto,XiaoyangZeng,andYiboFan,“Duallearningbasedvideocodingwithinceptiondenseblocks,”arXivpreprintarXiv:1911.09857,2019】；(3)区别于在I帧中，可以直接使用Y来替代掉R。因为直接使用Y对B/P帧进行滤波会导致过模糊的问题，本专利技术使用滤波像素Y和R的组合替代掉原始的重建像素R。从而实现对B/P帧的滤波；的计算式为式(1)，其依赖于一个新的语法元素λ。而λ决定了滤波器滤波的强弱，比如当λi为0时，表示完全不滤波，而当λi为1时，表示完全使用神经网络滤波器进行滤波；(4)在编码器中遍历不同的超参λi，其值为计算式(2)，参见图2所示，λi可以理解是将1等分为2n-1个区间，所以i每增加1，λi就增加从而实现了这个区间滤波强度就均匀增加的效果；(5)不同的λi对应的不同的值对每一个都比较其和原始像素之间的均方误差值MSEi；(6)找到最小MSEi，并记录其对应的λi，将其对应的i的二进制形式编入码流中；并将其滤波结果送入到帧缓存中去；(7)对于解码器而言，其不需要遍历不同i下的λi，而是直接依据码流中的i来解码出滤波强度，从而实现最佳的滤波效果。具体地，在解码端，可以在码流中通过对应的熵解码器解得i，根据码流中的i计算得到λi，然后将神经网络输出的结果Y和原始重建像素R对应相加得到最终可以计算出所希望的滤波结果。一样地将其送入到帧缓存中，从而可以供后面待编码的帧进行参考，实现编解码端的完全匹配。本专利技术中，设计了一个新的语法元素，称为帧级的语法元素，即对于每一帧的每一个分量而言都存在的语法元素，其由n比特构成，用于表征当前帧中神经网络输出的结果和视频编码器重建像素的融合程度。该语法元素的值越大，表示更多的选择使用神经网络滤波的结果作为最终的输出结果；该语法元素的值越小，则视频编码器更倾向于使用其自身原始的重建像素作为最终输出结果。本专利技术通过该语法元素实现一个自适应滤波强度的效果，从而有效解决了直接使用滤波器导致的过模糊过平滑问题。相较于之前方法设计的CTU级别的语法元素，直接使用帧级的滤波不会带来额外的人为边界，是一种性能优异且复杂度很低的算法。附图说明图1为本专利技术算法流程图示。图2为i和λi的关系图示。具体实施方式下面以在HEVC视频编码器为例，来对本专利技术做进一步描述。首先关闭掉HM的配置文件中DB和SAO的选项，对目标视频进行编码，在每一帧编码结束之后放入帧缓存给下一帧来参考之前，我们可以获得重建像素X，使用神经网络滤波器对X进行滤波，得到滤波后的图片Y。设置一个参数值为λi，其大小依赖于i的值，如图2所示，按照式(1)计算得到不同i对应的λi。对不同的λi都计算式(2)，得到多个中间结果其表示了暂存的滤波效果。然后比较暂存的滤波效果和原始像素之间的均方误差如式(3)所示，找到其中最小的均方误差MSEi对应的i和i的范围是从0到2n-1，所以恰好可以使用n位2进制来表示，从而作为一个新的语法元素编入码流中去，这里的熵编码模型可以采用旁路编码模式，MPS的概率设置为0.5。而的值则会作为输出的滤波结果送入到帧缓存中去，用于给后续的帧做为参考帧。事实上这个过程是一个率失真优化RDO过程，即找到最小的J的过程，其中J的计算方法如下所示：J＝D+kR(4)其中，D表示失真，R表示码率，k是一个超参值，用于权衡码率和失真之间的关系；这里的环路滤波问题并不会影响到R，或者说不同的帧都使用了相同的额外bit数来表示码率，所以对这个问题的优化，只需要考虑最小的D即可实现RDO过程。于是，这里可以找到其中最小的均方误差MSEi对应的i和作为所希望保留的值。对于这个帧级的滤波语法元素，其位置可以添加在原先DB滤波语法元素的后面，因为DB和本专利技术提出的算法都采用了相同的帧级滤波的概念。在读取DB的bit之后，紧接着可以读取帧级神经网络滤波语法元素i，计算出λi来控制最终的滤波强度。在解码端，可以在码流中通过对应的熵解码器解得i，根据码流中的i计算得到λi，然后将神经网络输出的结果Y和原始重建像素R对应相加得到最终可以计算出所希望的滤波结果。一样地将其送入到帧缓存中，从而可本文档来自技高网...

【技术保护点】
1.一种针对B帧和P帧的低复杂度神经网络滤波算法，其特征在于，具体步骤如下：/n(1)在编码端，关闭掉HM的配置文件中DB和SAO选项，对目标视频进行编码，得到重建像素X；/n(2)对于未处理的重建像素R，使用神经网络滤波器对其进行滤波，得到滤波像素Y；/n(3)使用滤波像素Y和R的组合

【技术特征摘要】
1.一种针对B帧和P帧的低复杂度神经网络滤波算法，其特征在于，具体步骤如下：
(1)在编码端，关闭掉HM的配置文件中DB和SAO选项，对目标视频进行编码，得到重建像素X；
(2)对于未处理的重建像素R，使用神经网络滤波器对其进行滤波，得到滤波像素Y；
(3)使用滤波像素Y和R的组合替代掉原始的重建像素R，从而实现对B/P帧的滤波；其中，的计算式为式(1)所示，其中引入一个新的语法元素λ，λ决定了滤波器滤波的强弱，当λi为0时，表示完全不滤波，而当λi为1时，表示完全使用神经网络滤波器进行滤波；



(4)在编码器中遍历不同的超参λi，其值为计算式(2)所示，λi是将1等分为2n-1个区间，所以i每增加1，λi就增...

【专利技术属性】
技术研发人员：范益波，刘超，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31