基于神经网络的解块滤波器制造技术

一种使用基于神经网络的解块滤波器来减少压缩图像中的伪影的方法和装置。该方法可包括：接收至少一个重建图像，其中，每个重建图像包括一个或多个重建块；以及提取与至少一个重建图像中的一个或多个重建块的边界相关联的边界区域。可以将所提取的边界区域输入到经训练的解块模型中，以生成伪影减少的边界区域，经训练的解块模型以训练数据进行训练，所述训练数据基于由神经图像压缩(NIC)网络进行的估计压缩。可移除与所生成的边界区域相关联的边缘区域；以及可基于所生成的边界区域，生成伪影减少的至少一个重建图像。影减少的至少一个重建图像。影减少的至少一个重建图像。

【技术实现步骤摘要】
【国外来华专利技术】基于神经网络的解块滤波器
相关申请的交叉引用
[0001]本申请基于并要求于2022年1月13日提交的第63/299,227号美国临时专利申请和于2022年12月13日提交的第18/080,201号美国专利申请的优先权，这两个美国申请的公开内容通过引用整体并入本文中。


[0002]本公开的实施例涉及基于神经网络的解块滤波器，该解块滤波器用于逐块神经图像压缩(NIC)。

技术介绍

[0003]在现有技术中，已证明在现代视频编解码系统中，例如在HEVC和VVC标准中，基于块的帧内预测和残差编码机制对于图像帧压缩非常有效。首先，将整个图像划分成编码树单元(CTU)。对于每个CTU，可以将其划分成各种大小的块，并通过沿着各种角度方向复制先前压缩块的边界像素来生成预测块，然后对原始块和预测块之间的残差进行压缩。与原始像素相比，残差可被更有效地编码，进而可实现更好的编码性能。
[0004]ISO/IEC MPEG(JTC 1/SC 29/WG 11)在积极寻找未来视频编解码技术标准化的潜在需求。ISO/IEC JPEG已成立JPEG本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种使用基于神经网络的解块滤波器来减少压缩图像中的伪影的方法，所述方法由至少一个处理器执行，且所述方法包括：接收至少一个重建图像，其中，每个重建图像包括一个或多个重建块；提取与所述至少一个重建图像中的所述一个或多个重建块的边界相关联的边界区域；将所提取的边界区域输入到经训练的解块模型中，以生成伪影减少的边界区域，其中，所述经训练的解块模型以训练数据进行训练，所述训练数据基于由神经图像压缩(NIC)网络进行的估计压缩；移除与所生成的边界区域相关联的边缘区域；以及基于所生成的边界区域，生成伪影减少的至少一个重建图像。2.根据权利要求1所述的方法，其中，所提取的边界区域包括来自所述一个或多个重建块中的至少两个相邻块的至少两个子区域。3.根据权利要求1所述的方法，其中，所述将所提取的边界区域输入到经训练的解块模型中包括：基于所提取的边界区域中的各个所提取边界区域的内容和各个所提取边界区域中的伪影强度中的至少一者，将各个所提取边界区域分类成多个类别；以及基于所述分类，将各个边界区域输入到一个或多个经训练的解块模型中相应的经训练的解块模型中，以生成所生成的边界区域。4.根据权利要求1所述的方法，其中，所述移除边缘区域包括：基于预定大小来移除所述边缘区域，并且其中，所述预定大小以高级语法在码流中用信号发送。5.根据权利要求1所述的方法，其中，所述训练数据包括通过由所述NIC网络进行的估计压缩或由所述NIC网络进行的实际压缩而生成的重建图像。6.根据权利要求1所述的方法，其中，所述经训练的解块模型基于衡量重建质量的质量损失函数来进行训练，并且其中，训练数据包括从以下重建图像中的至少一个重建图像中垂直提取的边界区域和水平提取的边界区域：使用由基于第一神经网络的图像压缩网络进行的估计压缩所生成的重建图像、使用由基于第二神经网络的图像压缩网络进行的实际压缩所生成的重建图像、以及由基于第三神经网络的图像压缩网络生成之后进行舍入的重建图像。7.根据权利要求1所述的方法，其中，生成伪影减少的至少一个重建图像包括：替换所述至少一个重建图像中对应于所生成的边界区域的边界区域，以生成伪影减少的至少一个重建图像。8.一种使用基于神经网络的解块滤波器来减少压缩图像中的伪影的系统，所述系统包括：至少一个存储器，配置成存储计算机程序代码；和至少一个处理器，配置成访问所述计算机程序代码并按照所述计算机程序代码的指令进行操作，所述计算机程序代码包括：接收代码，配置成使得所述至少一个处理器接收至少一个重建图像，其中，每个重建图像包括一个或多个重建块；提取代码，配置成使得所述至少一个处理器提取与所述至少一个重建图像中的所述一个或多个重建块的边界相关联的边界区域；
输入代码，配置成使得所述至少一个处理器将所提取的边界区域输入到经训练的解块模型中，以生成伪影减少的边界区域，其中，所述经训练的解块模型以训练数据进行训练，所述训练数据基于由神经图像压缩(NIC)网络进行的估计压缩；移除代码，配置成使得所述至少一个处理器移除与所生成的边界区域相关联的边缘区域；以及生成代码，配置成使得所述至少一个处理器基于所生成的边界区域，生成伪影减少的至少一个重建图像。9.根据权利要求8所述的系统，其中，所提取的边界区域包括来自所述一个或多个重建块中的至少两个相邻块的至少两个子区域。10.根据权利要求8所述的系统，其中，所述输入代码进一步包括：分类代码，配置成使得所述至少一个处理器基于所提取的边界区域中的各个所提取边界区域的内容和各个所提取边界区域中的伪影强度中的...

【专利技术属性】
技术研发人员：丁鼎，许晓中，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：