用于视频编解码的基于网络的图像滤波制造技术

一种使用神经网络在视频编解码中进行图像滤波的方法和装置。该方法包括：加载与待编解码的当前图像关联的多个输入块，其中，所述多个输入块包括具有第一分辨率的第一输入块、具有第二分辨率的第二输入块和具有第三分辨率的第三输入块；以及响应于确定所述第一、第二和第三分辨率中的一个分辨率不同于其他两个分辨率，在所述神经网络之前或之中的多个区域的一个区域调整所述第一分辨率、所述第二分辨率和所述第三分辨率。辨率和所述第三分辨率。辨率和所述第三分辨率。

【技术实现步骤摘要】
【国外来华专利技术】用于视频编解码的基于网络的图像滤波
[0001]相关申请的交叉引用
[0002]本申请要求于2020年12月4日提交的标题为“Neural Network Based Image Filtering for Video Coding”的第63/121,822号美国临时申请的优先权，该临时申请的全部内容通过引用完整地并入本文。


[0003]本申请涉及视频编解码和压缩。更具体地，本申请涉及但并不仅限于使用基于神经网络的模型滤波的视频编解码方法和装置。

技术介绍

[0004]可使用各种视频编解码技术来压缩视频数据。根据一种或多种视频编解码标准执行视频编解码。例如，视频编解码标准包括通用视频编解码(VVC)、联合探索测试模型(JEM)、高效视频编解码(H.265/HEVC)、高级视频编解码(H.264/AVC)和运动图片专家组(MPEG)编解码等。视频编解码通常使用利用视频图像或序列中存在的冗余的预测方法(如帧间预测、帧内预测等)。视频编解码技术的一个重要目标是将视频数据压缩成使用较低比特率的形式，同时避免或最小化视频质量的下降。...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种使用神经网络在视频编解码中进行图像滤波的方法，包括：加载与待编解码的当前图像关联的多个输入块，其中，所述多个输入块包括具有第一分辨率的第一输入块、具有第二分辨率的第二输入块和具有第三分辨率的第三输入块；以及响应于确定所述第一、第二和第三分辨率中的一个分辨率不同于其他两个分辨率，在所述神经网络之前或之中的多个区域的一个区域调整所述第一分辨率、所述第二分辨率和所述第三分辨率。2.根据权利要求1所述的方法，其中，所述多个区域包括第一区域、第二区域和第三区域；其中，所述第一区域包括接收所述多个输入块的多个输入层和输出多个输出块的多个输出层；其中，所述第二区域包括多个输入卷积层和多个输出卷积层，并且所述多个输入卷积层跟随在所述多个输入层之后，并且对所述多个输入块执行卷积；以及其中，所述第三区域包括多个残差块，并且所述多个输出卷积层跟随在所述多个残差块之后。3.根据权利要求2所述的方法，还包括：响应于确定所述第一、第二和第三分辨率中的一个分辨率不同于所述其他两个分辨率，使用所述第一区域中的所述多个输入层来使所述第一分辨率、所述第二分辨率和所述第三分辨率一致。4.根据权利要求3所述的方法，其中使所述第一分辨率、所述第二分辨率和所述第三分辨率一致包括：使用所述第一区域中的所述多个输入层将所述第一输入块下采样为与所述第二或第三块具有相同分辨率的多个第一输入子块；并且所述方法还包括：将所述多个第一输入子块与所述第二和第三输入块组合；生成对应于所述多个输入块的多个输出块，其中，所述多个输出块包括多个第一输出子块、第二输出块和第三输出块；以及使用所述第一区域中的所述多个输出层对所述多个第一输出子块进行上采样。5.根据权利要求3所述的方法，还包括：使用所述第一区域中的所述多个输入层对所述第二输出块或所述第三输出块进行上采样；以及使用所述第一区域中的多个输出层对所述第二输出块或所述第三输出块进行下采样。6.根据权利要求2所述的方法，还包括：将所述第一输入块加载到所述第二区域中的第一输入卷积层中，并通过所述第一输入卷积层调整所述第一分辨率以与所述第二或第三分辨率一致。7.根据权利要求2所述的方法，还包括：将所述第二输入块加载到所述第二区域中的第二输入卷积层中，并通过所述第二输入卷积层调整所述第二分辨率以与所述第一或第三分辨率一致。8.根据权利要求2所述的方法，还包括：
将所述第三输入块加载到所述第二区域中的第三卷积层中，并通过所述第三输入卷积层调整所述第三分辨率以与所述第一或第二分辨率一致。9.根据权利要求6所述的方法，其中，调整所述第一分辨率以与所述第二或第三分辨率一致包括：通过步长大于第二输入卷积层或第三输入卷积层的所述第一输入卷积层缩小所述第一分辨率以与所述第二或第三分辨率一致。10.根据权利要求7所述的方法，其中，调整所述第二分辨率以与所述第一或第三分辨率一致包括：通过所述第二区域中的像素重组层放大所述第二分辨率以与第一或第三分辨率一致。11.根据权利要求8所述的方法，其中，调整所述第三分辨率以与所述第一或第二分辨率一致包括：通过所述第二区域中的像素重组层放大所述第三分辨率以与所述第一或第二分辨率一致。12.根据权利要求9所述的方法，还包括：通过所述第二区域中的像素重组层放大与所述第一输入块相对应的第一输出块的分辨率，使得所述第一输出块与所述第一输入块具有相同的分辨率。13.根据权利要求10所述的方法，还包括：通过所述第二区域中的分辨率增加层，缩小与所述第二输入块相对应的第二输出块的分辨率，使得所述第二输出块与所述第二输入块具有相同的分辨率。14.根据权利要求11所述的方法，还包括：通过所述第二区域中的分辨率增加层，缩小与所述第三输入块相对应的第三输出块的分辨率，使得所述第三输出块与所述第三输入块具有相同的分辨率。15.根据权利要求2所述的方法，还包括：将所述第一输入块加载到所述第二区域中的第一输入卷积层中，调整所述第一分辨率，并生成第一卷积输出；将所述第二输入块加载到所述第二区域中的第二输入卷积层中，调整所述第二分辨率，并生成第二卷积输出；将所述第三输入块加载到所述第二区域中的第三输入卷积层中，调整所述第三分辨率，并生成第三卷积输出；通过级联所述第一卷积输出、所述第二卷积输出和第三卷积输出生成级联输出；将所述级联输出加载到所述多个残差块中的第一残差块中，并通过所述多个残差块中的最后的残差块生成残差输出；将所述残差输出分别加载到所述多个输出卷积层中；通过第一输出卷积层调整加载到所述第一输出卷积层的所述残差输出的分辨率，以与加载到所述第一输入卷积层的所述第一输入块的所述第一分辨率一致；通过第二输出卷积层调整加载到所述第二输出卷积层的所述残差输出的分辨率，以与加载到所述第二输入卷积层的所述第二输入块的所述第二分辨率一致；以及通过第三输出卷积层调整加载到所述第三输出卷积层的所述残差输出的分辨率，以与加载到所述第三输入卷积层...

【专利技术属性】
技术研发人员：陈伟，修晓宇，陈漪纹，朱弘正，郭哲玮，王祥林，于冰，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：