超分辨率定位与网络结构制造技术

一种处理视频数据的方法。该方法包括:当一个或多个环路内滤波器被应用于视频单元时，在相对于一个或多个环路内滤波器的特定位置处将超分辨率(SR)过程应用于视频单元；以及基于所应用的SR过程和一个或多个环路内滤波器，在包括视频单元的视频与视频的比特流之间执行转换。还公开了一种相应的视频编码设备和非暂时性计算机可读记录介质。

【技术实现步骤摘要】
【国外来华专利技术】

本公开整体涉及视频编解码，并且具体地，涉及用于视频编解码的基于超分辨率的上采样。

技术介绍

1、数字视频占用了互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计对数字视频使用的带宽需求将继续增长。

技术实现思路

0、
技术实现思路
公开的方面/实施例提供当一个或多个环路内滤波器被应用于视频单元时，在相对于一个或多个环路内滤波器的特定位置处将超分辨率(sr)过程应用于视频单元的技术。在一个实施例中，特定位置是sr过程在整个视频编码过程中的位置。即，在操作的连续顺序中，特定位置确定了相对于环路内滤波器在何处应用sr过程。这种环路内滤波器可以是例如去块滤波器(dbf)、样本自适应偏移(sao)和自适应环路内滤波器(alf)。这些技术可用于视频和图像编码、解码、流式传输和存储实现。因此，相对于传统的视频编解码技术，该视频编解码过程得到了改进。

1、第一方面涉及一种处理视频数据的方法。该方法包括当一个或多个环路内滤波器被应用于视频单元时，在相对于一个或多个环路内滤波器本文档来自技高网...

【技术保护点】

1.一种处理视频数据的方法，包括：

2.根据权利要求1所述的方法，其中，所述SR过程的所述特定位置在所述一个或多个环路内滤波器之前。

3.根据权利要求1-2中任一项所述的方法，其中，所述特定位置紧接在已经被重建的所述视频单元之后。

4.根据权利要求3所述的方法，其中，所述视频单元包括块，并且其中所述块包括编解码树单元(CTU)和编解码树块(CTB)中的一个。

5.根据权利要求3所述的方法，其中，所述视频单元包括区域，并且其中所述区域包括编解码树单元(CTU)行。

6.根据权利要求1-5中任一项所述的方法，其中，所述一个或多个环路...

【技术特征摘要】
【国外来华专利技术】

1.一种处理视频数据的方法，包括：

2.根据权利要求1所述的方法，其中，所述sr过程的所述特定位置在所述一个或多个环路内滤波器之前。

3.根据权利要求1-2中任一项所述的方法，其中，所述特定位置紧接在已经被重建的所述视频单元之后。

4.根据权利要求3所述的方法，其中，所述视频单元包括块，并且其中所述块包括编解码树单元(ctu)和编解码树块(ctb)中的一个。

5.根据权利要求3所述的方法，其中，所述视频单元包括区域，并且其中所述区域包括编解码树单元(ctu)行。

6.根据权利要求1-5中任一项所述的方法，其中，所述一个或多个环路内滤波器包括第一环路内滤波器和第二环路内滤波器，并且其中所述特定位置在所述第一环路内滤波器之后且在所述第二环路内滤波器之前。

7.根据权利要求1-5中任一项所述的方法，其中，所述一个或多个环路内滤波器包括去块滤波器(dbf)，并且其中所述特定位置在所述dbf之前。

8.根据权利要求1-5中任一项所述的方法，其中，所述一个或多个环路内滤波器包括去块滤波器(dbf)和采样自适应偏移(sao)，并且其中所述特定位置在所述dbf之后且在所述sao之前。

9.根据权利要求1-5中任一项所述的方法，其中，所述一个或多个环路内滤波器包括采样自适应偏移(sao)和自适应环路滤波器(alf)，并且其中所述特定位置在所述sao之后且在所述alf之前。

10.根据权利要求1-5中任一项所述的方法，其中，所述一个或多个环路内滤波器包括自适应环路滤波器(alf)，并且其中所述特定位置在所述alf之后。

11.根据权利要求1-5中任一项所述的方法，其中，所述一个或多个环路内滤波器包括采样自适应偏移(sao)，并且其中所述特定位置在所述sao之前。

12.根据权利要求1-5中任一项所述的方法，其中，所述一个或多个环路内滤波器包括自适应环路滤波器(alf)，并且其中所述特定位置在所述alf之前。

13.根据权利要求1-5中任一项所述的方法，其中，所述一个或多个环路内滤波器包括第一滤波器，并且其中当所述第一滤波器占用原始视频单元时，所述特定位置在所述第一滤波器之前。

14.根据权利要求1所述的方法，其中，所述特定位置被包括在所述比特流中。

15.根据权利要求1所述的方法，其中，所述特定位置是基于解码信息导出的。

16.根据权利要求1-15中任一项所述的方法，还包括当所述一个或多个环路内滤波器未被应用于所述视频单元时，将所述sr过程应用于所述视频单元而不考虑所述特定位置。

17.根据权利要求1-15中任一项所述的方法，其中，所述一个或多个环路内滤波器包括去块滤波器(dbf)、采样自适应偏移(sao)和自适应环路滤波器(alf)，并且其中所述方法还包括当所述dbf、sao和alf被禁用时将所述sr过程应用于所述视频单元而不考虑所述特定位置。

18.根据权利要求1-15中任一项所述的方法，其中，所述一个或多个环路内滤波器包括自适应环路滤波器(alf)，并且其中所述方法还包括当所述alf被禁用时将所述sr过程应用于所述视频单元而不考虑所述特定位置。

19.根据权利要求1-15中任一项所述的方法，其中，所述一个或多个环路内滤波器包括交叉分量自适应环路滤波器(cc-alf)，其中所述视频单元包括色度分量，并且其中所述方法还包括当所述cc-alf被禁用时，将所述sr过程应用于所述色度分量而不考虑所述特定位置。

20.根据权利要求1-19中任一项所述的方法，其中，所述一个或多个环路内滤波器的边信息的信令取决于所述sr过程的应用。

21.根据权利要求1-19中任一项所述的方法，其中，所述sr过程的应用取决于环路内滤波方法的使用。

22.根据权利要求1-21中任一项所述的方法，其中，所述sr过程由基于神经网络(nn)的sr网络应用，所述基于神经网络的sr网络包括多个卷积层，并且其中所述多个卷积层包括上采样层，所述上采样层被配置为对所述视频单元的分辨率进行上采样。

23.根据权利要求22所述的方法，其中，所述上采样层应用步长为k的去卷积来对所述视频单元的所述分辨率进行上采样，其中k是大于1的整数。

24.根据权利要求23所述的方法，其中，k取决于解码信息。

25.根据权利要求22所述的方法，其中，所述上采样层应用像素混洗来对所述视频单元的所述分辨率进行上采样。

26.根据权利要求22所述的方法，其中，...

【专利技术属性】
技术研发人员：林超逸，李跃，张凯，张召宾，张莉，
申请(专利权)人：抖音视界有限公司，
类型：发明
国别省市：