用于运动补偿的参考像素填充制造技术

描述了用于运动补偿的参考像素填充。一个示例方法包括：针对视频的第一块和第一块的比特流表示之间的转换，从参考图片提取第一参考块的参考像素，其中，第一参考块小于第一块的运动补偿所需的第二参考块；用填充像素来填充第一参考块，以生成第二参考块；以及通过使用所生成的第二参考块来执行该转换。

【技术实现步骤摘要】
【国外来华专利技术】用于运动补偿的参考像素填充相关申请的交叉引用根据巴黎公约适用的专利法和/或规则，本申请旨在及时要求2018年12月17日提交的国际专利申请No.PCT/CN2018/121438和2019年1月11日提交的国际专利申请No.PCT/CN2019/071396的优先权和利益。国际专利申请No.PCT/CN2018/121438和No.PCT/CN2019/071396的全部公开内容通过引用而并入作为本申请公开内容的一部分。
本文档涉及视频编解码技术。
技术介绍
数字视频占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的联网用户设备的数量增加，预计数字视频使用的带宽需求将继续增长。
技术实现思路
所公开的技术可以由其中使用块形状插值顺序技术来改善插值的视频解码器或编码器实施例使用。在一个示例方面，公开了一种视频比特流处理的方法。该方法包括：确定第一视频块的形状；基于第一视频块的形状来确定插值顺序，该插值顺序指示执行水平插值和垂直插值的次序；以及根据插值顺序来按次序对第一视频块执行水平插值和垂直插值，以重构第一视频块的解码表示。在另一个示例方面，一种视频比特流处理的方法，包括：确定与第一视频块相关的运动矢量的特性；基于运动矢量的特性来确定插值顺序，该插值顺序指示执行水平插值和垂直插值的次序；以及根据插值顺序来按次序对第一视频块执行水平插值和垂直插值，以重构第一视频块的解码表示。在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：由处理器确定第一视频块的大小特性；由处理器基于对大小特性的确定来确定第一插值滤波器要被应用于第一视频块；以及使用第一插值滤波器来执行第一视频块的进一步处理。在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：由处理器确定第一视频块的第一特性；由处理器基于第一特性来确定第一插值滤波器要被应用于第一视频块；使用第一插值滤波器来执行第一视频块的进一步处理；由处理器确定第二视频块的第二特性；由处理器基于第二特性来确定第二插值滤波器要被应用于第二视频块，第一插值滤波器和第二插值滤波器是不同的短抽头滤波器；以及使用第二插值滤波器来执行第二视频块的进一步处理。在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：由处理器确定第一视频块的特性，该特性包括以下中的一个或多个：第一视频块的大小信息、第一视频块的预测方向、或第一视频块的运动信息；基于对第一视频块的特性的确定，将与第一视频块相关的运动矢量(MV)取整为整数像素精度或半像素精度；以及使用被取整的运动矢量来执行第一视频块的进一步处理。在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：由处理器确定第一视频块是以Merge模式编解码的；基于对第一视频块是以Merge模式编解码的确定，将与第一视频块相关的运动信息取整为整数精度以生成修改后的运动信息；以及使用修改后的运动信息对第一视频块执行运动补偿过程。在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：确定第一视频块的特性，该特性是以下中的一个或两个：第一视频块的尺寸或第一视频块的形状；将与第一视频块相关的运动矢量修改为整数像素精度或半像素精度，以生成修改后的运动矢量；以及使用修改后的运动矢量来执行第一视频块的进一步处理。在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：确定第一视频块的特性，该特性是以下中的一个或两个：第一视频块的尺寸大小或第一视频块的预测方向；基于对第一视频块的特性的确定，确定MMVD边信息；以及使用MMVD边信息来执行第一视频块的进一步处理。在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：确定第一视频块的特性，该特性是以下中的一个或两个：第一视频块的尺寸或第一视频块的形状；将与第一视频块相关的运动矢量修改为整数像素精度或半像素精度，以生成修改后的运动矢量；以及使用修改后的运动矢量来执行第一视频块的进一步处理。在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：确定第一视频块的特性，该特性是以下中的一个或两个：第一视频块的尺寸或第一视频块的形状；基于对第一视频块的特性的确定，确定要被约束的半像素运动矢量(MV)分量或四分之一像素MV分量的阈值数量；以及使用阈值数量来执行第一视频块的进一步处理。在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：确定第一视频块的特性，该特性包括第一视频块的尺寸；基于对第一视频块的特性的确定，将与第一视频块相关的运动矢量(MV)从分数精度修改为整数精度；以及使用修改后的MV对第一视频块执行运动补偿。在另一个示例方面，公开了一种用于视频比特流处理的方法。该方法包括：确定第一视频块的第一大小；基于对第一大小的确定，确定与第一视频块相关的运动矢量(MV)的第一精度；确定第二视频块的第二大小，第一大小和第二大小是不同的大小；基于对第二大小的确定，确定与第二视频块相关的MV的第二精度，第一精度和第二精度是不同的精度；以及使用第一大小执行第一视频块的进一步处理并且使用第二大小执行第二视频块的进一步处理。在另一个示例方面，公开了一种视频处理的方法。该方法包括：为视频的第一块和第一块的比特流表示之间的转换确定第一块的特性；基于第一块的特性，确定具有用于第一块的插值的插值滤波器参数的滤波器；以及通过使用具有插值滤波器参数的滤波器来执行该转换。在另一个示例方面，公开了一种视频处理的方法。该方法包括：针对视频的第一块和第一块的比特流表示之间的转换，从参考图片提取第一参考块的参考像素，其中，第一参考块小于第一块的运动补偿所需的第二参考块；用填充像素来填充第一参考块，以生成第二参考块；以及通过使用所生成的第二参考块来执行该转换。在另一个示例方面，上述方法可以由包括处理器的视频解码器装置实施。在另一个示例方面，上述方法可以由包括用于在视频编码过程期间对编码视频进行解码的处理器的视频编码器装置实施。在又一个示例方面，这些方法可以以处理器可执行指令的形式被体现并被存储在计算机可读程序介质上。这些以及其他方面在本文档中进一步描述。附图说明图1是四叉树二叉树(QUADTREEBINARYTREE，QTBT)结构的图示。图2示出了Merge候选列表构建的示例推导过程。图3示出了空域Merge候选的示例位置。图4示出了考虑用于空域Merge候选的冗余检查的候选对的示例。图5A和图5B示出了N×2N和2N×N分割的第二预测单元(PredictionUnit，PU)的位置的示例。图6是时域Merge候选的运动矢量缩放的图示。图7示出了时域Merge候选的示例候选位置C0和C1。图8示出了组合的双向预测Merge候选的示例。图9示出了运动矢量预测候选的推导过程的示例。图10是空域运动矢量候选的运动矢量缩放的图示。图1本文档来自技高网...

【技术保护点】
1.一种视频处理的方法，包括：/n针对视频的第一块和所述第一块的比特流表示之间的转换，从参考图片提取第一参考块的参考像素，其中，所述第一参考块小于所述第一块的运动补偿所需的第二参考块；/n用填充像素来填充所述第一参考块，以生成所述第二参考块；以及/n通过使用所生成的第二参考块来执行所述转换。/n

【技术特征摘要】
【国外来华专利技术】20181217 CN PCT/CN2018/121438;20190111 CN PCT/CN201.一种视频处理的方法，包括：
针对视频的第一块和所述第一块的比特流表示之间的转换，从参考图片提取第一参考块的参考像素，其中，所述第一参考块小于所述第一块的运动补偿所需的第二参考块；
用填充像素来填充所述第一参考块，以生成所述第二参考块；以及
通过使用所生成的第二参考块来执行所述转换。


2.根据权利要求1所述的方法，其中，所述第一块的尺寸为W*H，所述第一参考块的尺寸为(W+N–1–PW)*(H+N–1–PH)，并且所述第二参考块的尺寸为(W+N–1)*(H+N–1)，其中，W是所述第一块的宽度，H是所述第一块的高度，N是用于所述第一块的插值滤波器抽头的数量，PW和PH是整数。


3.根据权利要求1或2所述的方法，其中，用填充像素来填充所述第一参考块以生成所述第二参考块的步骤包括：
重复所述第一参考块的一个或多个边界处的像素作为所述填充像素，以生成所述第二参考块。


4.根据权利要求3所述的方法，其中，所述边界是所述第一参考块的顶部边界、左边界、底部边界和右边界。


5.根据权利要求3所述的方法，其中，W＝8，H＝4，N＝7，PW＝2并且PH＝3。


6.根据权利要求5所述的方法，其中，所述顶部边界、左边界和右边界处的像素被重复一次，并且所述底部边界处的像素被重复两次。


7.根据权利要求1-6中任一项所述的方法，其中，所提取的参考像素由(x+MVXInt–N/2+offSet1,y+MVYInt–N/2+offSet2)标识，其中(x,y)是所述第一块的左上方位置，(MVXInt,MVYInt)是所述第一块的运动矢量(MV)的整数部分，并且offSet1和offSet2是整数。


8.根据权利要求3所述的方法，其中，当PH为零时，仅所述第一参考块的左边界或/和右边界处的像素被重复。


9.根据权利要求3所述的方法，其中，当PW为零时，仅在所述第一参考块的顶部边界或/和底部边界处的像素被重复。


10.根据权利要求3所述的方法，其中，当PW和PH都大于零时，首先所述第一参考块的左边界或/和右边界处的像素被重复，然后所述第一参考块的顶部边界或/和底部边界处的像素被重复，或者首先所述第一参考块的顶部边界或/和底部边界被重复，然后所述第一参考块的左边界或/和右边界被重复。


11.根据权利要求3所述的方法，其中，所述第一参考块的左边界处的像素被重复M1次，并且所述第一参考块的右边界处的像素被重复(PW-M1)次，其中，M1是整数，并且M1>＝0。


12.根据权利要求3所述的方法，其中，所述第一参考块的M1个左列的像素或所述第一参考块的(PW-M1)个右列的像素被重复，其中，M1>1或PW-M1>1。


13.根据权利要求3所述的方法，其中，所述第一参考块的顶部边界处的像素被重复M2次，并且所述第一参考块的底部边界处的像素被重复(PH-M2)次，其中，M2是整数，并且M2>＝0。


14.根据权利要求3所述的方法，其中，所述第一参考块的M2个顶部行的像素或所述第一参考块的(PH-M2)个底部行的像素被重复，其中，M2>1或PW-M2>1。


15.根据权利要求3-14中任一项所述的方法，其中，当所述第一块的MV的水平分量和垂直分量都是分数的时，所述第一参考块的一个或多个边界处的像素被重复作为所述填充像素，以生成所述第二参考块。


16.根据权利要求3-15中任一项所述的方法，其中，当预测方向X的MV在水平方向和垂直方向上均具有分数分量时，所述第一参考块的一个或多个边界处的像素被重复作为填充像素，以生成所述第二参考块，其中X为0或1。


17.根据权利要求1-16中任一项所述的方法，其中，所述第一参考块是所述第一块的部分或所有参考块中的任何一个。


18.根据权利要求17所述的方法，其中，如果预测方向X的MV在水平方向和垂直方向上均具有分数分量，其中X为0或1，则所述第一参考块的一个或多个边界处的像素被重复作为所述填充像素，以生成预测方向X的第二参考块；否则，所述像素不被重复。


19.根据权利要求18所述的方法，其中，如果N2个MV分量具有分数精度，则所述第一参考块的一个或多个边界处的像素被重复作为所述填充像素，以生成N2个MV分量中的M个MV分量的第二参考块，其中，N2、M是整数，并且0<＝M<＝N2。

【专利技术属性】
技术研发人员：刘鸿彬，张莉，张凯，王悦，
申请(专利权)人：北京字节跳动网络技术有限公司，字节跳动有限公司，
类型：发明
国别省市：北京;11