基于光流的预测细化的计算制造技术

一种视频处理的方法，包括：确定使用基于光流的方法编解码的视频块中的位置(x,y)处的第一运动位移Vx(x,y)和位置(x,y)处的第二运动位移Vy(x,y)，其中x和y是分数，其中Vx(x,y)和Vy(x,y)是至少基于位置(x,y)和视频块的基本视频块的中心位置而确定的；以及使用第一运动位移和第二运动位移来执行视频块和当前视频块的比特流表示之间的转换。频块的比特流表示之间的转换。频块的比特流表示之间的转换。

【技术实现步骤摘要】
【国外来华专利技术】基于光流的预测细化的计算
[0001]相关申请的交叉引用
[0002]根据适用的专利法和/或依据巴黎公约的规则，本申请是为了及时要求于2019年3月17日提交的国际专利申请No.PCT/CN2019/078411、2019年3月18日提交的国际专利申请No.PCT/CN2019/078501、2019年3月19日提交的国际专利申请No.PCT/CN2019/078719和2019年3月27日提交的国际专利申请No.PCT/CN2019/079961的优先权和利益。出于根据法律的所有目的，前述申请的全部公开内容通过引用而并入，作为本申请的公开内容的一部分。


[0003]本文档涉及视频编解码和解码。

技术介绍

[0004]尽管视频压缩技术有所进步，但数字视频仍然是互联网和其他数字通信网络中占最大的带宽使用。随着能够接收和显示视频的连接用户设备的数量增加，预计数字视频使用的带宽需求将继续增长。

技术实现思路

[0005]提供了可以由数字视频编码器、代码转换器和解码器实施的各种技术，以在视频处理中使用基于光流的预测细化。本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频处理的方法，包括：确定使用基于光流的方法编解码的视频块中的位置(x,y)处的第一运动位移Vx(x,y)和位置(x,y)处的第二运动位移Vy(x,y)，其中x和y是分数，其中，Vx(x,y)和Vy(x,y)是至少基于位置(x,y)和视频块的基本视频块的中心位置而确定的；以及使用第一运动位移和第二运动位移来执行视频块和当前视频块的比特流表示之间的转换。2.根据权利要求1所述的方法，其中，Vx(x,y)＝a
×
(x
‑
xc)+b
×
(y
‑
yc)，其中，Vy(x,y)＝c
×
(x
‑
xc)+d
×
(y
‑
yc)，其中，(xc,yc)是视频块的基本视频块的中心位置，其中，a、b、c和d是仿射参数，其中，基本视频块具有大小w
×
h，并且其中，基本视频块的位置包括位置(x,y)。3.根据权利要求1所述的方法，其中，Vx(x,y)＝Shift(a
×
(x
‑
xc)+b
×
(y
‑
yc),n1)，其中，Vy(x,y)＝Shift(c
×
(x
‑
xc)+d
×
(y
‑
yc),n1)，其中，(xc,yc)是视频块的基本视频块的中心位置，其中，a、b、c和d是仿射参数，其中，基本视频块具有大小w
×
h，其中，基本视频块的位置包括位置(x,y)，其中，Shift()函数指示二进制移位操作，并且其中，n1是整数。4.根据权利要求1所述的方法，其中，Vx(x,y)＝SatShift(a
×
(x
‑
xc)+b
×
(y
‑
yc),n1)，其中，Vy(x,y)＝SatShift(c
×
(x
‑
xc)+d
×
(y
‑
yc),n1)，其中，(xc,yc)是视频块的基本视频块的中心位置，其中，a、b、c和d是仿射参数，其中，基本视频块具有大小w
×
h，其中，基本视频块的位置包括位置(x,y)，其中，SatShift()函数指示饱和二进制移位操作，并且其中，n1是整数。5.根据权利要求1所述的方法，其中，Vx(x,y)＝
‑
a
×
(x
‑
xc)
‑
b
×
(y
‑
yc)，其中，Vy(x,y)＝
‑
c
×
(x
‑
xc)
‑
d
×
(y
‑
yc)，其中，(xc,yc)是视频块的基本视频块的中心位置，其中，a、b、c和d是仿射参数，其中，基本视频块具有大小w
×
h，并且其中，基本视频块的位置包括位置(x,y)。
6.根据权利要求2
‑
5中任一项所述的方法，其中，(xc,yc)＝(x0+(w/2),y0+(h/2))，并且其中基本视频块的左上方位置为(x0,y0)。7.根据权利要求2
‑
5中任一项所述的方法，其中，(xc,yc)＝(x0+(w/2)
‑
1,y0+(h/2)
‑
1)，并且其中基本视频块的左上方位置为(x0,y0)。8.根据权利要求2
‑
5中任一项所述的方法，其中，(xc,yc)＝(x0+(w/2),y0+(h/2)
‑
1)，并且其中基本视频块的左上方位置为(x0,y0)。9.根据权利要求2
‑
5中任一项所述的方法，其中，(xc,yc)＝(x0+(w/2)
‑
1,y0+(h/2)))，并且其中基本视频块的左上方位置为(x0,y0)。10.根据权利要求2
‑
9中任一项所述的方法，其中，响应于视频块是使用4参数仿射模式进行编解码的，c＝
‑
b并且d＝a。11.根据权利要求2
‑
9中任一项所述的方法，其中，a、b、c和d能够从控制点运动矢量(CPMV)、视频块的宽度(W)和视频块的高度(H)进行推导。12.根据权利要求11所述的方法，其中，并且其中，mv0、mv1和mv2是CPMV，其中，上标为h的运动矢量分量指示运动矢量分量在第一方向上，其中，上标为v的另一运动矢量分量指示另一运动矢量分量在第二方向上，其中，第一方向与第二方向正交，其中，W指示视频块的宽度，并且其中，H指示视频块的高度。13.根据权利要求11所述的方法，其中，a、b、c和d被裁剪。14.根据权利要求11所述的方法，其中，a、b、c和d被移位。15.根据权利要求2
‑
9中任一项所述的方法，其中，a、b、c和d能够从关于视频块的邻近视频块的存储信息中获得。16.根据权利要求2
‑
9中任一项所述的方法，其中，a、b、c和d能够从基于历史的存储信息中获得。17.根据权利要求1所述的方法，其中，Vx(x+1,y)＝Vx(x,y)+a，并且其中Vy(x+1,y)＝Vy(x,y)+c。18.根据权利要求1所述的方法，其中，Vx(x+1,y)＝Shift(Vx(x,y)+a,n1)，其中，Vy(x+1,y)＝Shift(Vy(x,y)+c,n1)，其中，Shift()函数指示二进制移位操作，并且其中，n1是整数。19.根据权利要求1所述的方法，其中，Vx(x+1,y)＝SatShift(Vx(x,y)+a,n1)，其中，Vy(x+1,y)＝SatShift(Vy(x,y)+c,n1)，其中，SatShift()函数指示饱和二进制移位操作，并且其中，n1是整数。
20.根据权利要求1所述的方法，其中，Vx(x+1,y)＝Vx(x,y)+Shift(a,n1)，其中，Vy(x+1,y)＝Vy(x,y)+Shift(c,n1)，其中，Shift()函数指示二进制移位操作，并且其中，n1是整数。21.根据权利要求1所述的方法，其中，Vx(x+1,y)＝Vx(x,y)+SatShift(a,n1)，其中，Vy(x+1,y)＝Vy(x,y)+SatShift(c,n1)，其中，SatShift()函数指示饱和二进制移位操作，并且其中，n1是整数。22.根据权利要求1所述的方法，其中，Vx(x,y+1)＝Vx(x,y)+b，并且其中Vy(x+1,y)＝Vy(x,y)+d。23.根据权利要求1所述的方法，其中，Vx(x,y+1)＝Shift(Vx(x,y)+b,n1)，其中，Vy(x,y+1)＝Shift(Vy(x,y)+d,n1)，其中，Shift()函数指示二进制移位操作，并且其中，n1是整数。24.根据权利要求1所述的方法，其中，Vx(x,y+1)＝SatShift(Vx(x,y)+b,n1)，其中，Vy(x,y+1)＝SatShift(Vy(x,y)+d,n1)，其中，SatShift()函数指示饱和二进制移位操作，并且其中，n1是整数。25.根据权利要求1所述的方法，其中，Vx(x,y+1)＝Vx(x,y)+Shift(b,n1)，其中，Vy(x,y+1)＝Vy(x,y)+Shift(d,n1)，其中，Shift()函数指示二进制移位操作，并且其中，n1是整数。26.根据权利要求1所述的方法，其中，Vx(x,y+1)＝Vx(x,y)+SatShift(b,n1)，其中，Vy(x,y+1)＝Vy(x,y)+SatShift(d,n1)，其中，SatShift()函数指示饱和二进制移位操作，并且其中，n1是整数。27.根据权利要求2
‑
26中任一项所述的方法，其中，响应于视频块是利用双向预测技术进行仿射预测的，a、b、c和d参考参考图片列表0或参考图片列表1。28.根据权利要求2
‑
26中任一项所述的方法，其中，最终预测样点利用第一运动位移Vx(x,y)和第二运动位移Vy(x,y)进行细化，并且其中，第一运动位移Vx(x,y)和第二运动位移Vy(x,y)是使用参考参考图片列表0和参考图片列表1中的任何一个的a、b、c和d来推导的。
29.根据权利要求2
‑
26中任一项所述的方法，其中，第一运动位移Vx(x,y)和第二运动位移Vy(x,y)的预测样点来自参考图片列表0并且被细化，并且其中，第一运动位移Vx(x,y)和第二运动位移Vy(x,y)是使用参考参考图片列表0的a、b、c和d来推导的。30.根据权利要求2
‑
26中任一项所述的方法，其中，第一运动位移Vx(x,y)和第二运动位移Vy(x,y)的预测样点来自参考图片列表1并且被细化，并且其中，第一运动位移Vx(x,y)和第二运动位移Vy(x,y)是使用参考参考图片列表1的a、b、c和d来推导的。31.根据权利要求2
‑
26中任一项所述的方法，其中，来自参考图片列表0的第一预测样点利用使用参考参考图片列表0的a、b、c和d推导的第一运动位移矢量(V0x(x,y),V0y(x,y))进行细化，其中，来自参考图片列表1的第二预测样点利用使用参考参考图片列表1的a、b、c和d推导的第二运动位移矢量(V1x(x,y),V1y(x,y))进行细化，并且其中，最终预测样点通过组合第一预测样点和第二预测样点而获得。32.根据权利要求1所述的方法，其中，运动位移矢量(Vx(x,y),Vy(x,y))具有与视频块的运动矢量的第二运动矢量精度不同的第一运动矢量精度。33.根据权利要求32所述的方法，其中，第一运动矢量精度是1/8像素精度。34.根据权利要求32所述的方法，其中，第一运动矢量精度是1/16像素精度。35.根据权利要求32所述的方法，其中，第一运动矢量精度是1/32像素精度。36.根据权利要求32所述的方法，其中，第一运动矢量精度是1/64像素精度。37.根据权利要求32所述的方法，其中，第一运动矢量精度是1/128像素精度。38.根据权利要求1所述的方法，其中，运动位移矢量(Vx(x,y),Vy(x,y))基于浮动像素精度技术而确定。39.一种视频处理的方法，包括：确定在视频块中的位置(x,y)处估计的第一方向上的第一梯度分量Gx(x,y)和在视频块中的位置(x,y)处估计的第二方向上的第二梯度分量Gy(x,y)，其中，第一梯度分量和第二梯度分量基于位置(x,y)处的预测样点P(x,y)的最终预测样点值，并且其中，x和y是整数；以及使用基于加到预测样点P(x,y)的最终预测样点值的残差样点值Res(x,y)而获得的位置(x,y)处的重构样点值Rec(x,y)来执行视频块和视频块的比特流表示之间的转换，其中该预测样点P(x,y)使用梯度(Gx(x,y),Gy(x,y))进行细化。40.一种视频处理的方法，包括：确定在视频块中的位置(x,y)处估计的第一方向上的第一梯度分量Gx(x,y)和在视频块中的位置(x,y)处估计的第二方向上的第二梯度分量Gy(x,y)，其中，第一梯度分量和第二梯度分量基于位置(x,y)处的预测样点P(x,y)的最终预测样点值，并且
其中，x和y是整数；以及基于位置(x,y)处的重构样点值Rec(x,y)，对视频块的比特流表示进行编码以包括残差样点值Res(x,y)，其中，重构样点值Rec(x,y)基于加到预测样点P(x,y)的最终预测样点值的残差样点值Res(x,y)，其中该预测样点P(x,y)使用梯度(Gx(x,y),Gy(x,y))进行细化。41.一种视频处理的方法，包括：确定在视频块中的位置(x,y)处估计的第一方向上的第一梯度分量Gx(x,y)和在视频块中的位置(x,y)处估计的第二方向上的第二梯度分量Gy(x,y)，其中，第一梯度分量和第二梯度分量基于位置(x,y)处的预测样点P(x,y)的中间预测样点值，其中，预测样点P(x,y)的最终预测样点值基于中间预测样点值，并且其中，x和y是整数；以及使用基于预测样点P(x,y)的最终预测样点值以及残差样点值Res(x,y)而获得的位置(x,y)处的重构样点值Rec(x,y)来执行视频块和视频块的比特流表示之间的转换。42.一种视频处理的方法，包括：确定在视频块中的位置(x,y)处估计的第一方向上的第一梯度分量Gx(x,y)和在视频块中的位置(x,y)处估计的第二方向上的第二梯度分量Gy(x,y)，其中，第一梯度分量和第二梯度分量基于位置(x,y)处的预测样点P(x,y)的中间预测样点值，其中，预测样点P(x,y)的最终预测样点值基于中间预测样点值，并且其中，x和y是整数；以及基于位置(x,y)处的重构样点值Rec(x,y)，对视频块的比特流表示进行编码以包括残差样点值Res(x,y)，其中，重构样点值Rec(x,y)基于预测样点P(x,y)的最终预测样点值以及残差样点值Res(x,y)。43.根据权利要求41或42中任一项所述的方法，其中，响应于视频块是使用双向预测技术进行仿射预测的，第一梯度分量和/或第二梯度分量基于来自一个参考图片列表的中间预测样点值。44.根据权利要求41或42中任一项所述的方法，其中，当视频块使用仿射模式和LIC时，第一梯度分量和/或第二梯度分量基于在应用局部照明补偿(LIC)之前的帧间预测样点值。45.根据权利要求41或42中任一项所述的方法，其中，当视频块使用具有加权预测技术或具有CU级别权重的双向预测(BCW)技术中的任何一种的仿射模式时，第一梯度分量和/或第二梯度分量基于在乘以加权因子之前的帧间预测样点值。46.根据权利要求41或42中任一项所述的方法，其中，当视频块使用仿射模式和LIC时，第一梯度分量和/或第二梯度分量基于具有被应用的局部照明补偿(LIC)的帧间预测样点值。47.根据权利要求41或42中任一项所述的方法，其中，当视频块使用具有加权预测技术或具有CU级别权重的双向预测(BCW)技术中的任何一种的仿射模式时，第一梯度分量和/或第二梯度分量基于乘以加权因子的帧间预测样点值。
48.一种视频处理的方法，包括：通过利用在仿射编解码视频块中的位置(x,y)处估计的第一方向上的第一梯度分量Gx(x,y)和在位置(x,y)处估计的第二方向上的第二梯度分量Gy(x,y)、以及针对位置(x,y)估计的第一运动位移Vx(x,y)和针对位置(x,y)估计的第二运动位移Vy(x,y)来修改位置(x,y)处的预测样点P(x,y)，确定位置(x,y)处的细化预测样点P
’
(x,y)，其中，第一方向与第二方向正交，并且其中，x和y是整数；基于细化预测样点P
’
(x,y)和残差样点值Res(x,y)，确定位置(x,y)处的重构样点值Rec(x,y)；确定仿射编解码视频块中的位置(x,y)处的细化的重构样点值Rec
’
(x,y)，其中Rec
’
(x,y)＝Rec(x,y)+Gx(x,y)
×
Vx(x,y)+Gy(x,y)
×
Vy(x,y)；以及使用细化的重构样点值Rec
’
(x,y)来执行仿射编解码视频块和仿射编解码视频块的比特流表示之间的转换。49.一种视频处理的方法，包括：通过利用在仿射编解码视频块中的位置(x,y)处估计的第一方向上的第一梯度分量Gx(x,y)和在位置(x,y)处估计的第二方向上的第二梯度分量Gy(x,y)、以及针对位置(x,y)估计的第一运动位移Vx(x,y)和针对位置(x,y)估计的第二运动位移Vy(x,y)来修改位置(x,y)处的预测样点P(x,y)，确定位置(x,y)处的细化预测样点P
’
(x,y)，其中，第一方向与第二方向正交，并且其中，x和y是整数；基于细化预测样点P
’
(x,y)和残差样点值Res(x,y)，确定位置(x,y)处的重构样点值Rec(x,y)；确定仿射编解码视频块中的位置(x,y)处的细化的重构样点值Rec
’
(x,y)，其中Rec
’
(x,y)＝Rec(x,y)+Gx(x,y)
×
Vx(x,y)+Gy(x,y)
×
Vy(x,y)；以及对仿射编解码视频块的比特流表示进行编码，以包括残差样点值Res(x,y)。50.根据权利要求48或49中任一项所述的方法，其中，第一梯度分量Gx(x,y)和/或第二梯度分量Gy(x,y)基于重构样点值Rec(x,y)。51.根据权利要求48或49中任一项所述的方法，其中，第一运动位移Vx(x,y)和第二运动位移Vy(x,y)是在仿射编解码视频块的2*2块级别推导的。52.一种视频处理的方法，包括:为仿射模式下的视频块确定具有1/N像素精度的运动矢量；确定针对视频块中的位置(x,y)估计的运动位移矢量(Vx(x,y),Vy(x,y))，其中，运动位移矢量是以1/M像素精度推导的，其中，N和M是正整数，并且其中，x和y是整数；以及使用运动矢量和运动位移矢量来执行视频块和视频块的比特流表示之间的转换。53.根据权利要求52所述的方法，其中，N等于8并且M等于16，或其中，N等于8并且M等于32，或
其中，N等于8并且M等于64，或其中，N等于8并且M等于128，或其中，N等于4并且M等于8，或其中，N等于4并且M等于16，或其中，N等于4并且M等于32，或其中，N等于4并且M等于64，或其中，N等于4并且M等于128...

【专利技术属性】
技术研发人员：张凯，张莉，刘鸿彬，许继征，王悦，
申请(专利权)人：字节跳动有限公司，
类型：发明
国别省市：