用于仿射预测或运动补偿的共享预加载区域的方法和装置制造方法及图纸

视频编码或解码方法和设备包括接收与当前图片中的当前块相关联的输入数据，确定参考图片中由仿射预测或运动补偿的两个或更多个编解码配置或者由两个或更多个仿射细化迭代共享的预加载区域，在预加载区域加载参考样本，为当前块生成预测子，并根据预测子对当前块进行编码或解码

【技术实现步骤摘要】
用于仿射预测或运动补偿的共享预加载区域的方法和装置


[0001]本专利技术涉及用于编码或解码视频数据的帧间编码方法和设备
。
特别地，本专利技术涉及视频编码系统中的仿射预测
(affine prediction)
和运动补偿
。

技术介绍

[0002]通用视频编码
(VVC)
标准是由来自
ITU
‑
T
研究组的视频编码专家联合视频编码协作组
(JCT
‑
VC)
开发的最新视频编码标准
。
在
VVC
草案中，一张图片被分为一个或多个瓦片
(tile)
行和一个或多个瓦片列，其中瓦片是具有特定瓦片列和特定瓦片行的
、
覆盖在图片里的矩形区域的编码树单元
(CTU)
序列
。
瓦片的特征主要用于并行处理目的，瓦片分割的矩形切片
(slice)
形成的子图片也可用于基于视口的
360
度视频应用
。
图片瓦片分割的处理顺序是图片内瓦片光栅扫描和瓦片内
CTU
光栅扫描
。
瓦片打破了图片内预测依赖性以及熵解码依赖性
。
切片由图片的一瓦片内的整数个连续完整
CTU
行或整数个完整瓦片组成
。
切片的特性主要用于子图片级访问和超低延迟
。
图片中的每个子图片包含一个或多个切片，这些切片共同覆盖图片的一个矩形区域，每个子图片包含多个完整的
CTU。
图片中的子图片允许独立编解码和提取编码图片序列的矩形子集，用于视口
(viewport)
相关的
360
度视频流优化和感兴趣区域应用等用例
。
子图片允许编码块的运动向量指向子图片外部，即使当子图片是可提取的时，子图片也允许在子图片边界处填充作为画面边界
。
[0003]仿射运动补偿预测在
VVC
标准的发展过程中，基于块的仿射变换运动补偿预测是传统平移运动补偿预测的替代帧间预测编码工具
。
块的仿射运动场由4参数仿射运动模型中的两个控制点的运动信息或6参数仿射运动模型中的三个控制点的运动信息来描述
。
对于4参数仿射运动模型，块中样本位置
(x
，
y)
处的运动矢量由以下等式得出
。
[0004][0005]对于6参数仿射运动模型，块中样本位置
(x
，
y)
处的运动矢量由以下等式得出
。
[0006][0007]其中
(mv0x
，
mv0y)
是左上角控制点的运动向量，
(mv1x
，
mv1y)
是右上角控制点的运动向量，
(mv2x
，
mv2y)
是底部的运动向量
‑
左角控制点
。
[0008]编码单元
(CU)
的亮度编码块
(CB)
被分成
4x4
子块
。
图1图示了通过仿射运动补偿预测编码的
CU
中每个4×4子块的仿射运动矢量场的示例
。
为了导出仿射编解码
CU
中每个
4x4
亮度子块的运动向量，每个子块的中心样本的运动向量根据公式
(1)
或
(2)
所示的仿射模型计算并四舍五入为
1/16
分数精度
。
应用运动补偿插值滤波器以利用导出的子块运动矢量生成每个子块的预测信号
。
色度分量的子块大小也设置为
4x4
样本
。4x4
色度子块的
MV
被计算为四个对应的
4x4
亮度子块的
MV
的平均值
。
[0009]有两种仿射运动帧间预测模式，包括仿射合并
(affine Merge)
模式和仿射高级运
动矢量预测
(affine Advance Motion Vector Prediction
，
AMVP)
模式
。
仿射合并模式可以应用于宽度和高度均大于或等于8个样本的
CU。
在这种模式下，当前
CU
的控制点
MV
是基于空间相邻
CU
的运动信息生成的
。
最多可以有五个控制点运动矢量预测子
(Control Point Motion Vector Predictor
，
CPMVP)
候选者，并发出一个索引来指示要用于当前
CU
的那个
。
三种类型的
CPMVP
候选用于形成仿射合并候选列表，包括从相邻
CU
的控制点
MV
外推的继承仿射合并候选
、
使用相邻
CU
的平移
MV
导出的构造仿射合并候选
CPMVP
和零
MV。
[0010]最多有两个继承的仿射候选，它们是从相邻块的仿射运动模型导出的，一个来自左侧相邻
CU
，一个来自上方相邻
CU。
左侧预测子的候选位置的扫描顺序是
A0 212
然后
A1 211
，如图2所示
。
上述预测子的候选位置的扫描顺序是
B0 214
，
B1 213
，然后是
B2 215
，如图2所示
。
只选择来自每一方
(side)
的第一个继承候选
(inherited candidate)。
因为冗余，不检查两个继承候选
。
在识别出相邻仿射
CU
的情况下，其控制点运动向量用于在当前
CU
的仿射合并列表中推导出
CPMVP
候选
。
图3说明了控制点运动矢量继承，如图3所示，当相邻左下块
A
以仿射方式编解码时，包含块
A
的
CU
的左上角
、
右上角和左下角的运动矢量
v2、v3
和
v4
是仿射的
。
当包含块
A
的
CU
用4参数仿射模型编解码时，根据运动矢量
v2
和
v3
计算
CU
的两个控制点
MV。
...

【技术保护点】

【技术特征摘要】
1.
一种在视频编码系统中编码或解码视频数据的方法，包括：接收与当前图片中的当前块相关联的输入数据；为仿射预测
、
或运动补偿的两个或更多个编解码配置
、
或者针对两个或更多个仿射细化迭代确定参考图片中的预加载区域；将预加载区域中的参考样本加载到内存缓冲区中；为当前块生成预测子，其中与两个或更多个仿射细化迭代或编解码配置相关联的预测子是基于预加载区域中参考样本的相应部分生成的；以及根据预测子对当前块进行编码或解码
。2.
根据权利要求1所述的编码或解码视频数据的方法，其特征在于，与两个或更多个仿射细化迭代或编解码配置相关联的预测子是基于预加载区域中参考样本的相应部分生成的，而无加载所述参考图片中的其他参考样本
。3.
根据权利要求2所述的编码或解码视频数据的方法，其特征在于，所述仿射预测或运动补偿的两种或更多种编解码配置包括仿射单向预测
、
仿射双向预测
、4
参数仿射预测
、6
参数仿射预测
、
帧间预测
、
合并预测和基于子块的时间运动矢量预测
(SbTMVP)
的组合
。4.
根据权利要求3所述的编码或解码视频数据的方法，其特征在于，所述两个或更多个仿射细化迭代与对所述参考图片执行的仿射单向预测或仿射双向预测相关联
。5.
根据权利要求3所述的编码或解码视频数据的方法，其特征在于，所述预加载区域由单向预测确定并且由双向预测重复使用
。6.
根据权利要求3所述的编码或解码视频数据的方法，其特征在于，所述预加载区域由4参数仿射预测或4参数仿射合并运动补偿确定并且由6参数仿射预测或6参数仿射合并运动补偿重用
。7.
根据权利要求3所述的编码或解码视频数据的方法，其特征在于，所述预加载区域由仿射预测或运动补偿的编解码配置确定并且由
SbTMVP
重用
。8.
根据权利要求7所述的编码或解码视频数据的方法，其特征在于，如果
SbTMVP
的4×4子块运动矢量
(MV)
中的任何一个指向预加载区域之外的参考样本，则当前块跳过
SbTMVP
或使用填充
。9.
根据权利要求1所述的编码或解码视频数据的方法，其特征在于，还包括：当用于仿射预测或运动补偿的所需数据不在所述预加载区域内时，跳过搜索候选
。10.
根据权利要求1所述的编码或解码视频数据的方法，其特征在于，还包括：当用于仿射预测或运动补偿的所需数据不在所述预加载区域内时，修改搜索候选
。11.
根据权利要求
10
所述的编码或解码视频数据的方法，其特征在于，修改所述搜索候选包括修改所述搜索候选的一个或多个仿射控制点运动向量
(CPMV)。12.
根据权利要求
11
所述的编码或解码视频数据的方法，其特征在于，所述一个或多个仿射
CPMV
通过约束两个相邻仿射4×4子块的参考区域的距离来修改
。13.
...

【专利技术属性】
技术研发人员：罗志轩，庄子德，陈庆晔，陈俊嘉，徐志玮，黄毓文，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：