【技术实现步骤摘要】
【国外来华专利技术】视频处理方法和设备版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请涉及图像处理领域,并且更具体地,涉及一种视频处理方法和设备。
技术介绍
预测是主流视频编码框架的重要模块,预测可以包括帧内预测和帧间预测。帧间预测模式可以包括高级运动向量预测(AdvancedMotionVectorPrediction,AMVP)模式和合并(Merge)模式。在Merge模式中,可以在运动矢量的预测值(MotionVectorPrediction,MVP)候选列表中确定MVP,并直接将该MVP确定为MV,并可以在码流中传递MVP和参考帧索引至解码端,以用于解码端的解码。在构建上述MVP候选列表时,可以从基于历史的运动矢量预测(History-basedmotionvectorprediction,HMVP)候选列表中选择候选HMVP作为MVP候选列表中的候选MVP。其中,HMVP候选列表是基于已编码或解码块的运动信息生成的。例如可以为在完成一个已编码或解码块的编码或解码时,利用该一个已编码或解码块的运动信息更新下一个待编码或解码块的HMVP列表。HMVP列表还存在可以改善的地方。
技术实现思路
本申请实施例提供一种视频处理方法和设备,可以克服多个图像块之间的依赖性,使得多个图像块可以独立编码或解码。第一方面,提供了一种视频处理方法,包括:获取历史运动信息 ...
【技术保护点】
1.一种视频处理方法,其特征在于,包括:/n获取历史运动信息候选列表,所述历史运动信息候选列表用于对当前帧中的第一区域包括的多个第一图像块中的每个第一图像块进行编码或解码,其中,所述历史运动信息候选列表是基于第二图像块的运动信息获取的,所述第二图像块是除所述第一区域包括的图像块之外的已编码或解码图像块;/n根据所述历史运动信息候选列表,分别对所述每个第一图像块进行编码或解码。/n
【技术特征摘要】
【国外来华专利技术】20181229 CN PCT/CN2018/1258431.一种视频处理方法,其特征在于,包括:
获取历史运动信息候选列表,所述历史运动信息候选列表用于对当前帧中的第一区域包括的多个第一图像块中的每个第一图像块进行编码或解码,其中,所述历史运动信息候选列表是基于第二图像块的运动信息获取的,所述第二图像块是除所述第一区域包括的图像块之外的已编码或解码图像块;
根据所述历史运动信息候选列表,分别对所述每个第一图像块进行编码或解码。
2.根据权利要求1所述的方法,其特征在于,所述根据历史运动信息候选列表,分别对所述每个第一图像块进行编码或解码,包括:
根据所述历史运动信息候选列表,并行对所述多个第一图像块进行编码或解码。
3.根据权利要求1或2所述的方法,其特征在于,为不同的所述第一图像块进行编码或解码时,所采用的所述历史运动信息候选列表包括的候选历史运动信息和所述候选历史运动信息在所述历史运动信息候选列表中的顺序相同。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述获取历史运动信息候选列表,包括:
利用所述当前帧的第二区域包括的至少一个第二图像块的运动信息,对所述历史运动信息候选列表进行更新,更新后的所述历史运动信息候选列表用于对所述多个第一图像块进行编码或解码。
5.根据权利要求4所述的方法,其特征在于,
所述第二区域的编码或解码过程早于所述第一区域,所述第二区域的图像块是采用未进行所述更新的所述历史运动信息候选列表进行编码或解码的。
6.根据权利要求4或5所述的方法,其特征在于,对所述历史运动信息候选列表进行更新时,在所述历史运动信息候选列表中添加的候选历史运动信息的数量小于预设值,和/或,在所述历史运动信息候选列表中删除的候选历史运动信息的数量小于预设值。
7.根据权利要求4至6中任一项所述的方法,其特征在于,在所述利用所述当前帧的第二区域包括的至少一个第二图像块的运动信息,对所述历史运动信息候选列表进行更新之前,所述方法还包括:
基于所述第二区域的图像块的位置坐标,从所述第二区域包括的图像块中选择所述至少一个第二图像块。
8.根据权利要求7所述的方法,其特征在于,在从所述第二区域包括的图像块中选择所述至少一个第二图像块的过程中:
所述第二区域中右侧的图像块的优先级高于所述第二区域中左侧的图像块的优先级,和/或,所述第二区域中下侧的图像块的优先级高于所述第二区域中上侧的图像块的优先级。
9.根据权利要求4至8中任一项所述的方法,其特征在于,所述至少一个第二图像块包括所述第二区域中最后一个编码或解码的图像块,和/或,包括所述第二区域中指定位置的图像块。
10.根据权利要求9所述的方法,其特征在于,所述第二区域中指定位置的图像块包括位于以下至少一个位置处的图像块:
所述第二区域的左上角、所述第二区域的右上角、所述第二区域的左下角、所述第二区域的右下角、所述第二区域的中心点。
11.根据权利要求4至10中任一项所述的方法,其特征在于,所述利用所述当前帧的第二区域包括的至少一个第二图像块的运动信息,对所述历史运动信息候选列表进行更新,包括:
对多个所述第二图像块的运动信息进行加权处理;
利用加权处理后的所述运动信息,对所述历史运动信息候选列表进行更新。
12.根据权利要求4至11中任一项所述的方法,其特征在于,所述第一区域与所述第二区域沿图像的行方向排布,或沿图像的列方向排布。
13.根据权利要求12所所述的方法,其特征在于,所述第一区域与所述第二区域属于相同的编码树单元CTU行或CTU列,每个CTU行或CTU列包括至少一个CTU,每个CTU包括至少一个区域。
14.根据权利要求12或13所述的方法,其特征在于,在所述第二区域是沿图像的行方向排布或列方向排布中最早被编码或解码的区域时,对所述第二区域进行编码或解码时所采用的所述历史运动信息候选列表为空。
15.根据权利要求4至14中任一项所述的方法,其特征在于,所述第二区域是所述第一区域的前一个被编码或解码的区域。
16.根据权利要求4至15中任一项所述的方法,其特征在于,所述对所述历史运动信息候选列表进行更新,包括:
将需要添加的第一候选历史运动信息加入到所述历史运动信息候选列表的表头中。
17.根据权利要求16所述的方法,其特征在于,所述对所述历史运动信息候选列表进行更新,还包括:
将所述历史运动信息候选列表末尾处的候选历史运动信息删除,或者,将所述历史运动信息表中与所述第一候选历史运动信息相同的候选历史运动信息删除。
18.根据权利要求1至17中任一项所述的方法,其特征在于,所述第二图像块为非仿射变换运动补偿模式的图像块。
19.根据权利要求1至18中任一项所述的方法,其特征在于,所述使用历史运动信息候选列表,分别对所述每个第一图像块进行编码或解码,包括:
使用所述历史运动信息候选列表,分别为所述每个第一图像块生成运动信息列表;
利用分别为所述每个第一图像块生成的运动信息列表,为所述每个第一图像块选择运动信息。
20.根据权利要求19所述的方法,其特征在于,所述使用所述历史运动信息候选列表,分别为所述每个第一图像块生成运动信息列表,包括:
使用所述历史运动信息候选列表,以及所述每个第一图像块对应的空域运动信息候选列表,分别为所述每个第一图像块生成运动信息列表;
所述每个第一图像块对应的空域运动信息候选列表中的运动信息对应的图像块不属于所述第一区域。
21.根据权利要求1至20中任一项所述的方法,其特征在于,所述历史运动信息候选列表为基于历史的运动矢量预测HMVP候选列表。
22.根据权利要求1至21中任一项所述的方法,其特征在于,所述历史运动信息候选列表存储在一个存储空间中。
23.根据权利要求1至22中任一项所述的方法,其特征在于,所述利用所述当前帧的第二区域包括的至少一个第二图像块的运动信息对所述历史运动信息候选列表进行更新,是在所述第二区域完成编码或解码之后进行的。
24.根据权利要求4至17中任一项所述的方法,其特征在于,所述历史运动信息候选列表分别存储在第一存储空间和第二存储空间,所述第二区域是利用所述第二存储空间中的所述历史运动信息候选列表进行编码或解码的,所述利用所述当前帧的第二区域包括的至少一个第二图像块的运动信息,对所述历史运动信息候选列表进行更新,包括:
在所述第二区域的编码过程或解码过程中,利用所述第二区域包括的至少一个第二图像块的运动信息,对所述第一存储空间中的所述历史运动信息候选列表进行更新;
所述根据所述历史运动信息候选列表,分别对所述每个第一图像块进行编码或解码,包括:
根据所述第一存储空间中的更新后的所述历史运动信息候选列表,分别对所述每个第一图像块进行编码或解码。
25.根据权利要求24所述的方法,其特征在于,所述方法还包括:
在所述第二区域的编码或解码完成之后,利用所述第一存储空间中的更新后的所述历史运动信息候选列表,对所述第二存储空间中的所述历史运动信息候选列表进行更新。
26.根据权利要求25所述的方法,其特征在于,所述利用所述第一存储空间中的更新后的所述历史运动信息候选列表,对所述第二存储空间中的所述历史运动信息候选列表进行更新,包括:
对所述第二存储空间中的所述历史运动信息候选列表进行更新,使得所述第二存储空间中的更新后的所述历史运动信息候选列表和所述第一存储空间中的更新后的所述历史运动信息候选列表相同。
27.根据权利要求4至17中任一项所述的方法,其特征在于,所述历史运动信息候选列表分别存储在第一存储空间和第二存储空间,所述第二区域是利用所述第二存储空间中的所述历史运动信息候选列表进行编码或解码的,所述利用所述当前帧的第二区域包括的至少一个第二图像块的运动信息,对所述历史运动信息候选列表进行更新,包括:
在所述第二区域的编码过程或解码过程中,利用所述第二区域包括的至少一个第二图像块的运动信息,对所述第一存储空间中的所述历史运动信息候选列表进行更新;
在所述第二区域的编码或解码完成之后,利用所述第一存储空间中的更新后的所述历史运动信息候选列表,对所述第二存储空间中的所述历史运动信息候选列表进行更新;
所述根据所述历史运动信息候选列表,分别对所述每个第一图像块进行编码或解码,包括:
根据所述第二存储空间中的更新后的所述历史运动信息候选列表,分别对所述每个第一图像块进行编码或解码。
28.根据权利要求27所述的方法,其特征在于,所述方法还包括:
在所述第一区域的编码过程或解码过程中,利用所述第一区域包括的至少一个第一图像块的运动信息,对所述第一存储空间中的所述历史运动信息候选列表进行再次更新;
在所述第一区域的编码或解码完成之后,利用所述第一存储空间中的再次更新后的所述历史运动信息候选列表,对所述第二存储空间中的所述历史运动信息候选列表进行再次更新。
29.根据权利要求27或28所述的方法,其特征在于,利用所述第一存储空间中的更新后的所述历史运动信息候选列表,对所述第二存储空间中的所述历史运动信息候选列表进行更新,包括:
对所述第二存储空间中的所述历史运动信息候选列表进行更新,使得所述第二存储空间中的更新后的所述历史运动信息候选列表和所述第一存储空间中的更新后的所述历史运动信息候选列表相同。
30.根据权利要求1所述的方法,其特征在于,
所述第一区域中的多个第一图像块是由第一区域进行四叉树划分、或者进行三叉树划分、或者进行二叉树划分之后得到的图像块。
31.根据权利要求30所述的方法,其特征在于,
所述第一区域中的多个第一图像块在预测时共用同一个运动信息候选列表。
32.根据权利要求31所述的方法,其特征在于,
所述第一区域中的多个第一图像块在预测时均采用合并模式,且共用同一个合并模式运动信息候选列表。
33.根据权利要求31所述的方法,其特征在于,所述方法还包括:
根据所述历史运动信息候选列表获取候选HMVP;所述候选HMVP是所述运动信息候选列表中的一个候选者。
34.根据权利要求33所述的方法,其特征在于,所述历史运动信息候选列表在所述第一区域中的多个第一图像块预测时保持不变。
35.根据权利要求33或34所述的方法,其特征在于,所述方法还包括:
在完成所述第一区域中的多个第一图像块的编/解码后,对所述历史运动信息候选列表进行更新。
36.根据权利要求35所述的方法,其特征在于,所述方法还包括:
根据所述第一区域中最后一个完成编/解码的第一图像块的运动信息对所述历史运动信息候选列表进行更新。
37.根据权利要求36所述的方法,其特征在于,所述第一区域中最后一个完成编/解码的第一图像块的右下角与第一区域的右下角重合。
38.根据权利要求35所述的方法,其特征在于,所述第一区域的左上角的像素坐标为(x0,y0),所述第一区域的长为L0,宽为W0;
所述方法还包括:
从所述第一区域中确定目标第一图像块,所述目标第一图像块的左上角的像素位置为(x1,y1),长为L1,宽为W1,且x1+L1=x0+L0,y1+W1=y0+W0;
根据所述目标第一图像块的运动信息对所述历史运动信息候选列表进行更新。
39.一种视频处理方法,其特征在于,包括:
利用历史运动信息候选列表,对当前帧的第二区域中的至少一个第二图像块进行编码或解码;
基于所述第二区域中的至少部分第二图像块编码或解码后的运动信息,对所述历史运动信息候选列表进行更新,以得到更新后的所述历史运动信息候选列表;
利用更新后的所述历史运动信息候选列表,对所述当前帧的第一区域中的多个第一图像块进行编码或解码。
40.根据权利要求39所述的方法,其特征在于,所述利用更新后的所述历史运动信息候选列表,对所述当前帧的第一区域中的多个第一图像块进行编码或解码,包括:
利用更新后的所述历史运动信息候选列表,并行对所述多个第一图像块进行编码或解码。
41.根据权利要求39或40所述的方法,其特征在于,为不同的所述第一图像块进行编码或解码时,所采用的所述历史运动信息候选列表包括的候选历史运动信息和所述候选历史运动信息在所述历史运动信息候选列表中的顺序相同。
42.根据权利要求39至41中任一项所述的方法,其特征在于,对所述历史运动信息候选列表进行更新时,在所述历史运动信息候选列表中添加的候选历史运动信息的数量小于预设值,和/或,在所述历史运动信息候选列表中删除的候选历史运动信息的数量小于预设值。
43.根据权利要求39至42中任一项所述的方法,其特征在于,在所述对历史运动信息候选列表进行更新之前,所述方法还包括:
基于所述第二区域的图像块的位置坐标,从所述第二区域包括的图像块中选择所述至少部分第二图像块。
44.根据权利要求43所述的方法,其特征在于,在从所述第二区域包括的图像块中选择所述至少部分第二图像块的过程中:
所述第二区域中右侧的图像块的优先级高于所述第二区域中左侧的图像块的优先级,和/或,所述第二区域中下侧的图像块的优先级高于所述第二区域中上侧的图像块的优先级。
45.根据权利要求39至44中任一项所述的方法,其特征在于,所述利用所述第二区域包括的至少部分第二图像块的运动信息,对所述历史运动信息候选列表进行更新,包括:
对所述至少部分第二图像块的运动信息进行加权处理;
利用加权处理后的所述运动信息,对所述历史运动信息候选列表进行更新。
46.根据权利要求39至45中任一项所述的方法,其特征在于,所述第二区域与所述第一区域沿图像的行方向排布,或沿图像的列方向排布。
47.根据权利要求46所所述的方法,其特征在于,所述第二区域与所述第一区域属于相同的编码树单元CTU行或CTU列,每个CTU行或CTU列包括至少一个CTU,每个CTU包括至少一个区域。
48.根据权利要求46或47所述的方法,其特征在于,在所述第二区域是沿图像的行方向排布或列方向排布中最早被编码或解码的区域时,对所述第二区域进行编码或解码时所采用的所述历史运动信息候选列表为空。
49.根据权利要求39至48中任一项所述的方法,其特征在于,所述第二区域是所述第一区域的前一个被编码或解码的区域。
50.根据权利要求39至49中任一项所述的方法,其特征在于,所述对所述历史运动信息候选列表进行更新,包括:
将需要添加的第一候选历史运动信息加入到所述历史运动信息候选列表的表头中。
51.根据权利要求50所述的方法,其特征在于,所述对历史运动信息候选列表进行更新,还包括:
将所述历史运动信息候选列表末尾处的候选历史运动信息删除,或者,将所述历史运动信息表中与所述第一候选历史运动信息相同的候选历史运动信息删除。
52.根据权利要求39至51中任一项所述的方法,其特征在于,所述第二图像块为非仿射变换运动补偿模式的图像块。
53.根据权利要求39至52中任一项所述的方法,其特征在于,所述利用更新后的所述历史运动信息候选列表,对第一区域中的多个第一图像块进行编码,包括:
使用更新后的所述历史运动信息候选列表,分别为每个第一图像块生成运动信息列表;
利用分别为所述每个第一图像块生成的运动信息列表,为所述每个第一图像块选择运动信息。
54.根据权利要求53所述的方法,其特征在于,所述使用更新后的所述历史运动信息候选列表,分别为所述每个第一图像块生成运动信息列表,包括:
使用更新后的所述历史运动信息候选列表,以及所述每个第一图像块对应的空域运动信息候选列表,分别为所述每个第一图像块生成所述运动信息列表;
所述每个第一图像块对应的空域运动信息候选列表中的运动信息对应的图像块不属于所述第一区域。
55.根据权利要求39至54中任一项所述的方法,其特征在于,所述历史运动信息候选列表为基于历史的运动矢量预测HMVP候选列表。
56.根据权利要求39至55中任一项所述的方法,其特征在于,所述至少部分第二图像块包括所述第二区域中最后一个编码或解码的图像块,和/或,包括所述第二区域中指定位置的图像块。
57.根据权利要求56所述的方法,其特征在于,所述第二区域中指定位置的图像块包括位于以下至少一个位置处的图像块:
所述第二区域的左上角、所述第二区域的右上角、所述第二区域的左下角、所述第二区域的右下角、所述第二区域的中心点。
58.根据权利要求39至57中任一项所述的方法,其特征在于,所述历史运动信息候选列表存储在一个存储空间中。
59.根据权利要求39至58中任一项所述的方法,其特征在于,所述利用所述当前帧的第二区域包括的所述至少部分第二图像块的运动信息对所述历史运动信息候选列表进行更新,是在所述第二区域完成编码或解码之后进行的。
60.根据权利要求39至57中任一项所述的方法,其特征在于,所述历史运动信息候选列表分别存储在第一存储空间和第二存储空间,所述第二区域是利用所述第二存储空间中的所述历史运动信息候选列表进行编码或解码的,所述基于所述第二区域中的至少部分第二图像块编码或解码后的运动信息,对所述历史运动信息候选列表进行更新,包括:
在所述第二区域的编码过程或解码过程中,利用所述第二区域包括的所述至少部分第二图像块的运动信息,对所述第一存储空间中的所述历史运动信息候选列表进行更新;
所述根据所述历史运动信息候选列表,分别对所述每个第一图像块进行编码或解码,包括:
根据所述第一存储空间中的更新后的所述历史运动信息候选列表,分别对所述每个第一图像块进行编码或解码。
61.根据权利要求60所述的方法,其特征在于,所述方法还包括:
在所述第二区域的编码或解码完成之后,利用所述第一存储空间中的更新后的所述历史运动信息候选列表,对所述第二存储空间中的所述历史运动信息候选列表进行更新。
62.根据权利要求61所述的方法,其特征在于,所述利用所述第一存储空间中的更新后的所述历史运动信息候选列表,对所述第二存储空间中的所述历史运动信息候选列表进行更新,包括:
对所述第二存储空间中的所述历史运动信息候选列表进行更新,使得所述第二存储空间中的更新后的所述历史运动信息候选列表和所述第一存储空间中的更新后的所述历史运动信息候选列表相同。
63.根据权利要求39至57中任一项所述的方法,其特征在于,所述历史运动信息候选列表分别存储在第一存储空间和第二存储空间,所述第二区域是利用所述第二存储空间中的所述历史运动信息候选列表进行编码或解码的,所述基于所述第二区域中的至少部分第二图像块编码或解码后的运动信息,对所述历史运动信息候选列表进行更新,包括:
在所述第二区域的编码过程或解码过程中,利用所述第二区域包括的所述至少部分第二图像块的运动信息,对所述第一存储空间中的所述历史运动信息候选列表进行更新;
在所述第二区域的编码或解码完成之后,利用所述第一存储空间中的更新后的所述历史运动信息候选列表,对所述第二存储空间中的所述历史运动信息候选列表进行更新;
所述利用更新后的所述历史运动信息候选列表,对所述当前帧的第一区域中的多个第一图像块进行编码或解码,包括:
根据所述第二存储空间中的更新后的所述历史运动信息候选列表,分别对所述每个第一图像块进行编码或解码。
64.根据权利要求63所述的方法,其特征在于,;
所述方法还包括:
在所述第一区域的编码过程或解码过程中,利用所述第一区域包括的至少一个第一图像块的运动信息,对所述第一存储空间中的所述历史运动信息候选列表进行再次更新;
在所述第一区域的编码或解码完成之后,利用所述第一存储空间中的再次更新后的所述历史运动信息候选列表,对所述第二存储空间中的所述历史运动信息候选列表进行再次更新。
65.根据权利要求63或64所述的方法,其特征在于,利用所述第一存储空间中的更新后的所述历史运动信息候选列表,对所述第二存储空间中的所述历史运动信息候选列表进行更新,包括:
对所述第二存储空间中的所述历史运动信息候选列表进行更新,使得所述第二存储空间中的更新后的所述历史运动信息候选列表和所述第一存储空间中的更新后的所述历史运动信息候选列表相同。
66.根据权利要求39所述的方法,其特征在于,
所述第一区域中的多个第一图像块是由第一区域进行四叉树划分、或者进行四叉树三叉树划分、或者进行四叉树二叉树划分、或者进行四叉树三叉树二叉树划分、或者进行四叉树二叉树三叉树划分之后得到的图像块。
67.根据权利要求66所述的方法,其特征在于,
所述第一区域中的多个第一图像块在预测时共用同一个运动信息候选列表。
68.根据权利要求67所述的方法,其特征在于,
所述第一区域中的多个第一图像块在预测时均采用合并模式,且共用同一个合并模式运动信息候选列表。
69.根据权利要求67所述的方法,其特征在于,所述方法还包括:
根据所述历史运动信息候选列表获取候选HMVP;所述候选HMVP是所述运动信息候选列表中的一个候选者。
70.根据权利要求69所述的方法,其特征在于,所述历史运动信息候选列表在所述第一区域中的多个第一图像块预测时保持不变。
71.根据权利要求69或70所述的方法,其特征在于,所述方法还包括:
在完成所述第一区域中的多个第一图像块的编/解码后,对所述历史运动信息候选列表进行更新。
72.根据权利要求71所述的方法,其特征在于,所述方法还包括:
根据所述第...
【专利技术属性】
技术研发人员:王苏红,郑萧桢,王苫社,马思伟,
申请(专利权)人:北京大学,深圳市大疆创新科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。