图像预测方法及相关装置制造方法及图纸

本发明专利技术实施例公开了一种图像预测方法和相关装置。其中，一种图像预测方法包括：确定当前图像块中的K个像素样本的运动矢量预测值，其中，所述K为大于1的整数，其中，所述K个像素样本包括所述当前图像块的第一顶角像素样本，所述第一顶角像素样本的运动矢量预测值基于所述当前图像块的预设的第一空域相邻图像块的运动矢量得到，所述第一空域相邻图像块与所述第一顶角像素样本空域相邻；基于非平动运动模型和所述K个像素样本的运动矢量预测值对所述当前图像块进行像素值预测。本发明专利技术实施例方案有利于降低基于非平动运动模型进行图像预测的计算复杂度。

【技术实现步骤摘要】
图像预测方法及相关装置
本专利技术涉及图像处理
，具体涉及图像预测方法和相关装置。
技术介绍
随着光电采集技术的发展及不断增长的高清数字视频需求，视频数据量越来越大，有限异构的传输带宽、多样化的视频应用不断地对视频编码效率提出了更高的需求，高性能视频编码(英文：highefficientvideocoding，缩写：HEVC)标准的制定工作因需启动。视频编码压缩的基本原理是利用空域、时域和码字之间的相关性，尽可能去除冗余。目前流行做法是采用基于块的混合视频编码框架，通过预测(包括帧内预测和帧间预测)、变换、量化、熵编码等步骤实现视频编码压缩。这种编码框架，显示了很强的生命力，HEVC也仍沿用这种基于块的混合视频编码框架。在各种视频编/解码方案中，运动估计/运动补偿是一种影响编/解码性能的关键技术。其中，在现有的各种各种视频编/解码方案中，假设物体的运动总是满足平动运动，整个物体的各个部分有相同的运动。现有的运动估计/运动补偿算法基本都是建立在平动模型(英文：translationalmotionmodel)的基础上的块运动补偿算法。然而，现实世界中运动有多样性，缩放、旋转和抛物线运动等非规则运动普遍存在。上世纪90年代开始，视频编码专家就意识到了非规则运动的普遍性，希望通过引进非规则运动模型(即非平动运动模型)来提高视频编码效率，但是，现有的基于非平动运动模型进行图像预测的计算复杂度通常非常的高。
技术实现思路
本专利技术实施例提供一种图像预测方法和相关装置，以期降低基于非平动运动模型进行图像预测的计算复杂度。本专利技术第一方面提供一种图像预测方法，包括：确定当前图像块中的K个像素样本的运动矢量预测值，其中，所述K为大于1的整数，所述K个像素样本包括所述当前图像块的第一顶角像素样本，所述第一顶角像素样本的运动矢量预测值基于所述当前图像块的预设的第一空域相邻图像块的运动矢量得到，所述第一空域相邻图像块与所述第一顶角像素样本空域相邻；基于非平动运动模型和所述K个像素样本的运动矢量预测值对所述当前图像块进行像素值预测。结合第一方面，在第一方面的第一种可能的实施方式中，所述K个像素样本包括所述当前图像块的左上像素样本、右上像素样本和左下像素样本中的至少2个像素样本；其中，所述当前图像块的左上像素样本为所述当前图像块的左上顶点或所述当前图像块中的包含所述当前图像块的左上顶点的像素块；所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当前图像块中的包含所述当前图像块的左下顶点的像素块；所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块中的包含所述当前图像块的右上顶点的像素块。结合第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，所述第一空域相邻图像块为图像块X1、图像块X2或图像块X3；其中，所述当前图像块的左上像素样本的运动矢量预测值基于所述图像块X1的运动矢量得到，所述图像块X1为所述当前图像块的空域相邻图像块且所述图像块X1与所述当前图像块的左上像素样本空域相邻；所述当前图像块的右上像素样本的运动矢量预测值基于所述图像块X2的运动矢量得到，所述图像块X2为所述当前图像块的空域相邻图像块且所述图像块X2与所述当前图像块的右上像素样本空域相邻；所述当前图像块的左下像素样本的运动矢量预测值基于所述图像块X3的运动矢量得到，其中，所述图像块X3为所述当前图像块的空域相邻图像块且所述图像块X3与所述当前图像块的左下像素样本空域相邻。结合第一方面的第二种可能的实施方式，在第一方面的第三种可能的实施方式中，所述第一顶角像素样本为所述当前图像块的左上像素样本，所述第一空域相邻图像块为所述图像块X1，其中，所述图像块X1为所述当前图像块的左上的空域相邻图像块。结合第一方面的第三种可能的实施方式，在第一方面的第四种可能的实施方式中，所述图像块X2为所述当前图像块的上边的空域相邻图像块；或者，所述图像块X2的运动矢量绝对值与所述图像块X1的运动矢量绝对值之间的差值的绝对值，大于或等于所述图像块X5的运动矢量绝对值与所述图像块X1的运动矢量绝对值之间的差值的绝对值，所述图像块X5为所述当前图像块的与所述右上顶点空域相邻的除所述图像块X2之剩余的至少部分空域相邻图像块中的任意一个空域相邻图像块。结合第一方面的第三种可能的实施方式或第一方面的第四种可能的实施方式，在第一方面的第五种可能的实施方式中，所述图像块X3为所述当前图像块的左边的空域相邻图像块；或者，所述图像块X3的运动矢量绝对值与所述图像块X1的运动矢量绝对值之间的差值的绝对值，大于或等于所述图像块X6运动矢量绝对值与所述图像块X1的运动矢量绝对值之间的差值的绝对值，所述图像块X6为所述当前图像块的与所述左下顶点空域相邻的除所述图像块X3之外剩余的至少部分空域相邻图像块中的任意一个空域相邻图像块。结合第一方面或第一方面的第一至五种可能的实施方式中的任意一种可能的实施方式，在第一方面的第六种可能的实施方式中，所述基于非平动运动模型和所述K个像素样本的运动矢量预测值对所述当前图像块进行像素值预测，包括：当所述K个像素样本之中的K1个像素样本的运动矢量预测值对应的参考帧不为参考帧Y1时，将所述K1个像素样本的运动矢量预测值缩放到所述参考帧Y1上；利用K2个像素样本的运动矢量预测值和缩放到所述参考帧Y1上的所述K1个像素样本的运动矢量预测值，对所述K个像素样本进行运动估计以得到所述K个像素样本的运动矢量；利用非平动运动模型和所述K个像素样本的运动矢量对所述当前图像块进行像素值预测，其中，所述K2个像素样本为所述K个像素样本中除所述K1个像素样本之外的剩余像素样本，所述K1和所述K2为正整数。结合第一方面的第六种可能的实施方式，在第一方面的第七种可能的实施方式中，像素样本i为所述K个像素样本中除所述第一顶角像素样本之外的任意一个像素样本；其中，若所述像素样本i的运动矢量预测值所对应的预测方向，与所述第一顶角像素样本的运动矢量预测值对应的预测方向不同，所述像素样本i的运动矢量预测值对应的参考帧索引为0。结合第一方面的第七种可能的实施方式，在第一方面的第八种可能的实施方式中，所述参考帧Y1为所述第一顶角像素样本的运动矢量预测值对应的参考帧；其中，将像素样本i的运动矢量预测值缩放到参考帧Y1上，包括：若所述第一顶角像素样本与所述像素样本i的运动矢量预测值对应的参考帧索引不同，将所述像素样本i的运动矢量预测值缩放到参考帧Y1。结合第一方面的第六种可能的实施方式或第一方面的第七种可能的实施方式或第一方面的第八种可能的实施方式，在第一方面的第九种可能的实施方式中，所述利用K2个像素样本的运动矢量预测值和缩放到所述参考帧Y1上的K1个像素样本的运动矢量预测值，对所述K个像素样本进行运动估计以得到所述K个像素样本的运动矢量，包括：利用K2个像素样本的运动矢量预测值和缩放到所述本文档来自技高网...

【技术保护点】
1.一种视频编码过程中的图像预测方法，其特征在于，所述方法包括：/n确定当前图像块中K个像素样本的运动矢量预测值MVP，K为大于1的整数；/n通过运动估计获得所述K个像素样本的运动矢量MV；/n基于所述K个像素样本的运动矢量MV和所述K个像素样本的运动矢量预测值MVP，得到所述K个像素样本的运动矢量差值MVD；/n当所述K个像素样本的MVD不全为零时，将标识flag和所述K个像素样本的运动矢量差值MVD写入码流，所述标识的值为第一值；或者，当所述K个像素样本的运动矢量差值MVD均为零时，在码流中写入标识，所述标识的值为第二值；/n基于非平动运动模型，获取所述当前图像块的每个像素点的预测像素值，其中所述非平动运动模型的参数是基于所述K个像素样本的运动矢量MV而确定的。/n

【技术特征摘要】
1.一种视频编码过程中的图像预测方法，其特征在于，所述方法包括：
确定当前图像块中K个像素样本的运动矢量预测值MVP，K为大于1的整数；
通过运动估计获得所述K个像素样本的运动矢量MV；
基于所述K个像素样本的运动矢量MV和所述K个像素样本的运动矢量预测值MVP，得到所述K个像素样本的运动矢量差值MVD；
当所述K个像素样本的MVD不全为零时，将标识flag和所述K个像素样本的运动矢量差值MVD写入码流，所述标识的值为第一值；或者，当所述K个像素样本的运动矢量差值MVD均为零时，在码流中写入标识，所述标识的值为第二值；
基于非平动运动模型，获取所述当前图像块的每个像素点的预测像素值，其中所述非平动运动模型的参数是基于所述K个像素样本的运动矢量MV而确定的。


2.根据权利要求1所述的方法，其特征在于，
所述K个像素样本包括所述当前图像块中的左上像素样本、右上像素样本或左下像素样本中的至少两个像素样本；
所述当前图像块的左上像素样本为所述当前图像块的左上顶点或所述当前图像块中的包含所述当前图像块的左上顶点的像素块；
所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当前图像块中的包含所述当前图像块的左下顶点的像素块；
所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块中的包含包括所述当前图像块的右上顶点的像素块。


3.根据权利要求1所述的方法，其特征在于，所述基于非平动运动模型获取所述当前图像块的每个像素点的预测像素值，包括：
基于所述非平动运动模型计算所述当前图像块中每个像素点或每个子块的运动矢量；
基于所述计算得到的所述当前图像块中每个像素点或每个子块的运动矢量，对所述当前图像块进行像素值预测。


4.根据权利要求1所述的方法，其特征在于，所述非平动运动模型的参数是基于所述当前图像块的K个像素样本的运动矢量和所述当前图像块的大小而推导出的。


5.根据权利要求4所述的方法，其特征在于，所述当前图像块的宽度和高度表示所述当前图像块的大小，其中所述当前图像块的宽度和高度与所述K个像素样本的坐标相关联。


6.根据权利要求1-5任一项所述的方法，其特征在于，所述非平动运动模型用vx＝a×x+b×y+e和vy＝c×x+d×y+f表示，其中，(x，y)对应当前图像块中各个像素点或子块的坐标，a、b、e、c、d和f是非平动运动模型的参数且是根据K个像素样本的运动矢量和所述当前图像块和所述当前图像块的宽和高推导得到的；所述K个像素样本的运动矢量包括坐标为(0，0)，(S1，0)，(0，S2)的三个顶点的运动矢量(vx0，vy0)，(vx1，vy1)和(vx2，vy2)，其中，S1为当前图像块的宽度，S2为当前图像块的高度，其中(vx，vy)表示基于非平动运动模型计算的相应像素或4x4块的相应运动矢量。


7.根据权利要求3所述的方法，其特征在于，坐标为(x，y)的像素点的运动矢量计算如下：



其中，所述当前图像块的大小为S1×S2，所述K个像素样本的运动矢量包括：坐标为(0，0)，(S1，0)，(0，S2)的三个顶点的运动矢量(vx0，vy0)，(vx1，vy1)和(vx2，vy2)的运动矢量。


8.根据权利要求1-5任一项所述的方法，其特征在于，所述标识用于指示：
所述K个像素样本中的像素样本的MVD是否写入所述码流；或者，
当前图像块中K个像素样本的MVD是否全为0。


9.根据权利要求1-5任一项所述的方法，其特征在于，所述标识的第一值为假false，所述第二值为真true。


10.根据权利要求1-5任一项所述的方法，其特征在于，所述获取所述K个像素样本的MVD，包括：
将所述K个像素样本的运动矢量与对应的MVP相减，以得到所述K个像素样本的运动矢量差值MVD。


11.根据权利要求1-5任一项所述的方法，其特征在于，所述非平动运动模型为仿射变换模型、抛物线运动模型、旋转运动模型、透视运动模型、剪切运动模型，或者缩放运动模型。


12.一种编码装置，其特征在于，包括：
存储器，其上存储有处理器可执行指令；以及
处理器，耦合到所述存储器，用于执行所述处理器可执行指令，以便于：
确定当前图像块中K个像素样本的运动矢量预测值MVP，K为大于1的整数；
通过运动估计获得所述K个像素样本的运动矢量；
基于所述K个像素样本的运动矢量和所述K个像素样本的运动矢量预测值的MVP，得到所述K个像素样本的运动矢量差值MVD；
当所述K个像素样本的MVD不全为零时，将所述K个像素样本的MVD和标识flag写入码流，所述标识的值为第一值；或者，当所述K个像素样本的MVD均为零时，在码流中写入标识，所述标识的值为第二值；
基于非平动运动模型，获取所述当前图像块的每个像素点的预测像素值，其中所述非平动运动模型的参数是基于所述K个像素样本的运动矢量而确定的。


13.根据权利要求12所述的装置，其特征在于，
所述K个像素样本包括所述当前图像块中的左上像素样本、右上像素样本或左下像素样本中的至少两个像素样本；
所述当前图像块的左上像素样本为所述当前图像块的左上顶点或所述当前图像块的包含所述当前图像块的左上顶点的像素块；
所述当前图像块的左下像素样本为所述当前图像块的左下顶点或所述当前图像块的包含所述当前图像块的左下顶点的像素块；
所述当前图像块的右上像素样本为所述当前图像块的右上顶点或所述当前图像块的包含所述当前图像块的右上顶点的像素块。


14.根据权利要求12所述的装置，其特征在于，所述基于非平动运动模型获取所述当前图像块的每个像素点的预测像素值，包括：
基于所述非平动运动模型计算所述当前图像块中每个像素点或每个子块的运动矢量；
基于所述计算得到的所述当前图像块中每个像素点或每个子块的运动矢量，对所述当前图像块进行像素值预测。


15.根据权利要求12所述的装置，其特征在于，所述非平动运动模型的参数是基于所述当前图像块的K个像素样本的运动矢量和所述当前图像块的大小而推导出的。


16.根据权利要求15所述的装置，其特征在于，所述当前图像块的宽和高表示所述当前图像块的大小，所述当前图像块的宽度和高度与所述K个像素样本的坐标相关联。


17.根据权利要求12-16任一项所述的装置，其特征在于，
所述非平动运动模型用vx＝a×x+b×y+e和vy＝c×x+d×y+f表示，其中，(x，y)对应当前图像块中各个像素点或子块的坐标，a、b、e、c、d和f是非平动运动模型的参数且是根据K个像素样本的运动矢量和所述当前图像块和所述当前图像块的宽和高推导得到的；所述K个像素样本的运动矢量包括坐标为(0，0)，(S1，0)，(0，S2)的三个顶点的运动矢量(vx0，vy0)，(vx1，vy1)和(vx2，vy2)，其中，S1为当前图像块的宽度，S2为当前图像块的高度，其中(vx，vy)表示基于非平动运动模型计算的相应像素或4x4块的相应运动矢量。


18.根据权利要求14所述的装置，其特征在于，坐标为(x，y)的像素点的运动矢量计算如下：
其中，所述当前图像块的大小为S1×S2，所述K个像素样本的运动矢量包括：
坐标为(0，0)，(S1，0)，(0，S2)的三个顶点的运动矢量(vx0，vy0)，(vx1，vy1)和(vx2，vy2)的运动矢量。


19.根据权利要求12-16任一项所述的装置，其特征在于，所述标识用于指示：
所述K个像素样本中的像素样本的MVD是否写入所述码流；或者，
当前图像块中K个像素样本的MVD是否全为0。


20.根据权利要求12-16任一项所述的装置，其特征在于，所述标识的第一值为假false，所述第二值为真true。


21.根据权利要求12至16中任一项所述的装置，其特征在于，所述获取所述K个像素样本的MVD，包括：
将所述K个像素样本的运动矢量与对应的MVP相减，以得到所述K个像素样本的MVD。


22.根据权利要求12至16中任一项所述的装置，其特征在于，所述非平动运动模型为仿射变换模型、抛物线运动模型、旋转运动模型、透视运动模型、剪切运动模型或缩放运动模型。

【专利技术属性】
技术研发人员：李礼，李厚强，吕卓逸，林四新，
申请(专利权)人：华为技术有限公司，中国科学技术大学，
类型：发明
国别省市：广东;44