运动矢量处理制造技术

实施例涉及针对来自多个摄像机视图(10，20)的多视图视频内容的运动矢量预测和解码。针对要编码的当前运动矢量(34)，提供至少一个候选运动矢量预测值(44，54)。然后，根据至少一个候选运动矢量预测值(44，54)来确定运动矢量预测值(44)。相应地，在解码期间，基于针对当前像素块(30)确定的运动矢量预测值(44)，针对当前像素块(30)确定运动矢量(34)。

【技术实现步骤摘要】
【国外来华专利技术】运动矢量处理
本实施例一般涉及运动矢量的处理，并且尤其涉及这种运动矢量的预测和解码。
技术介绍
H.264，也称运动图像专家组-4(MPEG-4)高级视频编码(AVC)，是现有视频编码标准。它是一种混合编解码器，利用消除帧间和一帧内的冗余，并使用若干提供良好的压缩效率的压缩技术。编码过程的输出是视频编码层(VCL)数据，该数据进一步封装成网络抽像层(NAL)单元，然后进行传输或存储。H.264是基于块的，也就是以宏块(MB)为单位处理视频帧，MB是16×16像素块，可被进一步划分为子宏块(sMB)。为了最小化要编码的数据量，对每个非帧内像素块执行称为运动补偿(MC)的技术，MC在相邻帧中使用先前重构的像素值来尽力而为地预测当前像素块的像素值。为了得到当前像素块的预测，在比特流中信号通知参考帧中与当前像素块相似的区域。最终重建可以通过将预测像素值与残差像素值加在一起来进行。为了找到参考帧中的当前像素块的最佳匹配，通常在编码器侧进行运动搜索。它试图找到当前像素块和可能的参考像素块之间的最小平方差之和(SSD)或绝对差和(SAD)。运动搜索的结果是信号通知其参考哪个参考帧的参考索引以及指向参考区域的偏移矢量，称为运动矢量(MV)。MV是视频比特流中的重要和开销成分。对于以高量化参数(QP)编码的视频，它可能占用超过50％的比特率。运动矢量编码MV不直接编码成比特流，因为可以利用MV之间的冗余。相邻MV往往具有较高的相关性，具有类似长度和方向的MV往往集群在一起。这些集群的MV可以对应于局部运动(其中对象移动)或全局运动(其中存在摇拍)。对于要编码的每个MV，首先做MV预测，以减少数据量，使得只有MV和MV预测值(predictor)之间的差值被编码。在H.264中，通过取来自左边、上方和右上方的像素块的MV的中值，来产生中值预测值。该处理针对水平和垂直MV分量分别进行。多视图视频编码(MVC)尽管“传统”的视频服务在单一表示中提供视频(也就是固定摄像机位置)，然而多视图视频表示最近获得重要性。多视图表示表示来自不同摄像机视图或视图的内容，一种特殊情况是“立体视频”的情况，其中场景是从具有与人眼相同或相似的距离的两个摄像机捕捉的。使用合适的显示技术来呈现“立体”内容给观众，可以提供给观众深度感。MVC是一种可用于压缩多视图视频表示的视频编码标准。通过消除不同层之间的冗余信息来实现高压缩效率。MVC基于AVC标准，因此MVC共享大部分AVC结构。MVC参考画面列表MVC和AVC之间的主要区别在于参考画面列表处理过程。参考画面列表是可用于预测的画面的集合。它们通常以基于其与当前帧的接近程度的顺序来进行排序。在AVC中，列表中的所有参考画面均来自相同的视图。在MVC中，除了来自同一个视图的参考画面，也有来自其他视图的参考画面。因此，MVC参考画面列表构造过程的第一步骤与AVC中完全相同，不同之处在于然后附加视图间参考画面。由于复杂性的考虑，MVC中只允许将同一个时刻来自其他视图的帧添加到列表。高效视频编码(HEVC)HEVC是下一代视频编码标准，目前正在标准化过程中。HEVC旨在相比于AVC在实质上改进编码，尤其是针对高分辨率视频序列。HEVC发展的最初焦点是单视频，即单一视图。运动矢量竞争H.264中的中值MV预测值在许多情况下不那么有效率。VCEG贡献[1]描述了称为运动矢量竞争的新技术。这种技术的关键概念是从常常与当前MV高度相关的相邻像素块中取MV，以形成候选MV的列表，其中相邻像素块可以是空间邻居，即同一帧，或时间邻居，即不同帧。这些候选MV根据其与其各自参考帧的时间距离被缩放。基于率失真(RD)准则，只有一个候选MV从列表中被选择为预测值，在比特流发送对列表的对应索引条目。与中值MV预测值相比，一般运动矢量竞争提高了视频编码性能，因此建议用于HEVC。在运动矢量竞争中，所选择的候选MV通常需要在被放入候选列表之前进行缩放，因为它不一定具有与MV预测所针对的当前像素块的参考距离相同的参考距离。术语“参考距离”指的是具有MV的帧与MV所指向的帧之间的画面顺序计数(POC)的差异。在图1中，有标记为POC0-6的7个帧，POC0-6是视频序列的显示顺序。在该示例中，POC等于0，1，3，4，5，6的帧是已编码帧。具有POC＝2的帧是要被编码的当前帧，帧2的中间的像素块是当前像素块，其上方的像素块已被编码。当前像素块是测试帧间预测模式，使用来自帧0的参考区域作为参考。3个候选MV预测值示于该图中，它们是来自当前帧中的空间相邻像素块的MBB，以及分别来自当前帧之前和之后的时间相关块的MVA和C。在这些候选MV预测值被采纳进入候选列表前，缩放因子被用在这些候选MV预测值。缩放因子公式为：在图1中，CurrDistance＝2-0＝2。针对A，B和C，RfDistance分别等于1-0＝1，2-0＝2以及3-6＝-3。因此，针对MVA，B和C的缩放因子分别是2/1＝2，2/2＝1和-2/3。每个候选MV预测值根据计算出的缩放因子来放大或缩小。这些缩放的MV预测值显示在图1的底部。以上所述及建议用于HEVC的运动矢量竞争对于单视频工作良好。然而，将运动矢量竞争应用于HEVC或实际上MVC中的多视图序列时，问题可能发生。例如，在将运动矢量竞争应用于多视图视频序列时，运动矢量可指向具有相同的POC但在另一视图中的帧，或候选MV预测值可以指向另一个视图中具有相同的POC的帧。在这些情况下，上面给出缩放公式的分子和分母各自是零。这将分别导致零缩放因子或不确定的缩放因子。此外，在具有不仅使用在空间和时间上相邻的候选MV预测值，还使用来自其他视图的MV的可能性时选择候选MV预测值时，次优压缩性能可能发生。因此，需要对适合用于与多视图视频结合使用的运动矢量的高效处理。
技术实现思路
目的是提供针对多视图视频的运动矢量的高效处理。实施例的一个方面定义了一种用于来自多个摄像机视图的视频内容的多视图视频编码的运动矢量预测的方法。所述方法包括：针对运动矢量，从多个预定义运动矢量类型中确定运动矢量类型。所述运动矢量是针对当前摄像机视图的当前帧中的当前像素块来估计的。运动矢量标识参考帧中的参考像素区域。运动矢量类型是基于以下至少一项来确定的：i)当前摄像机视图和参考帧的摄像机视图，以及ii)当前帧的时间点和参考帧的时间点。标识所确定的运动矢量类型的至少一个候选运动矢量预测值和基于所述至少一个候选运动矢量预测值，确定针对运动矢量的运动矢量预测值。实施例的这一方面还定义了一种用于来自多个摄像机视图的视频内容的多视图视频编码的运动矢量预测的设备。所述设备包括：类型确定器，被配置为：针对运动矢量，从多个预定义运动矢量类型中确定运动矢量类型，所述运动矢量是针对当前摄像机视图的当前帧中的当前像素块来估计的。所估计的运动矢量标识参考帧中的参考像素区域。类型确定器被配置为基于以下至少一项来确定运动矢量类型：i)当前摄像机视图和参考帧的摄像机视图，以及ii)当前帧的时间点和参考帧的时间点。所述设备还包括：预测值标识器，被配置为标识类型确定器所确定的运动矢量类型的至少一个候选运动矢量预测值。所述设备的预测值确定器被配置为：基于预测值标识器所标识的所述至少本文档来自技高网...

【技术保护点】
一种用于来自多个摄像机视图(10，20)的视频内容的多视图视频编码的运动矢量预测的方法，所述方法包括：针对当前像素块(30)，估计(S1)所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的运动矢量(34)，所述运动矢量(34)标识所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)的参考帧(22)中的参考像素区域(32)，所述当前帧(24)具有当前画面顺序计数CurrPOC，所述参考帧(22)具有参考画面顺序计数CurrRfPOC；从多个预定义运动矢量类型中确定(S2)针对所述运动矢量(34)的运动矢量类型，其中，所述运动矢量类型是基于以下至少一项来确定的：i)所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)和所述参考帧(22)的摄像机视图(20)，以及ii)所述当前帧(24)的时间点和所述参考帧(22)的时间点；标识(S3)所确定的运动矢量类型的至少一个候选运动矢量预测值(44，54，64)，其中所述至少一个候选运动矢量预测值(44，54，64)与具有第一画面顺序计数RfPOC的第一帧(24，14，16)中的像素块(40，50，60)相关联，并标识具有第一参考画面顺序计数RfRfPOC的第一参考帧(22，26)中的像素区域(42，52，62)；以及基于所述至少一个候选运动矢量预测值(44，54，64)，确定(S4)针对所述运动矢量(34)的运动矢量预测值，其中，所述方法还包括：针对所述至少一个候选运动矢量预测值(44，54，64)，如果i)所述当前画面顺序计数等于所述参考画面顺序计数或ii)所述第一画面顺序计数等于所述第一参考画面顺序计数，则确定(S11)缩放因子为等于固定的预定义值，否则将所述缩放因子确定(S12)为基于...

【技术特征摘要】
【国外来华专利技术】2011.08.19 US 61/525,2761.一种用于来自多个摄像机视图(10，20)的视频内容的多视图视频编码的运动矢量预测的方法，所述方法包括：针对当前像素块(30)，估计(S1)所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的运动矢量(34)，所述运动矢量(34)标识所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)的参考帧(22)中的参考像素区域(32)，所述当前帧(24)具有当前画面顺序计数CurrPOC，所述参考帧(22)具有参考画面顺序计数CurrRfPOC；从多个预定义运动矢量类型中确定(S2)针对所述运动矢量(34)的运动矢量类型，其中，所述运动矢量类型是基于以下至少一项来确定的：i)所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)和所述参考帧(22)的摄像机视图(20)，以及ii)所述当前帧(24)的时间点和所述参考帧(22)的时间点；标识(S3)所确定的运动矢量类型的至少一个候选运动矢量预测值(44，54，64)，其中所述至少一个候选运动矢量预测值(44，54，64)与具有第一画面顺序计数RfPOC的第一帧(24，14，16)中的像素块(40，50，60)相关联，并标识具有第一参考画面顺序计数RfRfPOC的第一参考帧(22，26)中的像素区域(42，52，62)；以及基于所述至少一个候选运动矢量预测值(44，54，64)，确定(S4)针对所述运动矢量(34)的运动矢量预测值，其中，所述方法还包括：针对所述至少一个候选运动矢量预测值(44，54，64)，如果i)所述当前画面顺序计数等于所述参考画面顺序计数或ii)所述第一画面顺序计数等于所述第一参考画面顺序计数，则确定(S11)缩放因子为等于固定的预定义值，否则将所述缩放因子确定(S12)为基于以及针对所述至少一个候选运动矢量预测值(44，54，64)，基于所述候选运动矢量预测值(44，54，64)乘以所述缩放因子来确定(S13)缩放的候选运动矢量预测值，其中，确定(S4)所述运动矢量预测值包括：基于所述至少一个缩放的候选运动矢量预测值，确定(S4)针对所述运动矢量(34)的所述运动矢量预测值。2.根据权利要求1所述的方法，其中确定(S2)所述运动矢量类型包括：如果所述当前帧(24)的所述时间点不同于所述参考帧(22)的所述时间点，则将所述运动矢量类型确定为时间运动矢量类型；以及标识(S3)所述至少一个候选运动矢量预测值(44，54，64)包括：标识与第一帧(24，14)中的像素块(40，50)相关联并标识具有与所述第一帧(24)的时间点不同的时间点但属于所述多个摄像机视图(10，20)中与所述第一帧(24)相同的摄像机视图(20)的第一参考帧(22)中的像素区域(42)的至少一个候选运动矢量预测值(44，54)。3.根据权利要求1所述的方法，其中确定(S2)所述运动矢量类型包括：如果所述当前摄像机视图(20)不同于所述参考帧(22)的所述摄像机视图(20)，则将所述运动矢量类型确定为视图间运动矢量类型；以及标识(S3)所述至少一个候选运动矢量预测值(44，54，64)包括：标识与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)中的第一帧(14，26)中的像素块(50，60)相关联并标识具有与所述第一帧(26)的时间点相等的时间点但属于所述多个摄像机视图(10，20)中与所述第一摄像机视图(20)不同的摄像机视图(10)的第一参考帧(16)中的像素区域(62)的至少一个候选运动矢量预测值(54，64)。4.根据权利要求1至3中任一项所述的方法，其中，标识(S3)所述至少一个候选运动矢量预测值(44，54，64)包括：从基于所述当前像素块(30)在所述当前帧(24)中的位置、所述当前帧(24)的时间点和所述当前摄像机视图(20)而确定的多个候选运动矢量预测值(44，54，64)的集合中标识所述至少一个候选运动矢量预测值(44，54，64)。5.根据权利要求1至3中任一项所述的方法，还包括：基于所述运动矢量(34)和所述运动矢量预测值来计算残差运动矢量。6.根据权利要求1所述的方法，其中，估计(S1)所述运动矢量(34)包括：针对所述当前像素块(30)，估计(S1)标识所述多个摄像机视图(10，20)中的参考摄像机视图的所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)，所述当前摄像机视图(20)不同于所述参考摄像机视图(20)，所述至少一个候选运动矢量预测值(54，64)与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)的第一帧(14，16)中的像素块(50，60)相关联，并标识所述多个摄像机视图(10，20)中的第一参考摄像机视图(20，10)的第一参考帧(26)中的像素区域(52，62)，所述方法还包括：针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离以及所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离，确定(S20)缩放因子；以及针对所述至少一个候选运动矢量预测值(54，64)，基于所述候选运动矢量预测值(54，64)乘以所述缩放因子来确定(S21)缩放的候选运动矢量预测值，其中，确定(S4)所述运动矢量预测值包括：基于所述至少一个缩放的候选运动矢量预测值，确定(S4)针对所述运动矢量(34)的所述运动矢量预测值。7.根据权利要求6所述的方法，其中，确定(S20)所述缩放因子包括：针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离与所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离之间的商，确定所述缩放因子。8.一种存储计算机程序的计算机可读介质，当所述计算机程序在计算机(70)上运行时，使所述计算机(70)执行根据权利要求1至7中任一项所述的方法。9.一种用于来自多个摄像机视图(10，20)的视频内容的多视图视频编码的运动矢量预测的设备(100)，所述设备(100)包括：类型确定器(120)，被配置为从多个预定义运动矢量类型中确定针对运动矢量(34)的运动矢量类型，所述运动矢量(34)是针对所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的当前像素块(30)来估计的，所述运动矢量(34)标识参考帧(22)中的参考像素区域(32)，其中，所述类型确定器(120)被配置为基于以下至少一项来确定所述运动矢量类型：i)所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)和所述参考帧(22)的摄像机视图(20)，以及ii)所述当前帧(24)的时间点和所述参考帧(22)的时间点；预测值标识器(130)，被配置为标识所述类型确定器(120)所确定的运动矢量类型的至少一个候选运动矢量预测值(44，54，64)；以及预测值确定器(140)，被配置为基于所述预测值标识器(130)所标识的所述至少一个候选运动矢量预测值(44，54，64)，确定针对所述运动矢量(34)的运动矢量预测值，其中，所述设备还包括：运动矢量MV估计器(110)，被配置为针对所述当前像素块(30)，估计标识所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)，其中，所述MV估计器被配置为：针对所述当前像素块(30)，估计标识所述多个摄像机视图(10，20)中的参考摄像机视图(20)的所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)，所述当前帧(24)具有当前画面顺序计数CurrPOC，所述参考帧(22)具有参考画面顺序计数CurrRfPOC，所述至少一个候选运动矢量预测值(44，54，64)与具有第一画面顺序计数RfPOC的第一帧(24，14，16)中的像素块(40，50，60)相关联，并标识具有第一参考画面顺序计数RfRfPOC的第一参考帧(22，26)中的像素区域(42，52，62)，所述设备(100)还包括：缩放因子确定器(180)，被配置为针对所述至少一个候选运动矢量预测值(44，54，64)，如果i)所述当前画面顺序计数等于所述参考画面顺序计数或ii)所述第一画面顺序计数等于所述第一参考画面顺序计数，则确定缩放因子为等于固定的预定义值，否则将所述缩放因子确定为基于以及缩放预测值确定器(190)，被配置为针对所述至少一个候选运动矢量预测值(44，54，64)，基于所述候选运动矢量预测值(44，54，64)乘以所述缩放因子来确定(S13)缩放的候选运动矢量预测值，其中，所述预测值确定器(140)被配置为：基于所述至少一个缩放的候选运动矢量预测值，确定针对所述运动矢量(34)的所述运动矢量预测值。10.根据权利要求9所述的设备，其中所述类型确定器(120)被配置为：如果所述当前帧(24)的所述时间点不同于所述参考帧(22)的所述时间点，则将所述运动矢量类型确定为时间运动矢量类型；以及所述预测值标识器(130)被配置为：标识与第一帧(24，14)中的像素块(40，50)相关联并标识具有与所述第一帧(24)的时间点不同的时间点但属于所述多个摄像机视图(10，20)中与所述第一帧(24)相同的摄像机视图(20)的第一参考帧(22)中的像素区域(42)的至少一个候选运动矢量预测值(44，54)。11.根据权利要求9所述的设备，其中所述类型确定器(120)被配置为：如果所述当前摄像机视图(20)不同于所述参考帧(22)的所述摄像机视图(20)，则将所述运动矢量类型确定为视图间运动矢量类型；以及所述预测值标识器(130)被配置为：标识与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)中的第一帧(14，26)中的像素块(50，60)相关联并标识具有与所述第一帧(26)的时间点相等的时间点但属于所述多个摄像机视图(10，20)中与所述第一摄像机视图(20)不同的摄像机视图(10)的第一参考帧(16)中的像素区域(62)的至少一个候选运动矢量预测值(44，54)。12.根据权利要求9至11中任一项所述的设备，其中，所述预测值标识器(130)被配置为：从基于所述当前像素块(30)在所述当前帧(24)中的位置、所述当前帧(24)的时间点和所述当前摄像机视图(20)而确定的多个候选运动矢量预测值(44，54，64)的集合中标识所述至少一个候选运动矢量预测值(44，54，64)。13.根据权利要求9至11中任一项所述的设备，还包括：矢量计算器(170)，被配置为基于所述运动矢量(34)和所述运动矢量预测值来计算残差运动矢量。14.根据权利要求9所述的设备，其中，所述MV估计器(110)被配置为：针对所述当前像素块(30)，估计标识所述多个摄像机视图(10，20)中的参考摄像机视图(20)的所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)，所述当前摄像机视图(20)不同于所述参考摄像机视图(20)，所述至少一个候选运动矢量预测值(54，64)与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)的第一帧(14，16)中的像素块(50，60)相关联，并标识所述多个摄像机视图(10，20)中的第一参考摄像机视图(20，10)的第一参考帧(26)中的像素区域(52，62)，所述设备(100)还包括：缩放因子确定器(180)，被配置为针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离以及所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离，确定缩放因子；以及缩放预测值确定器(190)，被配置为针对所述至少一个候选运动矢量预测值(54，64)，基于所述候选运动矢量预测值(54，64)乘以所述缩放因子来确定(S21)缩放的候选运动矢量预测值，其中，所述预测值确定器(140)被配置为：基于所述至少一个缩放的候选运动矢量预测值，确定针对所述运动矢量(34)的所述运动矢量预测值。15.根据权利要求14所述的设备，其中，所述缩放因子确定器(180)被配置为：针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离与所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离之间的商，确定所述缩放因子。16.一种针对来自多个摄像机视图(10，20)的编码的多视图视频的运动矢量解码的方法，所述方法包括：针对所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的当前像素块(30)，提供(S40)参考帧索引，所述参考帧索引标识参考帧(22)；基于以下至少一项，从多个预定义运动矢量类型中确定(S41)针对所述当前像素块(30)的运动矢量类型：i)所述多个摄...

【专利技术属性】
技术研发人员：巫壮飞，托马斯·卢瑟，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典,SE