基于经全局运动补偿的运动矢量预测值的视频编码制造技术

描述了一种确定比特流的方法，该方法包括：确定包括由相机捕获的视频数据的视频帧序列中的当前视频帧的当前块的运动矢量（MV），该MV定义该当前块相对于预测块的偏移，其中，该偏移的一部分是在该相机相对于场景移动时由该视频数据中的全局运动引起的；确定用于预测MV的运动矢量预测值MVP候选，这些MVP候选是基于已编码块的MV来确定的；确定用于MVP候选的运动补偿矢量MCV，基于MVP候选与相关联的MCV之差来确定经全局运动补偿的MVP候选；选择经补偿的MVP；以及，基于该经补偿的MVP和该MVP确定运动矢量差MVD；以及，使用熵编码将该MVD、所选择的经补偿的MVP的指示、以及用于将MVP转换为经补偿的MVP的转换信息编码到比特流中。

【技术实现步骤摘要】
【国外来华专利技术】基于经全局运动补偿的运动矢量预测值的视频编码
本专利技术涉及基于经全局运动补偿的运动矢量预测值的视频编码，并且具体地但非排他地涉及基于经全局运动补偿的运动矢量预测值的视频编码的方法和系统、使用这种方法的视频解码器装置和视频编码器装置、以及用于执行这种方法的计算机程序产品。
技术介绍
最先进的视频编码标准使用基于混合块的视频编码方案，其中，将视频帧分割为视频块，随后使用基于预测块的压缩技术对视频块进行编码。在此，视频块（或简称为块）是指视频标准的基本处理单元，例如，HEVC中定义的编码树单元（CTU）、AVC中定义的宏块、以及VP9和AVC1中定义的超级块。在诸如HEVC等某些视频编码标准中，可以将块分割成较小的子块，例如，编码单元（CU）和预测单元（PU）。可以使用不同的预测模式来对每个块或子块进行编码。例如，可以基于同一帧内的预测数据使用不同的帧内预测模式对块进行编码，以便利用视频帧内的空间冗余。另外，可以基于来自另一帧的预测数据使用帧间预测模式来对块进行编码，使得可以利用视频帧序列上的时间冗余。帧间预测使用运动估计技术来确定运动矢量（MV），其中，运动矢量标识已编码的参考视频帧（过去或将来的视频帧）中适合于预测需要编码的视频帧中的块，其中，需要编码的块及其相关联的MV通常分别称为当前块和当前MV。预测块与当前块之差可以定义残差块，该残差块可以与诸如MV等元数据一起被编码，并被传输到视频播放设备，该视频播放设备包括用于使用元数据对编码信息进行解码的视频解码器。进而，可以通过利用已编码块的运动矢量与当前块的运动矢量之间的相关性来压缩MV。视频图像中的平移移动的对象通常包含在方向和长度上具有相似运动矢量的多个块。视频编码标准通常利用这种相关性。例如，诸如由HEVC使用的所谓的高级运动矢量预测（AMVP）算法或由AV1使用的动态参考运动矢量预测（REFMV）等运动矢量压缩方案旨在通过使用已经计算出的运动矢量作为用于预测当前MV的参考来将有关运动矢量的信息压缩在比特流中。这样的运动矢量可以被称为运动矢量预测值（MVP）。在该方案中，可以通过以下方式来生成当前块的MV的MVP：确定当前视频帧的已编码块的候选MV或经编码参考视频帧的同一位置的块的候选MV，并基于诸如众所周知的率失真优化（RDO）方案等优化方案来选择一个候选MV作为当前块的最佳预测值，即MVP。MVP与MV之差以及有关所选运动矢量预测值的信息被熵编码到比特流中。解码器使用所选MVP与MV的差的信息来重建需要解码的当前块的运动矢量。视频标准的运动矢量压缩方案均基于以下事实：由于连续帧的块中像素的空间相关性，靠近当前块的块（例如，同一视频帧中的相邻块或参考帧中的同一位置的块）通常将具有相同或相似的运动矢量值。与大多数编码标准所使用的帧间预测算法相关联的问题是，这些算法假设运动与视频中对象的平移移动有关。图像中物体的这种移动有时称为局部运动。然而，由运动估计技术确定的运动矢量提供了对视频帧的视频块中的所有运动的估计，即，与移动对象相关联的局部运动以及与移动相机引起的移动背景相关联的全局运动。常规的帧间预测方案针对局部运动进行了优化，但并未设计用于处理全局运动的影响。已知可以同时处理局部运动和全局运动的视频编码方案。例如，MPEG-4标准的高级简单类（ASP）包括一种帧间预测方案，该方案包括针对视频帧中各个块的局部运动估计（LME）和全局运动估计（GME）。编码器可以为每个块选择最佳预测，即，基于LME模式的预测或基于GME模式的预测。如果为视频帧中的一个或多个块选择了GME模式，则对视频帧的一组全局运动参数进行编码并在比特流中将其发送至解码器装置。确定为其选择了LME模式的块的运动矢量。由于编码器侧和解码器侧增加了复杂性和计算负荷，所提出的高级简单类方案不太适合硬件实施方式。此外，在以常规方式产生的（2D）视频中，由于相机运动（例如，变焦或摇摄）引起的全局运动影响相对较短且不易预测，因此GME过程能够实现的增益相对较少。目前，越来越多的专业和消费级相机能够产生360度视频内容。这种视频内容（也称为全向内容）可以被认为是布置在球面上的像素（有时也被称为像素球体或像素的球体），在下文简称为术语球面内容。相比于常规视频，球面内容的递送通常需要更高的带宽。球面内容表示比常规视频（其可以基于直线或曲线投影）更宽的视场，并且因此比常规（2D）视频包含更多的信息。此外，为了提供“沉浸式”的视频体验，球面视频内容通常包含相对较长的场景，这些场景是使用平移移动的相机捕获的（例如，安装在无人机、汽车、自行车上的相机或由在特定方向上以特定速度移动的摄影师携带的相机）。球面视频的典型视频处理流水线可以包括：使用全景或360度图像捕获系统捕获全景图像，在图像拼接操作中将图像拼接在一起以形成球面视频数据，然后使用合适的投影模型将球面视频数据投影到视频帧的2D矩形表面上。所产生的视频帧可以被称为投影视频帧。可以使用不同的投影模型（如等距柱状投影（ERP）、立方体或棱锥体投影模型）来生成投影视频帧，可以使用现有的视频编码标准（如H.264/AVC、H.265/HEVC、VP9和AV1）对这些投影视频帧进行编码。经编码的球面视频数据可以被存储在存储介质上或者被提供给（例如，传输到）媒体回放设备。解码器装置可以对经编码的视频帧进行解码，并且渲染引擎可以在合适的显示设备（例如，头戴式设备（HMD）等）上渲染球面内容。在球面视频中，全局运动的影响尤为明显，其中，视频帧中的视频数据是3D世界场景在物理移动的360相机的成像平面上的投影结果。在这种情况下，由于相机移动引起的投影视频帧中的全局运动场不能通过已知的帧间预测方案高效地处理，从而大大降低了编码效率。在Vishwanath等人的文章“Rotationalmotionmodelfortemporalpredictionin360videocoding[用于360视频编码中的时间预测的旋转运动模型]”中解释了将360视频投影到相机的2D成像平面上会产生视频帧中的非线性运动，这种非线性运动需要通过最先进的视频编码系统进行处理。非线性运动降低了压缩效率，并且作者提出通过使用球面模型来解决该问题，其中，视频图像中的运动被描述为像素球体上的角运动。该模型用于HEVC编码器的运动估计过程中。尽管以球坐标来描述360视频中的运动可以导致更准确地确定视频帧中视频块的运动矢量，但是它不能解决由于相机运动引起的视频帧中的全局运动场的问题以及压缩包括全局运动的运动矢量的困难。最先进的帧间预测方案不能高效地处理包括投影在2D视频帧上的全局运动分量的运动矢量，因为在这种情况下运动矢量的相关性违反了先前描述的假设，即，违反了运动矢量方向和幅度的强空间相关性，这可能导致严重的压缩效率低下。因此，从上面可以得出，在本领域中需要一种用于对包括由运动、特别是相机运动引起的全局运动场的视频数据进行编码的改进的方法和系统。
技术实现思路
如本领域技术人员将认识到的，本专利技术的各方面可以实施为系统、方法或计算机程序产品。因此，本专利技术的各方面可以采取完全本文档来自技高网...

【技术保护点】
1.一种提供包括由编码器装置编码的视频数据的比特流的方法，该方法包括：/n该编码器装置的处理器确定包括由视频捕获设备捕获的视频数据的视频帧序列中的当前视频帧的当前块的运动矢量，该运动矢量定义当前块相对于存储在该编码器装置的存储器中的已编码的第一参考视频帧的预测块的偏移，其中，由该运动矢量定义的偏移的至少一部分与该视频捕获设备正在相对于场景移动时该视频数据中的全局运动相关联；该当前块与该预测块之差定义了残差块；/n该处理器确定用于预测该运动矢量的运动矢量预测值候选，该运动矢量预测值候选是由该处理器基于该当前视频帧的一个或多个已编码块的一个或多个运动矢量确定的，和/或基于存储在该编码器装置的存储器中的一个或多个参考视频帧、优选地该第一参考视频帧的一个或多个已编码块的一个或多个运动矢量确定的；/n该处理器确定或接收用于每个运动矢量预测值候选的运动补偿矢量，该运动补偿矢量提供对运动矢量预测值候选中与全局运动相关联的部分的估计；/n该处理器确定经全局运动补偿的运动矢量预测值候选，每个经补偿的运动矢量预测值候选是基于运动矢量预测值候选与相关联的运动补偿矢量之差来确定的；从这些经全局运动补偿的运动矢量预测值候选中选择经补偿的运动矢量预测值；以及，基于该经补偿的运动矢量预测值和该运动矢量来确定运动矢量差；/n该处理器使用熵编码算法将以下信息编码到比特流中：该残差块；该运动矢量差；该运动矢量差基于该运动矢量与经补偿的运动矢量预测值之差的指示、优选地二进制标志；所选择的经补偿的运动矢量预测值的指示；以及用于将运动矢量预测值转换为经补偿的运动矢量预测值的转换信息。/n...

【技术特征摘要】
【国外来华专利技术】20180914 EP 18194480.21.一种提供包括由编码器装置编码的视频数据的比特流的方法，该方法包括：
该编码器装置的处理器确定包括由视频捕获设备捕获的视频数据的视频帧序列中的当前视频帧的当前块的运动矢量，该运动矢量定义当前块相对于存储在该编码器装置的存储器中的已编码的第一参考视频帧的预测块的偏移，其中，由该运动矢量定义的偏移的至少一部分与该视频捕获设备正在相对于场景移动时该视频数据中的全局运动相关联；该当前块与该预测块之差定义了残差块；
该处理器确定用于预测该运动矢量的运动矢量预测值候选，该运动矢量预测值候选是由该处理器基于该当前视频帧的一个或多个已编码块的一个或多个运动矢量确定的，和/或基于存储在该编码器装置的存储器中的一个或多个参考视频帧、优选地该第一参考视频帧的一个或多个已编码块的一个或多个运动矢量确定的；
该处理器确定或接收用于每个运动矢量预测值候选的运动补偿矢量，该运动补偿矢量提供对运动矢量预测值候选中与全局运动相关联的部分的估计；
该处理器确定经全局运动补偿的运动矢量预测值候选，每个经补偿的运动矢量预测值候选是基于运动矢量预测值候选与相关联的运动补偿矢量之差来确定的；从这些经全局运动补偿的运动矢量预测值候选中选择经补偿的运动矢量预测值；以及，基于该经补偿的运动矢量预测值和该运动矢量来确定运动矢量差；
该处理器使用熵编码算法将以下信息编码到比特流中：该残差块；该运动矢量差；该运动矢量差基于该运动矢量与经补偿的运动矢量预测值之差的指示、优选地二进制标志；所选择的经补偿的运动矢量预测值的指示；以及用于将运动矢量预测值转换为经补偿的运动矢量预测值的转换信息。


2.根据权利要求1所述的方法，其中，该候选列表是索引列表，并且其中，由该编码器装置选择的经补偿的运动矢量预测值的指示包括该运动矢量预测值在该候选列表中的索引。


3.根据权利要求1或2所述的方法，其中，该转换信息包括该编码器装置用于确定该运动补偿矢量的算法的指示；和/或存储在该解码器中的用于确定该运动补偿矢量的算法的一个或多个参数，优选地，该一个或多个参数中的与该视频捕获设备相对于该场景的移动相关联的至少一部分，更优选地，该一个或多个参数的该至少一部分包括：该视频捕获设备相对于该场景的速度、该视频捕获设备相对于参考点的高度、或该视频捕获设备相对于该场景移动的方向。


4.根据权利要求1至3中任一项所述的方法，其中，该运动补偿矢量是运动补偿图的一部分，该运动补偿图包括用于该当前视频帧和/或该参考视频帧的块的运动补偿矢量。


5.根据权利要求1或2所述的方法，其中，该转换信息包括该运动补偿矢量或运动补偿图，该运动补偿图包括用于该当前视频帧的块的运动补偿矢量、包括该当前视频帧和/或该参考视频帧的视频帧序列的块的运动补偿矢量。


6.根据权利要求1至5中任一项所述的方法，其中，确定运动矢量差包括：
基于该经补偿的运动矢量预测值和该运动矢量确定第一运动矢量差候选；以及基于该运动矢量预测值和该运动矢量确定第二运动矢量差候选；
基于优化过程，优选地率失真优化RDO过程，从该第一运动矢量差候选和该第二运动矢量差候选中选择该运动矢量差。


7.根据权利要求1至6中任一项所述的方法，其中，该运动补偿矢量是基于参数化算法确定的，该算法被配置为生成对该视频帧的当前块的全局运动的估计，优选地，该算法表示参数化世界模型。


8.根据权利要求1至7中任一项所述的方法，其中，该运动补偿矢量是基于图像处理算法确定的，该算法被配置为确定该当前视频帧中的运动场，该运动场包括与该当前视频帧的像素或像素块相关联的运动矢量，并且该算法被配置为将该运动场的运动矢量分类为表示该当前视频帧中的局部运动的运动矢量和表示该当前视频帧中的全局运动的运动矢量。


9.根据权利要求1至8中任一项所述的方法，其中，该视频捕获设备适于捕获球面视频数据，并且其中，该视频帧序列中的视频帧包括球面视频数据，优选地，该球面视频数据基于投影模型被投影到矩形视频帧上，更优选地，该投影模型是等距柱状或立方体投影模型。


10.根据权利要求1至9中任一项所述的方法，其中，该转换信息的至少一部分作为一个或多个SEI消息被包括在该比特流中；和/或被包括在一个或多个网络抽象层NAL单元中，优选地非VCLNAL单元，比如图像参数集PPS。


11.根据权利要求1至10中任一项所述的方法，其中，该运动矢量和该运动矢量预测值的确定以及该编码是基于编码标准，优选地是AVC、HEVC、VP9、AV1编码标准或基于AVC、HEVC、VP9、AV1编码标准的编码标准。


12.一种用于从由编码器装置编码的比特流中重建视频帧的块的方法，该方法包括：
解码器装置的处理器接收比特流，该比特流包括当前视频帧的当前块，该当前块将由该解码器装置基于存储在该解码器装置的存储器中的第一参考视频帧的已解码预测块并且基于表示该当前块相对于预测块的偏移的运动矢量而重建，该预测块与该当前块之差定义了残差块；
该处理器使用熵编...

【专利技术属性】
技术研发人员：O·A·尼亚穆特，E·托马斯，A·达西尔瓦普拉塔斯加布里尔，
申请(专利权)人：皇家KPN公司，荷兰应用自然科学研究组织，
类型：发明
国别省市：荷兰;NL