用于编码和解码全向视频的方法和装置制造方法及图纸

公开了一种视频编码的方法和对应装置。对于图片的至少一个当前块，基于图片被表示的第一格式与图片要被呈现的第二格式之间的关系，调整用于所述当前块的至少一个运动矢量预测器，以及使用所调整的运动矢量预测器对当前块进行编码。还公开了用于视频解码的对应方法和装置。

Method and device for encoding and decoding omnidirectional video

A video coding method and corresponding device are disclosed. For at least one current block of a picture, based on the relationship between the first format represented by the picture and the second format to be presented, at least one motion vector predictor for the current block is adjusted, and the current block is coded using the adjusted motion vector predictor. A corresponding method and device for video decoding are also disclosed.

【技术实现步骤摘要】
【国外来华专利技术】用于编码和解码全向视频的方法和装置
公开了一种用于将图片译码到比特流中的方法和装置，其中所述图片代表投影到一个或多个图片上的全向视频。还公开了对应的解码方法和装置。
技术介绍
最近，可用的大视场内容(高达360°)有所增长。这样的内容可能不会被观看诸如头戴式显示器(HMD)、智能眼镜、PC屏幕、平板、智能电话等的沉浸式显示设备上的内容的用户完全看得见。这意味着在给定时刻，用户可能只是查看内容的一部分。然而，用户典型地可以通过诸如头部移动、鼠标移动、触摸屏、语音等的各种手段在内容内导航。典型地希望对该内容进行编码和解码。
技术实现思路
根据本原理的一方面，公开了一种视频编码的方法。这样的方法包括，对于图片的至少一个当前块：基于图片被表示的第一格式与图片要被呈现的第二格式之间的关系，调整用于所述当前块的至少一个运动矢量预测器；以及使用所调整的运动矢量预测器对所述当前块进行编码。本公开允许考虑要编码的图片与图片要在其上呈现的格式之间的关系，以用于调整用于对图片的块进行编码的运动矢量预测器。因此，运动矢量预测器更适合于使用例如运动补偿模式对当前块进行编码。由此提高压缩效率。根据本公开的另一方面，公开了一种对视频进行解码的方法。这样的方法包括，对于图片的至少一个当前块：基于图片被表示的第一格式与图片要被呈现的第二格式之间的关系，调整用于所述当前块的至少一个运动矢量预测器；以及使用所调整的运动矢量预测器对所述当前块进行解码。根据本公开的实施例，根据查找表确定所述第一格式与所述第二格式之间的关系，该查找表包括所述图片被表示的所述第一格式的用于多个定位的运动矢量与图片要被呈现的所述第二格式的多个对应定位中的运动矢量之间的对应。由此降低计算复杂性。根据本公开的另一实施例，视频是全向视频，并且图片代表所述视频的2D投影。根据本公开的另一实施例，所述第一格式与所述第二格式之间的关系至少使用所述全向视频到所述图片上的所述投影。该实施例允许考虑由用于将表示全向视频的图像的3D表面投影到2D图片上的投影函数所引入的失真，以确定用于当前块的运动矢量预测器。根据本公开的另一实施例，调整用于所述当前块的至少一个运动矢量预测器包括：使用所述运动矢量预测器在投影空间中计算所述当前块的至少一个点的位移，获得投影空间中的位移点，将所述位移点投影到图片上，将所述所调整的运动矢量预测器计算为所投影的位移点在图片上的定位与所述当前块的所述点之间的差。根据该实施例，在投影空间中，运动矢量预测器应用于要编码的当前块的点。然后，将位移点投影在图片上，以用于计算适合于当前块的运动矢量预测器。根据该实施例，由3D表面到图片上的投影所引入的失真被应用于用于对当前块进行译码的运动矢量预测器。因此，所得运动矢量预测器更接近当前块的视运动(apparentmotion)。根据本公开的另一实施例，运动矢量预测器是来自所述图片中的块的运动矢量，并且调整用于所述当前块的至少一个运动矢量预测器还包括：将所述运动矢量预测器应用于所述图片的锚点以用于获得位移锚点，将所述当前块的所述点、所述锚点和所述位移锚点投影到所述投影空间上，到所述投影空间中将投影运动矢量预测器计算为所投影的位移锚点与所投影的锚点之间的差，使用所述投影运动矢量预测器在投影空间中计算被执行的所述当前块的至少一个点的位移。这样的实施例允许考虑由投影函数引入到运动场的失真。在这样的实施例中，在图片中表示运动矢量分量，因此使用运动补偿预测的运动矢量和当前块信息的预测更容易，因为在编码空间(即2D空间)中执行所有预测。根据本公开的另一实施例，锚点属于包括以下的列表：第一点，其为所述当前块的相邻块的中心点，第二点，其通过所述中心点在所述相邻块与所述当前块之间共享的所述当前块的边缘上的投影来确定，第三点，其通过所述第一点的用于沿着水平轴或垂直轴将所述第三点与所述当前块的中心点对准的平移来确定，第四点，其通过所述第三点在所述共享边缘上的投影来确定，第五点，其被确定为作为到当前块的所述中心的最近点的相邻块的点。由于2D图像是3D表面的投影，所以在2D图像的块中，运动不均匀。因此，对与预测器块相关联的点(所谓的锚点，对其应用运动矢量预测器以用于确定所调整的运动矢量预测器)的选择影响所得调整的运动矢量预测器。对关于与运动矢量预测器相关联的块的锚点的位置的选择可以在比特流中用信号通知，或者可以在编码器和解码器二者处以相同的方式确定。这样的选择可以取决于投影函数的类型和/或与运动矢量预测器相关联的块的图片中的定位，因为图片中的失真可能在图片内变化。根据本公开的另一实施例，投影空间是作为与3D表面相切的局部平面的局部呈现帧。根据本公开的另一实施例，投影空间对应于代表所述全向视频的3D表面。该实施例允许通过将局部呈现帧上的投影近似为3D表面上的投影来简化所调整的运动矢量预测器的推导过程。根据本公开的另一实施例，运动矢量预测器是其分量表达在3D表面上的运动矢量。根据该实施例，所调整的运动矢量预测器推导过程被简化，因为位移的计算在3D空间中比在图片中更不复杂。然而，根据该实施例，运动补偿预测处理更复杂，因为它应当在2D空间中执行。根据本公开的另一实施例，当前块被分割成包括一个或多个像素的子块，并且使用所述所调整的运动矢量预测器对所述当前块进行编码包括：使用所述所调整的运动矢量预测器来计算用于当前块的每个子块的运动矢量，使用针对每个子块计算的所述运动矢量对所述当前块的每个子块进行编码。根据该实施例，通过针对当前块的每个子块从所调整的运动矢量预测器导出运动矢量，来考虑由投影函数在运动场中引入的失真。由此改进当前块的预测，因为用于预测当前块的数据的运动矢量比例如在块的中心处应用于整个块的单个运动矢量更合适。根据本公开的另一实施例，当前块被分割成包括一个或多个像素的子块，并且使用所述所调整的运动矢量预测器对所述当前块进行解码包括：使用所述所调整的运动矢量预测器来计算用于当前块的每个子块的运动矢量，使用针对每个子块计算的所述运动矢量对所述当前块的每个子块进行解码。根据本公开的另一实施例，当前块被分割成包括一个或多个像素的子块，并且使用所述运动矢量预测器，所述调整用于所述当前块的一个运动矢量预测器以及所述编码针对所述当前块的每个子块来执行，针对所述当前块的每个子块获得所调整的运动矢量预测器。根据该实施例，通过根据本原理针对当前块的每个子块导出所调整的运动矢量预测器，来考虑由投影函数在运动场中引入的失真。由此改进当前块的预测，因为用于预测当前块的数据的运动矢量比例如在块的中心处应用于整个块的单个运动矢量更合适。根据本公开的另一实施例，当前块被分割成包括一个或多个像素的子块，并且使用所述运动矢量预测器，所述调整用于所述当前块的一个运动矢量预测器和所述解码针对所述当前块的每个子块来执行，针对所述当前块的每个子块递送所调整的运动矢量预测器。根据本公开的另一实施例，当所述运动矢量预测器是时间运动矢量预测器时或者当所述运动矢量预测器使用与所述当前块使用的参考帧不同的参考帧时，所公开的编码和/或解码方法还包括至少使用所述投影函数来缩放所述所调整的运动矢量预测器。根据本公开的另一实施例，所公开的编码和/或解码方法还包括：构建至少包括所述运动矢量预测器的运动矢量本文档来自技高网...

【技术保护点】
1.一种视频编码的方法，所述方法包括，对于图片的至少一个当前块：访问以适合于编码的第一格式表示的所述图片；基于所述第一格式与所述图片要被呈现的第二格式之间的关系，调整(1600)用于所述当前块的至少一个运动矢量预测器；以及使用所调整的运动矢量预测器对所述当前块进行编码(1601)。

【技术特征摘要】
【国外来华专利技术】2016.09.30 EP 16306268.01.一种视频编码的方法，所述方法包括，对于图片的至少一个当前块：访问以适合于编码的第一格式表示的所述图片；基于所述第一格式与所述图片要被呈现的第二格式之间的关系，调整(1600)用于所述当前块的至少一个运动矢量预测器；以及使用所调整的运动矢量预测器对所述当前块进行编码(1601)。2.一种对视频进行解码的方法，所述方法包括，对于图片的至少一个当前块：基于所述图片被表示为解码器输出的第一格式与所述图片要被呈现的第二格式之间的关系，调整(1602)用于所述当前块的至少一个运动矢量预测器；以及使用所调整的运动矢量预测器对所述当前块进行解码(1603)。3.一种用于视频编码的装置，所述装置包括，对于图片的至少一个当前块：用于访问以适合于编码的第一格式表示的所述图片的部件；用于基于所述第一格式与所述图片要被呈现的第二格式之间的关系来调整用于所述当前块的至少一个运动矢量预测器的部件；以及用于使用所调整的运动矢量预测器对所述当前块进行编码的部件。4.一种用于对视频进行解码的装置，所述装置包括，对于图片的至少一个当前块：用于基于所述图片被表示为解码器输出的第一格式与所述图片要被呈现的第二格式之间的关系来调整用于所述当前块的至少一个运动矢量预测器的部件；以及用于使用所调整的运动矢量预测器对所述当前块进行解码的部件。5.根据权利要求1或2所述的方法，或者根据权利要求3或4所述的装置，其中根据查找表确定所述第一格式与所述第二格式之间的所述关系，所述查找表包括所述第一格式的用于多个定位的运动矢量与所述第二格式的多个对应定位中的运动矢量之间的对应。6.根据权利要求1、2或5中任一项所述的方法，或者根据权利要求3至5中任一项所述的装置，其中所述图片对代表所述视频的3D表面的投影加以表示，并且其中所述第一格式与所述第二格式之间的所述关系至少使用所述全向视频到所述图片上的所述投影。7.根据权利要求1、2、5或6中任一项所述的方法，或者根据权利要求3至6中任一项所述的装置，其中调整用于所述当前块的至少一个运动矢量预测器包括：使用所述运动矢量预测器在投影空间中计算所述当前块的至少一个点的位移，获得投影空间...

【专利技术属性】
技术研发人员：F加尔平，T波里尔，F厄本，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国,US