用于球面图像和立方体图像的帧间预测的装置制造方法及图纸

本发明专利技术公开了视频编码与解码的方法和装置，其使用环形帧间预测以用于球面图像序列和立方体图像序列。对于球面图像序列，搜索窗口包括位于参考帧的垂直帧边界的外部或跨过参考帧的垂直帧边界以用于待编码的当前球面图像的至少一个块的区域。在搜索窗口内确定一个或多个候选参考块，其中，如果给定候选参考块位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界，则参考像素是跨过参考帧的一个垂直帧边界且在水平方向上自参考帧环形地访问的。对于立方体图像序列，确定立方体帧的环形边缘。搜索窗口包括位于参考帧的环形边缘的外部或跨过参考帧的环形边缘以用于待编码的当前立方体帧的至少一个块的区域。

【技术实现步骤摘要】
【国外来华专利技术】用于球面图像和立方体图像的帧间预测的装置优先权声明本申请要求在2016年01月22日提出申请号为62/281,815的美国临时专利申请和在2017年01月06日提出申请号为15/399,813的美国专利申请的优先权。上述相关联申请整体以引用方式并入本文中。
本专利技术涉及图像和视频编解码。具体地，本专利技术涉及球面图像和从球面图像转换的立方体帧的帧间预测技术。
技术介绍
360度视频，也称为沉浸式视频，是一种前景广阔的技术，其可提供“身临其境的感觉”。沉浸感通过用覆盖全景视图的环绕场景围绕使用者来实现，具体是360度视场。“身临其境的感觉”可进一步通过立方体图像渲染来提升。因此，全景视频正被广泛应用于虚拟现实(VirtualReality，VR)应用中。沉浸式视频包括应用多个摄像机来捕捉场景以覆盖全景视图，例如360度视场。沉浸式摄像机通常应用被设置成捕捉360度视场的一系列摄像机。通常，至少两个摄像机被用于沉浸式摄像机。所有视频必须同时被捕捉，以及场景的单独片段(也被称为单独透视图)被记录。进一步地，一系列摄像机常常被设置成水平地捕捉视图，而这些摄像机的其他设置也是可能的。图1示出了360度球面全景图像的示例性处理链。360度球面全景图像可采用360度球面全景摄像机捕捉。球面图像处理单元110从摄像机处接收原始图像数据以组成360度球面全景图像。球面图像处理可包括图像缝合和摄像机校准。球面图像处理在本
中是熟知的，在本公开中省略其细节。转换可通过投影变换单元120来执行，以导出对应于立方体六个面的六面图像。由于360度图像序列可能需要大存储空间或高传送带宽，可以将视频编码器130的视频编码应用于图像序列，以减小所需的存储或传送带宽。图1中示出的系统可以表示球面图像序列的视频压缩系统(即开关位于位置A处)。图1中示出的系统也可以表示立方体图像序列的视频压缩系统(即开关位于位置B处)。在接收器侧或显示器侧，采用视频解码器140对压缩视频数据进行解码以恢复在显示设备150(例如，VR显示)上显示的球面图像或立方体图像的序列。由于与360度球面图像和立方体图像相关的数据通常比传统二维视频的数据大得多，因此需要视频压缩以减小所需的存储或传送。因此，在传统系统中，可以采用传统视频编码130和传统视频解码140，例如H.264或较新的高效视频编码(HighEfficiencyVideoCoding，HEVC)。忽略基础的球面图像和立方体图像作为帧的独特特性，传统视频编解码将由传统摄像机捕捉的球面图像或立方体图像的序列处理为帧。在传统视频编解码系统中，当所选的参考块在参考帧的帧边界外部或跨过帧边界时，运动估计(motionestimation，ME)和运动补偿(motioncompensation，MC)的流程复制重复帧边界像素的填充。与传统的2D视频不同，360度视频是一种表示围绕捕捉摄像机的整个环境的图像序列。尽管两种常用的投影格式，即球面格式和立方体格式，可被设置成矩形帧，但在几何上360度帧中没有边界。在本专利技术中，被公开的新型帧间预测技术能够提高编解码性能。
技术实现思路
本专利技术公开了一种球面图像序列的视频编码装置。在参考帧中确定用于当前球面帧中当前块的搜索窗口，其中搜索窗口包括位于参考帧的垂直帧边界的外部或跨过参考帧的垂直帧边界以用于待编码的当前球面图像的至少一个块的一个区域。在搜索窗口内确定一个或多个候选参考块。如果给定候选参考块位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界，则位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界的给定候选参考块的多个参考像素是在跨过参考帧的一个垂直帧边界的水平方向上自参考帧环形地访问的。基于与候选参考块相关联的性能标准，在候选参考块中选择最终参考块。使用最终参考块作为帧间预测子，将帧间预测应用于当前块以生成预测残差。将预测残差编码到视频比特流中，并输出视频比特流。本专利技术还公开了一种球面图像序列的视频解码的方法和装置。如果该块被帧间编解码，则从视频比特流推导出当前块的运动矢量。然后，根据用于重构的运动矢量，在参考帧中确定参考块。如果参考块位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界，则位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界的参考块的多个参考像素是在跨过参考帧的一个垂直帧边界的水平方向上自参考帧环形地访问的。从视频比特流中解压缩用于当前块的已解码的预测残差。最终，使用参考帧的参考块作为帧间预测子，从已解码的预测残差重构当前块。输出包括重构的当前块的球面图像序列。在上述的球面图像序列的编解码方法中，如果给定候选参考块位于参考帧的一个垂直帧边界的外部或跨过参考帧的一个垂直帧边界，则位于参考帧的一个水平帧边界外部的给定候选参考块的多个参考像素是根据填充流程填充的。通过对给定候选参考块的多个参考像素的水平轴(例如，X轴)使用模运算，参考帧的环形访问可以被实现，以降低参考帧的存储器占用量(footprint)。本专利技术公开了一种立方体图像序列的视频编码方法和装置。每个立方体帧是通过从立方体展开六个立方体面而生成的，并且六个立方体面是通过将对应于360度全景图像的球面图像投影到立方体上而生成的。确定用于任何非连接或不连续的立方体面图像边缘的立方体帧的多个环形边缘，其中，立方体帧的每个环形边缘与由立方体上的一个环形边缘连接的两个相邻立方体面相关联。在参考帧中确定用于当前立方体帧中当前块的搜索窗口，其中，搜索窗口包括位于参考帧的环形边缘的外部或跨过参考帧的环形边缘以用于待编码的当前立方体帧的至少一个块的一个区域。在搜索窗口内确定一个或多个候选参考块。如果给定候选参考块相对于当前块的同位块而位于参考帧的一个环形边缘的外部或跨过参考帧的一个环形边缘，则位于参考帧的一个环形边缘的外部或跨过参考帧的一个环形边缘的给定候选参考块的多个参考像素是跨过参考帧的一个环形边缘自参考帧环形地访问的。基于与一个或多个候选参考块相关联的性能标准，在一个或多个候选参考块中选择最终参考块。然后，使用最终参考块作为帧间预测子，将帧间预测应用于当前块以生成预测残差。将预测残差编码到视频比特流中，并输出视频比特流。本专利技术还公开了一种立方体图像序列的视频解码方法和装置。接收与立方体图像序列相关联的视频比特流。确定用于任何非连接或不连续的立方体面图像边缘的立方体帧的多个环形边缘。如果该块被帧间编解码，则从视频比特流推导出当前块的运动矢量。然后，根据运动矢量，在参考帧中确定参考块。如果参考块相对于当前块的同位块而位于参考帧的一个环形边缘的外部或跨过参考帧的一个环形边缘，则位于参考帧的一个环形边缘的外部或跨过参考帧的一个环形边缘的参考块的多个参考像素是跨过参考帧的一个环形边缘自参考帧环形地访问的。从视频比特流解压缩用于当前块的已解码的预测残差。最后，使用参考帧的参考块作为帧间预测子，从已解码的预测残差重构当前块。输出包括重构的当前块的立方体图像序列。在上述的立方体图像序列的编解码方法中，根据一个实施例，每个立方体帧可以对应于具有填充有填充数据的一个空白区域的一个立方体网格，并且根据另一实施例，每个立方体帧可以对应于不具有任何填充区域的组合帧。如果给定候选参考块相对本文档来自技高网...

【技术保护点】
1.一种视频编码装置，其特征在于，应用于球面图像序列，所述装置包括一个或多个电子器件或处理器，用于：接收与球面图像序列相关联的输入数据，其中每个球面图像对应于360度全景图像；在参考帧中确定用于当前球面图像中当前块的搜索窗口，其中所述搜索窗口包括位于所述参考帧的垂直帧边界的外部或跨过所述参考帧的垂直帧边界以用于待编码的所述当前球面图像的至少一个块的一个区域；在所述搜索窗口内确定一个或多个候选参考块，其中，如果给定候选参考块位于所述参考帧的一个垂直帧边界的外部或跨过所述参考帧的一个垂直帧边界，则位于所述参考帧的所述一个垂直帧边界的外部或跨过所述参考帧的所述一个垂直帧边界的所述给定候选参考块的多个参考像素是在跨过所述参考帧的所述一个垂直帧边界的水平方向上自所述参考帧环形地访问的；基于与所述一个或多个候选参考块相关联的性能标准，在所述一个或多个候选参考块中选择最终参考块；使用所述最终参考块作为帧间预测子，将帧间预测应用于所述当前块以生成预测残差；将所述预测残差编码到视频比特流中；以及输出所述视频比特流。

【技术特征摘要】
【国外来华专利技术】2016.01.22 US 62/281,815;2017.01.06 US 15/399,8131.一种视频编码装置，其特征在于，应用于球面图像序列，所述装置包括一个或多个电子器件或处理器，用于：接收与球面图像序列相关联的输入数据，其中每个球面图像对应于360度全景图像；在参考帧中确定用于当前球面图像中当前块的搜索窗口，其中所述搜索窗口包括位于所述参考帧的垂直帧边界的外部或跨过所述参考帧的垂直帧边界以用于待编码的所述当前球面图像的至少一个块的一个区域；在所述搜索窗口内确定一个或多个候选参考块，其中，如果给定候选参考块位于所述参考帧的一个垂直帧边界的外部或跨过所述参考帧的一个垂直帧边界，则位于所述参考帧的所述一个垂直帧边界的外部或跨过所述参考帧的所述一个垂直帧边界的所述给定候选参考块的多个参考像素是在跨过所述参考帧的所述一个垂直帧边界的水平方向上自所述参考帧环形地访问的；基于与所述一个或多个候选参考块相关联的性能标准，在所述一个或多个候选参考块中选择最终参考块；使用所述最终参考块作为帧间预测子，将帧间预测应用于所述当前块以生成预测残差；将所述预测残差编码到视频比特流中；以及输出所述视频比特流。2.根据权利要求1所述的视频编码装置，其特征在于，如果所述给定候选参考块位于所述参考帧的一个水平帧边界的外部或跨过所述参考帧的一个水平帧边界，则位于所述参考帧的所述一个水平帧边界外部的所述给定候选参考块的多个参考像素是根据填充流程填充的。3.根据权利要求1所述的视频编码装置，其特征在于，如果所述给定候选参考块位于所述参考帧的一个垂直帧边界的外部或跨过所述参考帧的一个垂直帧边界，则位于所述参考帧的所述一个垂直帧边界的外部或跨过所述参考帧的所述一个垂直帧边界的所述给定候选参考块的多个参考像素是通过对所述给定候选参考块的多个参考像素的水平轴(即X轴)使用模运算而在水平方向上自所述参考帧环形地访问的。4.一种视频解码装置，其特征在于，应用于球面图像序列，所述装置包括一个或多个电子器件或处理器，用于：接收与球面图像序列相关联的视频比特流，其中每个球面图像对应于360度全景图像；从当前块的视频比特流推导出运动矢量；根据所述运动矢量，在所述参考帧中确定参考块，其中如果所述参考块位于参考帧的一个垂直帧边界的外部或跨过所述参考帧的一个垂直帧边界，则位于所述参考帧的所述一个垂直帧边界的外部或跨过所述参考帧的所述一个垂直帧边界的所述参考块的多个参考像素是在跨过所述参考帧的所述一个垂直帧边界的水平方向上自参考帧环形地访问的；从所述视频比特流推导出所述当前块的已解码预测残差；使用所述参考块作为帧间预测子，从所述已解码预测残差重构所述当前块；以及输出包括重构的所述当前块的球面图像序列。5.根据权利要求4所述的视频解码装置，其特征在于，如果所述参考块位于所述参考帧的一个水平帧边界的外部或跨过所述参考帧的一个水平帧边界，则位于所述参考帧的所述一个水平帧边界外部的所述参考块的多个参考像素是根据填充流程填充的。6.根据权利要求4所述的视频解码装置，其特征在于，如果所述参考块位于所述参考帧的一个垂直帧边界的外部或跨过所述参考帧的一个垂直帧边界，则位于所述参考帧的所述一个垂直帧边界的外部或跨过所述参考帧的所述一个垂直帧边界的所述参考块的多个参考像素是通过对所述参考块的多个参考像素的水平轴(即X轴)使用模运算而在水平方向上自所述参考帧环形地访问的。7.一种视频编码装置，其特征在于，应用于立方体图像序列，所述装置包括一个或多个电子器件或处理器，用于：接收与立方体图像序列相关联的输入数据，其中每个立方体帧是所述立方体图像序列的一个图像，每个立方体帧是通过从立方体展开六个立方体面而生成的，并且所述六个立方体面是通过将对应于360度全景图像的球面图像投影到所述立方体上而生成的；确定用于任何非连接或不连续的立方体面边缘的所述立方体帧的多个环形边缘，其中，所述立方体帧的每个环形边缘与由所述立方体上的一个环形边缘连接的两个相邻立方体面相关联；在所述参考帧中确定用于当前立方体帧中当前块的搜索窗口，其中，所述搜索窗口包括位于所述参考帧的环形边缘的外部或跨过所述参考帧的环形边缘以用于待编码的所述当前立方体帧的至...

【专利技术属性】
技术研发人员：林鸿志，张胜凯，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71