连续预测域制造技术

公开了一种编码球形视频的方法。该方法包括基于投影，将球形视频的帧映射到二维表示。此外，在预测过程中，该方法包括确定与预测方案相关联的至少一个块是否处于二维表示的边界上；以及在确定与预测方案相关联的至少一个块处于边界上时，选择相邻端块作为包括在预测过程期间使用的至少一个像素的块，相邻端块与二维表示的两个或更多个边界相关联。

【技术实现步骤摘要】
【国外来华专利技术】连续预测域相关申请的交叉引用本申请要求2014年10月20日提交的，名为“CONTINUOUSPREDICTIONDOMAIN(连续预测域)”的U.S.非临时专利申请No.14/518,956、2014年10月20日提交的，名为“COMPRESSINGANDREPRESENTINGMULTI-VIEWVIDEO(压缩并表示多视图视频)”的U.S.非临时专利申请No.14/519,006、2014年10月20日提交的，名为“STREAMINGTHEVISIBLEPARTSOFASPHERICALVIDEO(流传送球形视频的可见部分)”的U.S.非临时专利申请No.14/518,710、2014年10月20日提交的，名为“MAPPINGSPHERICALIMAGETO2DREPRESENTATIONS(将球形图像映射至2D表示)”的U.S.非临时专利申请No.14/518,779的优先权，其全部内容作为引用并入于此。
实施例涉及编码和解码球形图像和球形视频。实施例涉及流传送球形视频。
技术介绍
通常，常规二维(2D)帧内预测方案选择待编码的块的左边和上方的1,2,3,…,n像素边界，以用于根据上或左重构块来确定残差。此外，在帧间预测方案中，使用评价函数，在至少一个参考图片的搜索范围内搜索与待编码的块类似的参考块。然而，沿2D帧或图像的边界，在帧内预测期间，可能不存在上或左重构块中的至少一个。此外，在帧间预测期间，沿边界的搜索范围有限。因此，需要能利用对应于球形视频或图像的2D帧或图像的特性的帧内/帧间预测方案。流传送球形视频(或其他三维视频)会消耗大量系统资源。例如，编码的球形视频能包括用于传输的大量比特，这会消耗大量带宽以及与编码器和解码器相关联的处理和存储器。通常，当编码图像和/或视频帧时，编码器和解码器在二维(2D)调色板上操作。球形图像和视频是三维的，因此，常见的编码器和解码器不能够编码/解码球形图像和视频。
技术实现思路
示例性实施例描述用于将球形图像和视频转换成2D表示并且在编码/解码图像和/或视频帧期间，利用2D表示的特定特性的技术。在一般方面，一种用于编码球形视频的方法能包括基于投影，将所述球形视频的帧映射到二维表示。此外，在预测过程中，该方法能包括确定与预测方案相关联的至少一个块是否处于二维表示的边界上；以及在确定与预测方案相关联的至少一个块处于边界上时，选择相邻端块作为包括在预测过程期间使用的至少一个像素的块，相邻端块与二维表示的两个或更多个边界相关联。实施方式能包括下述特征中的一个或多个。例如，预测过程能是帧内预测过程，与预测方案相关联的至少一个块是待编码的块，以及相邻端块被选择作为以下中的一个：待编码的块的左重构块或上重构块。预测过程能是帧间预测过程，以及与预测方案相关联的至少一个块能是包括在待搜索匹配块的参考帧中的多个块中的块。预测过程能是帧间预测过程，以及与预测方案相关联的至少一个块被选择作为来自待搜索的参考帧中的多个块中的预测块，所述多个块横跨参考帧的边界。例如，将球形视频的帧映射到二维表示能包括使用基于等距长方投影的等式。将球形视频的帧映射到二维表示能包括基于使用半等距长方投影的等式。例如，该方法能进一步包括在确定待编码的块远离边界时，在帧内预测过程中，选择相邻块作为模板，相邻端块是以下中的至少一个：待编码的块的左重构块或待编码的块的上重构块。选择相邻端块包括从与预测方案相关联的块相同的行的相对端或与待编码的块相同的列的相对端的至少一个中选择重构块。选择相邻端块包括从查找表选择重构块。例如，该方法能进一步包括基于待编码的块的未编码像素，生成至少一个残差；通过将变换应用于包括至少一个残差的残差块来编码至少一个残差；量化与所编码的至少一个残差相关联的变换系数；将所量化的变换系数熵编码为压缩视频比特流；以及传送包括指示帧内代码化模式的头部的压缩视频比特流，帧内代码化模式指示在将球形视频的帧映射到二维表示期间使用的技术。在一般方面，一种用于解码球形视频的方法包括接收包括指示帧内代码化模式的头部的编码比特流，帧内代码化模式表示在将球形视频的帧转换成二维表示期间使用的技术。此外，在预测过程中，该方法能包括确定与预测方案相关联的至少一个块是否处于二维表示的边界上；在确定与预测方案相关联的至少一个块处于边界上时，选择相邻端块作为包括在预测过程期间使用的至少一个像素的块，相邻端块与二维表示的两个或更多个边界相关联。该方法进一步包括基于圆柱投影，将二维表示转换成球形视频的帧。实施方式能包括下述特征中的一个或多个。例如，转换二维表示能包括基于投影的逆变换，使用等式，将二维表示映射到球形图像。预测过程能是帧内预测过程，与预测方案相关联的至少一个块能是待编码的块，以及相邻端块能被选择作为以下中的一个：左重构块或上重构块。例如，预测过程能是帧间预测过程，以及与预测方案相关联的至少一个块能是包括在为搜索匹配块的参考帧中的多个块中的块。预测过程能是帧间预测过程；以及与预测方案相关联的至少一个块能被选择作为来自待搜索的参考帧中的多个块中的预测块，多个块横跨参考帧的边界。在一般方面，一种具有其上所存储的计算机可执行程序代码的非暂时性计算机可读存储介质，所述计算机可执行程序代码当在计算机系统上执行时，使计算机系统执行包括基于投影，将球形视频的帧映射到二维表示的步骤。此外，在预测过程中，步骤能包括确定与预测方案相关联的至少一个块是否处于二维表示的边界上；以及在确定与预测方案相关联的至少一个块处于边界上时，选择相邻端块作为包括在预测过程期间使用的至少一个像素的块，相邻端块与二维表示的两个或更多个边界相关联。实施方式能包括下述特征的一个或多个。例如，预测过程能是帧内预测过程，与预测方案相关联的至少一个块能是待编码的块，以及相邻端块能被选择作为以下中的一个：待编码的块的左重构块或待编码的块的上重构块。例如，预测过程能是帧间预测过程，以及与预测方案相关联的至少一个块能是包括在为搜索匹配块的参考帧中的多个块中的块。预测过程能是帧间预测过程；以及与预测方案相关联的至少一个块能被选择作为来自待搜索的参考帧中的多个块中的预测块，多个块横跨参考帧的边界。选择相邻端块能包括从以下中的至少一个中选择重构块：与预测方案相关联的块相同的行的相对端或与待编码的块相同的列的相对端。附图说明从本文给出的具体实施方式和附图将更全面地理解示例性实施例，其中，由相同的附图标记表示相同的元件，仅以示例方式给出且不限制示例实施例，其中：图1A图示出根据至少一个示例性实施例的视频编码器系统。图1B图示出根据至少一个示例性实施例的视频解码器系统。图2A图示出用于根据至少一个示例性实施例的视频编码器系统的流程图。图2B图示出用于根据至少一个示例性实施例的视频解码器系统的流程图。图3图示出根据至少一个示例性实施例的球体的二维(2D)表示。图4A图示出根据至少一个示例性实施例的圆柱体内的球形图像。图4B图示出根据至少一个示例性实施例的展开的视频帧/块或图像/块的框图。图4C和4D图示出根据至少一个示例性实施例的查找表(LUT)图5是根据至少一个示例性实施例，将球形帧/图像映射到球形帧/图像的2D表示的方法的流程图。图6和7是用于根据至少一个示例性实施例的本文档来自技高网...

【技术保护点】
一种用于对球形视频进行编码的方法，所述方法包括：基于投影，将所述球形视频的帧映射到二维表示；执行预测过程，所述预测过程包括：确定与预测方案相关联的至少一个块是否处于所述二维表示的边界上；以及一旦确定与所述预测方案相关联的至少一个块处于所述边界上，就选择相邻端块作为包括所述预测过程期间使用的至少一个像素的块，所述相邻端块与所述二维表示的两个或更多个边界相关联。

【技术特征摘要】
【国外来华专利技术】2014.10.20 US 14/518,956;2014.10.20 US 14/519,006;1.一种用于对球形视频进行编码的方法，所述方法包括：基于投影，将所述球形视频的帧映射到二维表示；执行预测过程，所述预测过程包括：确定与预测方案相关联的至少一个块是否处于所述二维表示的边界上；以及一旦确定与所述预测方案相关联的至少一个块处于所述边界上，就选择相邻端块作为包括所述预测过程期间使用的至少一个像素的块，所述相邻端块与所述二维表示的两个或更多个边界相关联。2.如权利要求1所述的方法，其中，所述预测过程是帧内预测过程，与所述预测方案相关联的所述至少一个块是待编码块，以及所述相邻端块被选择为以下中的一个：所述待编码块的左重构块、或所述待编码块的上重构块。3.如权利要求1至2的任何一个所述的方法，其中，所述预测过程是帧间预测过程，以及与所述预测方案相关联的所述至少一个块被选择为来自要进行搜索的参考帧中的多个块中的预测块，所述多个块横跨所述参考帧的边界。4.如权利要求1至3的任何一个所述的方法，其中，将所述球形视频的帧映射到所述二维表示包括：使用基于等距长方投影的等式。5.如权利要求1至4的任何一个所述的方法，其中，将所述球形视频的帧映射到所述二维表示包括：基于球形到方形投影，将球形视频的帧映射到第一二维表示，所述第一二维表示是方形，将所述第一二维表示映射到第二二维表示，所述第二二维表示是矩形。6.如权利要求5所述的方法，其中，所述球形到方形投影为Peirce五点梅花投影。7.如权利要求1至6的任何一个所述的方法，进一步包括：一旦确定所述待编码块远离所述边界，就在帧内预测过程中选择相邻块作为模板，所述相邻端块是以下中的至少一个：所述待编码块的左重构块、或所述待编码块的上重构块。8.如权利要求1至7的任何一个所述的方法，其中，选择所述相邻端块包括从以下中的至少一个中选择重构块：与所述预测方案相关联的块处于相同行的相对端、或与所述待编码块处于相同列的相对端。9.如权利要求1至8的任何一个所述的方法，其中，选择所述相邻端块包括：从查找表选择重构块。10.如权利要求1至9的任何一个所述的方法，进一步包括：基于所述待编码块的未编码像素，生成至少一个残差；通过将变换应用于包括所述至少一个残差的残差块来编码所述至少一个残差；对与所编码的至少一个残差相关联的变换系数进行量化；将所量化的变换系数熵编码为压缩视频比特流；以及传送包括指示帧内代码化模式的头部的压缩视频比特流，所述帧内代码化模式指示在将所述球形视频的帧映射到所述二维表示期间使用的技术。11.一种用于解码球形视频的方法，所述方法包括：接收包括指示帧内代码化模式的头部的编码比特流，所述帧内代码化模式指示在将球形视频...

【专利技术属性】
技术研发人员：阿德里安·威廉·格朗热，亚历山大·杰·康弗斯，德巴尔加·慕克吉，赖利·亚当斯，吉姆·班科斯基，安德鲁·伊安·拉塞尔，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国,US