用于对图像进行编码或解码的设备和方法技术

本发明专利技术涉及一种用于对位于在从360度图像投影得到的二维图像中的每个平面进行编码时待编码的第一平面上的当前块的预测信息进行编码的方法，并且包括：通过使用所述当前块的周围块来生成预测信息候选的步骤；以及通过使用所述预测信息候选来对与所述当前块的预测信息关联的语法元素进行编码的步骤，其中，如果所述当前块的边界与所述第一平面的边界重合，则基于所述360度图像而非二维图像的与所述当前块相邻的块被配置为所述周围块的至少一些。

Equipment and methods for encoding or decoding images

The present invention relates to a method for encoding the prediction information of the current block on the first plane to be coded when encoding each plane of a two-dimensional image projected from a 360-degree image, and includes the steps of generating the prediction information candidate by using the surrounding blocks of the current block, and using the prediction information candidate to present the prediction information. The steps of encoding the grammatical elements associated with the prediction information of the block, in which, if the boundary of the current block coincides with the boundary of the first plane, the blocks adjacent to the current block based on the 360-degree image rather than the two-dimensional image are configured as at least some of the surrounding blocks.

【技术实现步骤摘要】
【国外来华专利技术】用于对图像进行编码或解码的设备和方法
本专利技术涉及用于对视频进行高效编码的视频编码或解码。
技术介绍
由于视频数据比语音数据或静止图像数据消耗更大量的数据，因此在不压缩视频数据的情况下存储或发送视频数据需要包括存储器的大量的硬件资源。因此，在存储或发送视频数据时，使用编码器来压缩视频数据，以便进行存储或发送。然后，解码器接收经压缩的视频数据，并且解压缩并再现视频数据。用于这种视频的压缩技术包括H.264/AVC和高效视频编码(HEVC)，HEVC是在2013年初建立的并且比H.264/AVC提高了约40％的编码效率。然而，随着视频大小、分辨率和帧速率逐渐增加，待编码的数据量也在增加。因此，需要相比传统压缩技术具有更高编码效率的压缩技术。除了由相机生成的现有2D自然图像之外，对诸如游戏或360度视频(下文中被称为“360视频”)这样的视频内容的需求也在增加。由于这种游戏或360视频具有与现有2D自然图像不同的特征，因此基于2D图像的传统压缩技术在压缩游戏或360视频方面有限制。360视频是使用多个相机在各个方向上拍摄的图像。为了压缩并发送各种场景的视频，将从多个相机输出的图像拼接成一个2D图像，并且将拼接后的图像压缩并发送到解码设备。解码设备对经压缩的图像进行解码，然后将经解码的图像映射到3D空间并再现。360视频的代表性投影格式是如图1中所示的等距柱状投影。图1的(a)示出了以3D方式映射的球形360视频图像，并且图1的(b)示出了将球形360视频图像投影到等距柱状格式上的结果。这种等距柱状投影具有以下不足：它使图像的上部和下部中的像素过度增加，这导致严重失真，并且当图像被压缩时，它使数据量增加并且使增加的部分的编码吞吐量增加。因此，需要能够对360视频进行高效编码的图像压缩技术。
技术实现思路
技术问题因此，考虑到以上问题而做出了本专利技术，并且本专利技术的一个目的是提供用于对具有高分辨率或高帧速率的视频或者360视频进行高效编码的视频编码或解码技术。技术方案按照本专利技术的一方面，提供了一种对预测信息进行编码的方法，该预测信息为关于位于在对从360视频投影得到的2D图像的每个面进行编码时待编码的第一面中的当前块的预测信息，该方法包括以下步骤：使用所述当前块周围的邻近块来生成预测信息候选；以及使用所述预测信息候选来对关于所述当前块的预测信息的语法元素进行编码，其中，当所述当前块的边界与所述第一面的边界重合时，将基于所述360视频与所述当前块邻接的块设置为所述邻近块的至少一部分。按照本专利技术的另一方面，提供了一种对预测信息进行解码的方法，该预测信息为关于位于被编码成2D图像的360视频中的待解码的第一面中的当前块的预测信息，该方法包括以下步骤：从比特流中对关于所述当前块的预测信息的语法元素进行解码；使用所述当前块周围的邻近块来生成预测信息候选；以及使用所述预测信息候选和经解码的所述语法元素来重构关于所述当前块的预测信息，其中，当所述当前块的边界与所述第一面的边界重合时，将基于所述360视频与所述当前块邻接的块设置为所述邻近块的至少一部分。按照本专利技术的又一方面，提供了一种用于对关于位于被编码成2D图像的360视频中的待解码的第一面中的当前块的预测信息进行解码的设备，该设备包括：解码器，该解码器被配置为从比特流中对关于所述当前块的预测信息的语法元素进行解码；预测信息候选生成器，该预测信息候选生成器被配置为使用所述当前块周围的邻近块来生成预测信息候选；以及预测信息确定器，该预测信息确定器被配置为使用所述预测信息候选和经解码的所述语法元素来重构关于所述当前块的预测信息，其中，当所述当前块的边界与所述第一面的边界重合时，所述预测信息候选生成器将基于所述360视频与所述当前块邻接的块设置为所述邻近块的至少一部分。附图说明图1是360视频的等距柱状投影格式的示例性视图，图2是根据本专利技术的实施方式的视频编码设备的框图，图3是使用四叉树加二叉树(QTBT)结构的块分离(split)的示例图，图4是多种帧内预测模式的示例图，图5是当前块的邻近块的示例图，图6是360视频的各种投影格式的示例图，图7是立方体投影格式的布局的示例图，图8是用于说明立方体投影格式下的布局的重新布置的示例图，图9是根据本专利技术的实施方式的被配置为生成关于360视频中的当前块的预测信息的语法元素的设备的框图，图10是用于说明确定应用紧凑布局的立方体格式下的当前块的邻近块的方法的示例图，图11是示出当图9的设备被应用于帧内预测时图2的帧内预测器的详细配置的图，图12是用于说明配置立方体格式下的用于帧内预测的参考样本的方法的示例图，图13是用于说明配置各种投影格式下的用于帧内预测的参考样本的方法的示例图，图14是示出当图9的设备被应用于帧间预测时图2的帧间预测器的详细配置的图，图15是根据本专利技术的实施方式的视频解码设备的框图，图16是根据本专利技术的实施方式的被配置为对关于360视频中的当前块的预测信息进行解码的设备的框图，图17是示出当图16的设备被应用于帧内预测时图15的帧内预测器的详细配置的图，图18是示出当图16的设备被应用于帧间预测时图15的帧间预测器的详细配置的图。具体实施方式下文中，将参照附图详细地描述本专利技术的一些实施方式。应当注意，在将附图标记添加到相应附图中的组成元件时，相似的附图标记指定相似的元件，尽管这些元件是在不同附图中被示出的。另外，在对本专利技术的以下描述中，当对并入到本文中的已知功能和配置的详细描述会使本专利技术的主题相当不清楚时，将省略该详细描述。图2是根据本专利技术的实施方式的视频编码设备的框图。视频编码设备包括块分离器210、预测器220、减法器230、变换器240、量化器245、编码器250、逆量化器260、逆变换器265、加法器270、滤波器单元280和存储器290。视频编码设备的每个元件都可以被实现为硬件芯片，或者可以被实现为软件，并且微处理器可以被实现为执行与相应元件对应的软件的功能。块分离器210将构成视频的每个图片分离成多个编码树单元(CTU)，然后使用树结构来递归地分离CTU。树结构中的叶节点是编码单元(CU)，CU是编码的基本单元。可以使用其中节点被分离成四个子节点的四叉树(QT)结构或者将QT结构与其中节点被分离成两个子节点的二叉树(BT)结构相结合的四叉树加二叉树(QTBT)结构作为树结构。在四叉树加二叉树(QTBT)结构中，可以首先根据QT结构分离CTU。此后，可以按BT进一步分离QT的叶节点。由块分离器210通过按QTBT结构分割CTU而生成的分离信息由编码器250编码并被发送到解码设备。在QT中，对指示是否分离对应节点的块的第一标志(QT_split_flag)进行编码。当第一标志为1时，节点的块被分离成相同大小的四个块。当第一标志为0时，不进一步按QT分离节点。在BT中，对指示是否分离对应节点的块的第二标志(BT_split_flag)进行编码。BT可以具有多种分离类型。例如，可以存在将节点的块水平地分离成相同大小的两个块的类型以及将节点的块垂直地分离成相同大小的两个块的类型。另外，可以存在将节点的块不对称地分离成两个块的另一种类型。不对称分离类型可以包括将节点的块以1:3的比例分离成两个矩形块的类型或者按对角线本文档来自技高网...

【技术保护点】
1.一种对预测信息进行编码的方法，该预测信息为关于位于在对从360视频投影得到的2D图像的每个面进行编码时待编码的第一面中的当前块的预测信息，该方法包括以下步骤：使用所述当前块周围的邻近块来生成预测信息候选；以及使用所述预测信息候选来对关于所述当前块的所述预测信息的语法元素进行编码，其中，当所述当前块的边界与所述第一面的边界重合时，将基于所述360视频与所述当前块邻接的块设置为所述邻近块的至少一部分。

【技术特征摘要】
【国外来华专利技术】2016.10.17 KR 10-2016-0134654;2017.01.09 KR 10-2011.一种对预测信息进行编码的方法，该预测信息为关于位于在对从360视频投影得到的2D图像的每个面进行编码时待编码的第一面中的当前块的预测信息，该方法包括以下步骤：使用所述当前块周围的邻近块来生成预测信息候选；以及使用所述预测信息候选来对关于所述当前块的所述预测信息的语法元素进行编码，其中，当所述当前块的边界与所述第一面的边界重合时，将基于所述360视频与所述当前块邻接的块设置为所述邻近块的至少一部分。2.根据权利要求1所述的方法，其中，当所述当前块的边界与所述第一面的边界重合时设置所述邻近块的至少一部分的步骤包括以下步骤：识别所述360视频中与所述当前块的边界邻接并且已经被编码的第二面；以及将位于所述第二面中并且在所述360视频中与所述当前块相邻的一个或更多个块设置为所述邻近块的至少一部分。3.根据权利要求2所述的方法，其中，基于所述当前块的位置来确定所述当前块的边界是否与所述第一面的边界重合。4.根据权利要求1所述的方法，其中，通过投影格式、每个面的索引和关于每个面的旋转信息中的至少一个来识别基于所述360视频与所述当前块邻接的块。5.根据权利要求1所述的方法，其中，所述预测信息是帧内预测模式，并且所述预测信息候选是最可能模式MPM。6.根据权利要求5所述的方法，其中，所述MPM是用位于所述当前块周围的预先指定的位置处的邻近块的帧内预测模式推导出的，所述预先指定的位置包括所述当前块的左、上、左下、右上或左上当中的多个位置。7.根据权利要求5所述的方法，其中，对关于所述当前块的所述预测信息的所述语法元素进行编码的步骤包括以下步骤：对指示是否从所述MPM当中选择了所述当前块的帧内预测模式的模式信息进行编码；当从所述MPM当中选择了所述当前块的帧内预测模式时，对指示所述MPM中的哪一个被选定为所述当前块的帧内预测模式的第一帧内识别信息进行编码；以及当未从所述MPM当中选择所述当前块的帧内预测信息时，对指示除了所述MPM之外的多种帧内预测模式当中的所述当前块的帧内预测模式的第二帧内识别信息进行编码。8.根据权利要求1所述的方法，该方法还包括以下步骤：对指示是否允许不同的面之间的参照的标志进行编码，其中，当所述标志指示...

【专利技术属性】
技术研发人员：林晶娟，李善英，孙世勋，申在燮，金炯德，李京泽，
申请(专利权)人：SK电信有限公司，
类型：发明
国别省市：韩国,KR