用于360度视频的帧内预测制造技术

一种视频译码器可基于360度视频数据的当前图片的当前块的定位和定义所述当前图片中的多个区的布置的打包布置来确定参考样本。所述当前图片处于投影域中且所述多个区中的每一相应区是由360度视频数据的投影定义的相应面。所述区根据所述打包布置而布置在所述当前图片中。基于所述当前块的所述定位在所述第一区的邻近于所述第二区的边界处且在所述边界处存在因所述打包布置所致的不连续性，所述参考样本是所述当前图片的在球面域中且不在所述投影域中与所述当前块在空间上相邻的图片样本。

【技术实现步骤摘要】
【国外来华专利技术】用于360度视频的帧内预测本申请要求2019年2月8日申请的美国专利申请第16/271,065号的优先权，所述申请要求2018年2月14日申请的美国临时专利申请第62/630,714号的权益，所述申请中的每一个的全部内容以引用方式并入。
本公开涉及视频编码和视频解码。
技术介绍
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电话(所谓的“智能电话”)、视频电传会议装置、视频流播装置和其类似物。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)、高效视频译码(HEVC)标准、ITU-TH.265/高效视频译码(HEVC)定义的标准，和这种标准的扩展中所描述的那些技术。视频装置可通过实施这种视频译码技术来更有效地发射、接收、编码、解码和/或存储数字视频信息。视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或去除为视频序列所固有的冗余。针对基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可分割成视频块，视频块也可称作译码树单元(CTU)、译码单元(CU)和/或译码节点。图片的帧内所译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的帧间所译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可称作帧，且参考图片可称作参考帧。
技术实现思路
一般来说，本公开描述选择用于针对具有立方体贴图投影(CMP)和其衍生投影(例如调整后的立方体贴图投影(ACP)和赤道圆柱投影(ECP))的360°视频的帧内预测的参考的技术。由于360°视频的立方体贴图投影可包括或由若干不连续区组成，所以选择用于帧内预测的参考的现有方法(其一般使用来自当前块的上方或左方或右方的邻近块的参考样本)不起作用，因为参考样本可能取决于投影的面如何打包/结构化而在不同区中。在一个实例中，本公开描述一种译码360度视频数据的方法，所述方法包括：基于360度视频数据的当前图片的当前块的定位和定义当前图片中的多个区的布置的打包布置来确定参考样本，其中：当前图片处于投影域中，多个区中的每一相应区是由360度视频数据的投影定义的相应面，投影是立方体贴图投影(CMP)或CMP的衍生投影，所述区包含第一区和第二区，所述区根据打包布置而布置在当前图片中，基于当前块的定位在邻近于第二区的第一区的边界处且在边界处存在因打包布置所致的不连续性，参考样本是当前图片的在球面域中且不在投影域中与当前块在空间上相邻的图片样本；和基于所确定的参考样本中的一或多个使用帧内预测来产生当前块的预测块。在另一实例中，本公开描述一种用于译码360度视频数据的装置，所述装置包括：存储器，其配置成存储360度视频数据；和一或多个处理器，其实施于电路中，一或多个处理器配置成：基于360度视频数据的当前图片的当前块的定位和定义进入当前图片的多个区的布置的打包布置来确定参考样本，其中：当前图片处于投影域中，多个区中的每一相应区是由360度视频数据的投影定义的相应面，投影是立方体贴图投影(CMP)或CMP的衍生投影，所述区包含第一区和第二区，所述区根据打包布置而布置在当前图片中，基于当前块的定位在邻近于第二区的第一区的边界处且在边界处存在因打包布置所致的不连续性，参考样本是当前图片的在球面域中且不在投影域中与当前块在空间上相邻的图片样本；和基于所确定的参考样本中的一或多个使用帧内预测来产生当前块的预测块。在另一实例中，本公开描述一种用于译码视频数据的装置，所述装置包括：用于基于360度视频数据的当前图片的当前块的定位和定义当前图片中的多个区的布置的打包布置来确定参考样本的装置，其中：当前图片处于投影域中，多个区中的每一相应区是由360度视频数据的投影定义的相应面，投影是立方体贴图投影(CMP)或CMP的衍生投影，所述区包含第一区和第二区，所述区根据打包布置而布置在当前图片中，基于当前块的定位在邻近于第二区的第一区的边界处且在边界处存在因打包布置所致的不连续性，参考样本是当前图片的在球面域中且不在投影域中与当前块在空间上相邻的图片样本；和用于基于所确定的参考样本中的一或多个使用帧内预测来产生当前块的预测块的装置。在另一实例中，本公开描述一种计算机可读存储介质，其具有存储在其上的指令，所述指令在执行时使得一或多个处理器：基于360度视频数据的当前图片的当前块的定位和定义进入当前图片的多个区的布置的打包布置来确定参考样本，其中：当前图片处于投影域中，多个区中的每一相应区是由360度视频数据的投影定义的相应面，投影是立方体贴图投影(CMP)或CMP的衍生投影，所述区包含第一区和第二区，所述区根据打包布置而布置在当前图片中，基于当前块的定位在邻近于第二区的第一区的边界处且在边界处存在因打包布置所致的不连续性，参考样本是当前图片的在球面域中且不在投影域中与当前块在空间上相邻的图片样本；和基于所确定的参考样本中的一或多个使用帧内预测来产生当前块的预测块。在以下附图和描述中阐述一或多个实例的细节。其它特征、目标和优点从描述、图式和权利要求书将是显而易见的。附图说明图1是说明可进行本公开的技术的实例视频编码和解码系统的框图。图2A、2B和2C说明实例立方体和呈2维帧的立方体贴图的实例表示。图3说明具有立方体贴图(CMP)投影的360度视频的实例紧凑表示。图4A和图4B说明在先前帧内预测程序中使用的参考样本、在本公开的帧内预测程序中使用的参考样本和解析和译码参考样本的方向。图5A和图5B说明其中可根据本公开的技术来应用参考样本选择的块的实例区域。图6A到6F说明针对不同类型的打包布置的参考样本选择。图7说明根据本公开的技术的实例参考样本复制方法。图8A和图8B说明最右边界处的块的参考样本。图9A到图9D说明最左下边界处的块的参考样本。图10说明根据本公开的技术的针对参考样本的实例几何推导程序。图11是说明根据本公开的技术的用于确定参考样本的实例方法的流程图。图12是说明可进行本公开的技术的实例视频编码器的框图。图13是说明可进行本公开的技术的实例视频解码器的框图。图14是说明用于编码当前块的实例方法的流程图。图15是说明用于解码视频数据的当前块的实例方法的流程图。图16是说明根据本公开的技术的用于译码360度视频数据的实例操作的流程图。具体实本文档来自技高网...

【技术保护点】
1.一种译码360度视频数据的方法，所述方法包括：/n基于所述360度视频数据的当前图片的当前块的定位和定义所述当前图片中的多个区的布置的打包布置来确定参考样本，其中：/n所述当前图片处于投影域中，/n所述多个区中的每一相应区是由360度视频数据的投影定义的相应面，所述投影是立方体贴图投影CMP或所述CMP的衍生投影，所述区包含第一区和第二区，/n所述区根据所述打包布置而布置在所述当前图片中，/n基于所述当前块的所述定位在所述第一区的邻近于所述第二区的边界处且在所述边界处存在因所述打包布置所致的不连续性，所述参考样本是所述当前图片的在球面域中且不在所述投影域中与所述当前块在空间上相邻的图片样本；和/n基于所确定的参考样本中的一或多个使用帧内预测来产生所述当前块的预测块。/n

【技术特征摘要】
【国外来华专利技术】20180214 US 62/630,714;20190208 US 16/271,0651.一种译码360度视频数据的方法，所述方法包括：
基于所述360度视频数据的当前图片的当前块的定位和定义所述当前图片中的多个区的布置的打包布置来确定参考样本，其中：
所述当前图片处于投影域中，
所述多个区中的每一相应区是由360度视频数据的投影定义的相应面，所述投影是立方体贴图投影CMP或所述CMP的衍生投影，所述区包含第一区和第二区，
所述区根据所述打包布置而布置在所述当前图片中，
基于所述当前块的所述定位在所述第一区的邻近于所述第二区的边界处且在所述边界处存在因所述打包布置所致的不连续性，所述参考样本是所述当前图片的在球面域中且不在所述投影域中与所述当前块在空间上相邻的图片样本；和
基于所确定的参考样本中的一或多个使用帧内预测来产生所述当前块的预测块。


2.根据权利要求1所述的方法，其中译码包括编码且所述方法进一步包括基于所述预测块和所述当前块的样本来产生残余数据。


3.根据权利要求1所述的方法，其中译码包括解码且所述方法进一步包括基于所述预测块的样本和残余样本来重构所述当前块的样本。


4.根据权利要求1所述的方法，其中所述第一区的所述边界在所述投影域中邻近于所述第二区的边界且所述第一区的所述边界未在所述球面域中邻近于所述第二区的所述边界。


5.根据权利要求4所述的方法，其中所述第一区的所述边界未在所述投影域中邻近于所述多个区中的第三区的边界，且所述参考样本是所述第三区中的样本的拷贝。


6.根据权利要求4所述的方法，其中所述当前块是第一块且以下中的一个适用：
所述当前块的第二块在所述投影域中是所述当前图片中的最右块且处于所述当前图片的下半部分中，且在所述球面域中与所述第二块在空间上相邻的参考样本各自在所述当前图片内，或
所述第二块是所述当前图片中的最左下块，且在所述球面域中与所述第二块在空间上相邻的所述参考样本各自在所述当前图片内。


7.根据权利要求1所述的方法，其中确定所述参考样本包括：
基于所述参考样本的定位来确定球面上的相关联定位；
将所述相关联定位投影回到所述当前图片以确定投影定位；和
使用所述投影定位来确定在所述球面域中与所述当前块在空间上相邻的所述样本。


8.根据权利要求1所述的方法，其中确定所述参考样本包括从在所述球面域中与所述当前块在空间上相邻的样本复制所述参考样本。


9.根据权利要求1所述的方法，确定所述参考样本包括基于所述当前块位于所述第一区的所述边界处来：
应用几何推导来确定参考样本定位；和
确定参考样本的值，其中：
当所述参考样本定位未处于任何可用区域中时，所述参考样本是在所述球面域中与所述当前样本相邻的相邻样本的拷贝，且
当所述参考样本定位处于可用区域中时，使用所述参考样本定位处的样本作为所述参考样本。


10.根据权利要求9所述的方法，其中所述当前块是所述当前图片的第一块，且所述方法进一步包括：
基于所述图片的第二块不位于所述区中的任一个的边界处，确定针对所述第二块的参考样本的值作为在所述投影域中与所述第二块在空间上相邻的样本的拷贝。


11.一种用于译码360度视频数据的装置，所述装置包括：
存储器，其配置成存储所述360度视频数据；和
一或多个处理器，其实施于电路中，所述一或多个处理器配置成：
基于所述360度视频数据的当前图片的当前块的定位和定义进入所述当前图片的多个区的布置的打包布置来确定参考样本，其中：
所述当前图片处于投影域中，
所述多个区中的每一相应区是由360度视频数据的投影定义的相应面，所述投影是立方体贴图投影CMP或所述CMP的衍生投影，所述区包含第一区和第二区，
所述区根据所述打包布置而布置在所述当前图片中，
基于所述当前块的所述定位在所述第一区的邻近于所述第二区的边界处且在所述边界处存在因所述打包布置所致的不连续性，所述参考样本是所述当前图片的在球面域中且不在所述投影域中与所述当前块在空间上相邻的图片样本；和
基于所确定的参考样本中的一或多个使用帧内预测来产生所述当前块的预测块。


12.根据权利要求11...

【专利技术属性】
技术研发人员：F·亨利，G·范德奥维拉，M·Z·科班，M·卡切维奇，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US