视频译码中具有非正方形预测块的照明补偿制造技术

本发明专利技术提供一种视频译码器，其使用照明补偿IC产生视频数据的当前图片的当前译码单元CU的当前预测单元PU的非正方形预测性块。在此情况下，所述视频译码器子采样第一参考样本集合，使得所述第一经子采样参考样本集合中的参考样本的总数目等于2m。另外，所述视频译码器子采样第二视图参考样本集合，使得所述第二经子采样参考样本集合中的参考样本的总数目等于2m。所述视频译码器基于所述第一经子采样参考样本集合及所述第二经子采样参考样本集合确定第一IC参数。所述视频译码器使用所述第一IC参数确定所述非正方形预测性块的样本。

Illumination compensation with non square prediction blocks in video decoding

The present invention provides a video decoder that uses lighting to compensate for a non square predictability block of the current prediction unit PU of the current decoding unit CU of the current picture of the video data generated by the IC. In this case, the video decoder subsamples the first reference sample set so that the total number of reference samples in the first subsampling reference sample set is equal to 2m. In addition, the video decoder subsamples a set of second view reference samples so that the total number of reference samples in the second subsampling reference sample set is equal to 2m. The video decoder determines the first IC parameter based on the first sub sample reference set and the second sub sampling reference sample set. The video decoder uses the first IC parameter to determine the sample of the non square predictive block.

【技术实现步骤摘要】
【国外来华专利技术】视频译码中具有非正方形预测块的照明补偿本申请案要求2015年11月25日申请的美国临时专利申请案62/260,103及2016年3月18日申请的美国临时专利申请案62/310,271的权益，所述申请案中的每一者的全部内容以引用的方式并入本文中。
本公开涉及视频编码及视频解码。
技术介绍
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能型电话”)、视频电话会议装置、视频流式传输装置等。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准及这些标准的扩展中所描述的技术。视频装置可通过实施这些视频译码技术来更有效地发射、接收、编码、解码及/或存储数字视频信息。视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的一部分)分割成视频块(其还可被称作树型块)、译码单元(CU)及/或译码节点。图片可被称作帧，且参考图片可被称作参考帧。空间或时间预测产生待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而导致残余变换系数，可接着量化所述残余变换系数。可应用熵译码以实现甚至更多压缩。
技术实现思路
本专利技术涉及帧内及帧间预测分割、非正方形变换、非正方形块的帧内及帧间译码模式及相关联的熵译码。本专利技术的技术可用于高级视频编解码器的上下文中，例如HEVC的扩展或视频译码标准的下一代中。在一个实例中，照明补偿过程适用于与非正方形预测单元(PU)一起使用。特定地说，在非正方形预测块存在下针对确定用于IC的参数而描述技术。在一个实例中，本专利技术描述一种解码视频数据的方法，所述方法包含：通过视频解码器接收包含所述视频数据的经编码表示的位流；通过视频解码器使用照明补偿(IC)产生视频数据的当前图片的当前译码单元(CU)的当前预测单元(PU)的非正方形预测性块，其中使用IC产生非正方形预测性块包含：通过视频解码器基于当前PU的向量确定参考图片中的参考块，参考块及非正方形预测性块具有相同大小及形状；通过视频解码器子采样第一参考样本集合以产生具有第一子采样比率的第一经子采样参考样本集合，第一参考样本集合中的参考样本的总数目不等于2m，且第一经子采样参考样本集合中的参考样本的总数目等于2m，其中第一参考样本集合包含沿非正方形预测性块的左侧及顶侧在非正方形预测性块外的样本，且m为整数；通过视频解码器子采样第二参考样本集合以产生具有第二子采样比率的第二经子采样参考样本集合，第二参考样本集合中的参考样本的总数目不等于2m，且第二经子采样参考样本集合中的参考样本的总数目等于2m，其中第二参考样本集合包含沿参考块的左侧及顶侧在参考块外的样本；通过视频解码器基于第一经子采样参考样本集合中的参考样本的总数目及第二经子采样参考样本集合中的参考样本的总数目、第一经子采样参考样本集合及第二经子采样参考样本集合确定第一IC参数；及通过视频解码器基于第一IC参数确定非正方形预测性块的样本；及通过视频解码器基于非正方形预测性块重建当前CU的译码块。在另一实例中，本专利技术描述一种编码视频数据的方法，所述方法包含：通过视频编码器接收视频数据；通过视频编码器使用照明补偿(IC)产生视频数据的当前图片的当前译码单元(CU)的当前预测单元(PU)的非正方形预测性块，其中使用IC产生非正方形预测性块包含：通过视频编码器基于当前PU的向量确定参考图片中的参考块，参考块及非正方形预测性块具有相同大小及形状；通过视频编码器子采样第一参考样本集合以产生具有第一子采样比率的第一经子采样参考样本集合，第一参考样本集合中的参考样本的总数目不等于2m，且第一经子采样参考样本集合中的参考样本的总数目等于2m，其中第一参考样本集合包含沿非正方形预测性块的左侧及顶侧在非正方形预测性块外的样本，且m为整数；通过视频编码器子采样第二参考样本集合以产生具有第二子采样比率的第二经子采样参考样本集合，第二参考样本集合中的参考样本的总数目不等于2m，且第二经子采样参考样本集合中的参考样本的总数目等于2m，其中第二参考样本集合包含沿参考块的左侧及顶侧在参考块外的样本；通过视频编码器基于第一经子采样参考样本集合中的参考样本的总数目及第二经子采样参考样本集合中的参考样本的总数目、第一经子采样参考样本集合及第二经子采样参考样本集合确定第一IC参数；及通过视频编码器基于非正方形预测性块产生残余数据；及通过视频编码器输出包括基于残余数据的数据的位流。在另一实例中，本专利技术描述一种用于解码视频数据的设备，所述设备包含：一或多个存储媒体，其经配置以存储视频数据；及视频解码器，其经配置以：接收包含视频数据的经编码表示的位流；使用照明补偿(IC)产生视频数据的当前图片的当前译码单元(CU)的当前预测单元(PU)的非正方形预测性块，其中视频解码器经配置使得作为使用IC产生非正方形预测性块的部分，所述视频解码器进行以下操作：基于当前PU的向量确定参考图片中的参考块，参考块及非正方形预测性块具有相同大小及形状；子采样第一参考样本集合以产生具有第一子采样比率的第一经子采样参考样本集合，第一参考样本集合中的参考样本的总数目不等于2m，且第一经子采样参考样本集合中的参考样本的总数目等于2m，其中第一参考样本集合包含沿非正方形预测性块的左侧及顶侧在非正方形预测性块外的样本，且m为整数；子采样第二参考样本集合以产生具有第二子采样比率的第二经子采样参考样本集合，第二参考样本集合中的参考样本的总数目不等于2m，且第二经子采样参考样本集合中的参考样本的总数目等于2m，其中第二参考样本集合包含沿参考块的左侧及顶侧在参考块外的样本；基于第一经子采样参考样本集合中的参考样本的总数目及第二经子采样参考样本集合中的参考样本的总数目、第一经子采样参考样本集合及第二经子采样参考样本集合确定第一IC参数；及基于第一IC参数确定非正方形预测性块的样本；及基于非正方形预测性块重建当前CU的译码块。在另一实例中，本专利技术描述一种用于编码视频数据的设备，所述设备包含：一或多个存储媒体，其经配置以存储视频数据；及视频编码器，其经配置以：使用照明补偿(IC)产生视频数据的当前图片的当前译码单元(CU)的当前预测单元(PU)的非正方形预测性块，其中所述视频编码器经配置使得作为使用IC产生非正方形预测性块的部分，所述视频编码器进行以下操作：基于当前PU的向量确定参考图片中的参考块，参考块及非正方形预测性块具有相同大小及形状；子采样第一参考样本集合以产生具有第一子采样比率的第一经子采样参考样本集合，第一参考样本集合中的参考样本的总数目不等于2m，且第一经子采样参考样本集合中的参考样本的总数目等于2m，其中第一参考样本集合包含沿非正方形预测性块的左侧及顶侧在非正方形预测性块外的本文档来自技高网...

【技术保护点】
1.一种解码视频数据的方法，所述方法包含：通过视频解码器接收包含所述视频数据的经编码表示的位流；通过所述视频解码器使用照明补偿IC产生所述视频数据的当前图片的当前译码单元CU的当前预测单元PU的非正方形预测性块，其中使用IC产生所述非正方形预测性块包含：通过所述视频解码器基于所述当前PU的向量确定参考图片中的参考块，所述参考块及所述非正方形预测性块具有相同大小及形状；通过所述视频解码器子采样第一参考样本集合以产生具有第一子采样比率的第一经子采样参考样本集合，所述第一参考样本集合中的参考样本的总数目不等于2m，且所述第一经子采样参考样本集合中的参考样本的总数目等于2m，其中所述第一参考样本集合包含沿所述非正方形预测性块的左侧及顶侧在所述非正方形预测性块外的样本，且m为整数；通过所述视频解码器子采样第二参考样本集合以产生具有第二子采样比率的第二经子采样参考样本集合，所述第二参考样本集合中的参考样本的总数目不等于2m，且所述第二经子采样参考样本集合中的参考样本的总数目等于2m，其中所述第二参考样本集合包含沿所述参考块的左侧及顶侧在所述参考块外的样本；通过所述视频解码器确定基于所述第一经子采样参考样本集合中的参考样本的所述总数目及所述第二经子采样参考样本集合中的参考样本的所述总数目、所述第一经子采样参考样本集合及所述第二经子采样参考样本集合确定第一IC参数；及通过所述视频解码器基于所述第一IC参数确定所述非正方形预测性块的样本；及通过所述视频解码器基于所述非正方形预测性块重建所述当前CU的译码块。...

【技术特征摘要】
【国外来华专利技术】2015.11.25 US 62/260,103;2016.03.18 US 62/310,271;1.一种解码视频数据的方法，所述方法包含：通过视频解码器接收包含所述视频数据的经编码表示的位流；通过所述视频解码器使用照明补偿IC产生所述视频数据的当前图片的当前译码单元CU的当前预测单元PU的非正方形预测性块，其中使用IC产生所述非正方形预测性块包含：通过所述视频解码器基于所述当前PU的向量确定参考图片中的参考块，所述参考块及所述非正方形预测性块具有相同大小及形状；通过所述视频解码器子采样第一参考样本集合以产生具有第一子采样比率的第一经子采样参考样本集合，所述第一参考样本集合中的参考样本的总数目不等于2m，且所述第一经子采样参考样本集合中的参考样本的总数目等于2m，其中所述第一参考样本集合包含沿所述非正方形预测性块的左侧及顶侧在所述非正方形预测性块外的样本，且m为整数；通过所述视频解码器子采样第二参考样本集合以产生具有第二子采样比率的第二经子采样参考样本集合，所述第二参考样本集合中的参考样本的总数目不等于2m，且所述第二经子采样参考样本集合中的参考样本的总数目等于2m，其中所述第二参考样本集合包含沿所述参考块的左侧及顶侧在所述参考块外的样本；通过所述视频解码器确定基于所述第一经子采样参考样本集合中的参考样本的所述总数目及所述第二经子采样参考样本集合中的参考样本的所述总数目、所述第一经子采样参考样本集合及所述第二经子采样参考样本集合确定第一IC参数；及通过所述视频解码器基于所述第一IC参数确定所述非正方形预测性块的样本；及通过所述视频解码器基于所述非正方形预测性块重建所述当前CU的译码块。2.根据权利要求1所述的方法，其中所述当前PU的所述向量为所述当前PU的视差向量，且所述参考图片为视图间参考图片。3.根据权利要求1所述的方法，其中确定所述第一IC参数包含通过所述视频解码器确定所述第一IC参数，使得所述第一IC参数是基于：其中2N标示所述第一经子采样参考样本集合中的参考样本的所述总数目及所述第二经子采样参考样本集合中的参考样本的所述总数目，Recneigh(i)标示所述第一经子采样参考样本集合中的第i参考样本，且Recrefneigh(i)标示所述第二经子采样参考样本集合中的第i参考样本；及其中所述非正方形预测性块的所述样本关于所述当前图片的左上角在坐标(i,j)处，且确定所述非正方形预测性块的所述样本包含通过所述视频解码器确定所述非正方形预测性块的所述样本，使得所述样本是基于：a*r(i+dvx,j+dvy+b)其中b为所述第一IC参数，a为第二IC参数，r为所述参考图片，dvx为所述当前PU的所述向量的水平分量，且dvy为所述当前PU的所述向量的竖直分量。4.根据权利要求3所述的方法，其中所述当前PU的所述向量为所述当前PU的视差向量，且所述参考图片为视图间参考图片。5.根据权利要求1所述的方法，其中使用IC产生所述非正方形预测性块进一步包含：通过所述视频解码器确定所述第二IC参数，使得所述第二IC参数是基于：6.根据权利要求1所述的方法，其中以下各者中的至少一者：子采样所述第一参考样本集合包含通过所述视频解码器抽取所述第一参考样本集合以产生所述第一经子采样参考样本集合；及子采样所述第二参考样本集合包含通过所述视频解码器抽取所述第二参考样本集合以产生所述第二经子采样参考样本集合。7.根据权利要求1所述的方法，其中以下各者中的至少一者：子采样所述第一参考样本集合包含通过所述视频解码器执行所述第一参考样本集合的内插采样以产生所述第一经子采样参考样本集合；及子采样所述第二参考样本集合包含通过所述视频解码器执行所述第二参考样本集合的内插采样以产生所述第二经子采样参考样本集合。8.根据权利要求1所述的方法，其中：所述方法进一步包含通过所述视频解码器从所述位流获得指示子采样方法的语法元素，及其中以下各者中的至少一者：子采样所述第一参考样本集合包含通过所述视频解码器使用所述所指示子采样方法来子采样所述第一参考样本集合以产生所述第一经子采样参考样本集合；或子采样所述第二参考样本集合包含通过所述视频解码器使用所述所指示子采样方法来子采样所述第二参考样本集合以产生所述第二经子采样参考样本集合。9.根据权利要求1所述的方法，其中：所述方法进一步包含通过所述视频解码器基于所述当前PU的大小确定子采样方法，及其中以下各者中的至少一者：子采样所述第一参考样本集合包含通过所述视频解码器使用所确定子采样方法来子采样所述第一参考样本集合以产生所述第一经子采样参考样本集合；或子采样所述第二参考样本集合包含通过所述视频解码器使用所确定子采样方法来子采样所述第二参考样本集合以产生所述第二经子采样参考样本集合。10.一种编码视频数据的方法，所述方法包含：通过视频编码器接收所述视频数据；通过所述视频编码器使用照明补偿IC产生所述视频数据的当前图片的当前译码单元CU的当前预测单元PU的非正方形预测性块，其中使用IC产生所述非正方形预测性块包含：通过所述视频编码器基于所述当前PU的向量确定参考图片中的参考块，所述参考块及所述非正方形预测性块具有相同大小及形状；通过所述视频编码器子采样第一参考样本集合以产生具有第一子采样比率的第一经子采样参考样本集合，所述第一参考样本集合中的参考样本的总数目不等于2m，且所述第一经子采样参考样本集合中的参考样本的总数目等于2m，其中所述第一参考样本集合包含沿所述非正方形预测性块的左侧及顶侧在所述非正方形预测性块外的样本，且m为整数；通过所述视频编码器子采样第二参考样本集合以产生具有第二子采样比率的第二经子采样参考样本集合，所述第二参考样本集合中的参考样本的总数目不等于2m，且所述第二经子采样参考样本集合中的参考样本的总数目等于2m，其中所述第二参考样本集合包含沿所述参考块的左侧及顶侧在所述参考块外的样本；通过所述视频编码器基于所述第一经子采样参考样本集合中的参考样本的所述总数目及所述第二经子采样参考样本集合中的参考样本的所述总数目、所述第一子采样的参考样本集合及所述第二子采样的参考样本集合确定第一IC参数；及通过所述视频编码器基于所述非正方形预测性块产生残余数据；及通过所述视频编码器输出包括基于所述残余数据的数据的位流。11.根据权利要求10所述的方法，其中所述当前PU的所述向量为所述当前PU的视差向量，且所述参考图片为视图间参考图片。12.根据权利要求10所述的方法，其中确定所述第一IC参数包含通过所述视频解码器确定所述第一IC参数，使得所述第一IC参数是基于：其中2N标示所述第一经子采样参考样本集合中的参考样本的所述总数目及所述第二经子采样参考样本集合中的参考样本的所述总数目，Recneigh(i)标示所述第一经子采样参考样本集合中的第i参考样本，且Recrefneigh(i)标示所述第二经子采样参考样本集合中的第i参考样本；及其中所述非正方形预测性块的所述样本关于所述当前图片的左上角在坐标(i,j)处，且确定所述非正方形预测性块的所述样本包含通过所述视频解码器确定所述非正方形预测性块的所述样本，使得所述样本是基于：a*r(i+dvx,j+dvy+b)其中b为所述第一IC参数，a为第二IC参数，r为所述参考图片，dvx为所述当前PU的所述向量的水平分量，且dvy为所述当前PU的所述向量的竖直分量。13.根据权利要求12所述的方法，其中所述当前PU的所述向量为所述当前PU的视差向量，且所述参考图片为视图间参考图片。14.根据权利要求10所述的方法，其中使用IC产生所述非正方形预测性块进一步包含：通过所述视频编码器确定所述第二IC参数，使得所述第二IC参数是基于：15.根据权利要求10所述的方法，其中以下各者中的至少一者：子采样所述参考样本集合包含通过所述视频编码器抽取所述第一参考样本集合以产生所述第一经子采样参考样本集合；及子采样所述第二参考样本集合包含通过所述视频编码器抽取所述第二参考样本集合以产生所述第二经子采样参考样本集合。16.根据权利要求10所述的方法，其中以下各者中的至少一者：子采样所述第一参考样本集合包含通过所述视频编码器执行所述第一参考样本集合的内插采样以产生所述第一经子采样参考样本集合；及子采样所述第二参考样本集合包含通过所述视频编码器执行所述第二参考样本集合的内插采样以产生所述第二经子采样参考样本集合。17.根据权利要求10所述的方法，其中：所述方法进一步包含通过所述视频编码器将指示子采样方法的语法元素包括于所述位流中，及其中以下各者中的至少一者：子采样所述第一参考样本集合包含通过所述视频编码器使用所述所指示子采样方法来子采样所述第一参考样本集合以产生所述第一经子采样参考样本集合；或子采样所述第二参考样本集合包含通过所述视频编码器使用所述所指示子采样方法来子采样所述第二参考样本集合以产生所述第二经子采样参考样本集合。18.根据权利要求10所述的方法，其中：所述方法进一步包含通过所述视频编码器基于所述当前PU的大小确定子采样方法，及其中以下各者中的至少一者：子采样所述第一参考样本集合包含通过所述视频编码器使用所确定子采样方法子来采样所述第一参考样本集合以产生所述第一经子采样参考样本集合；及子采样所述第二参考样本集合包含通过所述视频编码器使用所确定子采样方法来子采样所述第二参考样本集合以产生所述第二经子采样参考样本集合。19.一种用于解码视频数据的设备，所述设备包含：一或多个存储媒体，其经配置以存储所述视频数据；及视频解码器，其经配置以：接收包含所述视频数据的经编码表示的位流；使用照明补偿IC产生所述视频数据的当前图片的当前译码单元CU的当前预测单元PU的非正方形预测性块，其中所述视频解码器经配置使得作为使用IC产生所述非正方形预测性块的部分，所述视频解码器进行以下操作：基于所述当前PU的向量确定参考图片中的参考块，所述参考块及所述非正方形预测性块具有相同大小及形状；子采样第一参考样本集合以产生具有第一子采样比率的第一经子采样参考样本集合，所述第一参考样本集合中的参考样本的总数目不等于2m，且所述第一经子采样参考样本集合中的参考样本的总数目等于2m，其中所述第一参考样本集合包含沿所述非正方形预测性块的左侧及顶侧在所述非正方形预测性块外的样本，且m为整数；子采样第二参考样本集合以产生具有第二子采样比率的第二经子采样参考样本集合，所述第二参考样本集合中的参考样本的总数目不等于2m，且所述第二经子采样参考样本集合中的参考样本的总数目等于2m，其中所述第二参考样本集合包含沿所述参考块的左侧及顶侧在所述参考块外的样本；基于所述第一经子采样参考样本集合中的参考样本的所述总数目及所述第二经子采样参考样本集合中的参考样本的所述总数目、所述第一经子采样参考样本集合及所述第二经子采样参考样本集合确定第一IC参数；及基于所述第一IC参数确定所述非正方形预测性块的样本；及基于所述非正方形预测性块重建所述当前CU的译码块。20.根据权利要求19所述的设备，其中所述当前PU的所述向量为所述当前PU的视差向量，且所述参考图片为视图间参考图片。21.根据权利要求19所述的设备，其中所述视频解码器经配置以确定所述第一IC参数，使得所述第一IC参数是基于：其中2N标示所述第一经子采样参考样本集合中的参考样本的所述总数目及所述第二经子采样参考样本集合中的参考样本的所述总数目，Recneigh(i)标示所述第一经子采样参考样本集合中的第i参考样本，且Recrefneigh(i)标示所述第二经子采样参考样本集合中的第i参考样本；及其中所述非正方形预测性块的所述样本关于所述当前图片的左上角在坐标(i,j)处，且所述视频解码器经配置以确定所述非正方形预测性块的所述样本，使得所述样本是基于：a*r(i+dvx,j+dvy+b)其中b为所述第一IC参数，a为第二IC参数，r为所述参考图片，dvx为所述当前PU的所述向量的水平分量，且dvy为所述当前PU的所述向量的竖直分量。22.根据权利要求21所述的设备，其中所述当前PU的所述向量为所述当前PU的视差向量，且所述参考图片为视图间参考图片。23.根据权利要求19所述的设备，其中所述视频解码器经配置使得作为使用IC产生所述非正方形预测性块的部分，所述视频解码器进行以下操作：确定所述第二IC参数，使得所述第二IC参数是基于：24.根据权利要求19所述的设备，其中以下各者中的至少一者：所述视频解码器经配置使得作为子采样所述第一参考样本集合的部分，所述视频解码器抽取所述第一参考样本集合以产生所述第一经子采样参考样本集合；及所述视频解码器经配置使得作为...

【专利技术属性】
技术研发人员：张莉，陈建乐，钱威俊，赵欣，李翔，马尔塔·卡切维奇，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US