用于具有重组的视频译码的非可分离二次变换制造技术

本发明专利技术描述其中解码器经配置以根据系数扫描次序将第一2维系数块重组为第一1维系数向量并将第一逆变换应用于所述第一1维系数向量以产生第二1维系数向量的技术。所述第一逆变换为非可分离变换。所述解码器经进一步配置以将所述第一1维系数向量重组为第二2维系数块并将第二逆变换应用于所述第二2维系数块以产生残差视频块。所述第二逆变换将所述第二2维系数块从频域转换到像素域。所述解码器经进一步配置以形成经解码视频块，其中形成所述经解码视频块包括将所述残差视频块与一或多个预测性块求和。

【技术实现步骤摘要】
【国外来华专利技术】用于具有重组的视频译码的非可分离二次变换相关申请案本申请案主张2015年9月29日申请的第62/234,644号美国临时申请案，2016年2月12日申请的第62/294,897号美国临时申请案，2016年4月15日申请的第62/323,496号美国临时申请案，及2016年5月17日申请的第62/337,736号美国临时申请案的权利，所述案中的每一者的全部内容以引用的方式并入本文中。
本专利技术涉及视频译码。
技术介绍
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数字摄像机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能型电话”)、视频电话会议装置、视频流装置及其类似者。数字视频装置实施视频译码技术，例如包含由ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual、ITU-TH.264/MPEG-4高级视频译码(AVC)第10部分、及ITU-TH.265高效率视频译码(HEVC)所界定的各种标准及这些标准的扩展中所描述的那些技术。视频装置可通过实施这些视频译码技术来更有效率地发射、接收、编码、解码及/或存储数字视频信息。视频译码技术包含空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的一部分)分割成视频块(其也可被称作树型块)、译码单元(CU)及/或译码节点。可使用相对于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。空间或时间预测导致待译码块的预测性块。残差数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差的残差数据来编码经帧间译码块。根据帧内译码模式及残差数据编码经帧内译码块。为进行进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数，可随后量化所述残差变换系数。可扫描最初布置成二维阵列的经量化的变换系数以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。
技术实现思路
一般来说，本专利技术描述视频译码中的与应用于帧内或帧间预测残差数据的二次变换设计相关的技术。变换可用于高级视频编码解码器的情形中，例如HEVC的扩展或下一代视频译码标准。在一个实例中，本专利技术描述一种方法，所述方法包括：逆量化第一系数块；将第一逆变换应用于经逆量化第一系数块的至少部分以产生第二系数块，第一逆变换为非可分离变换；将第二逆变换应用于第二系数块以产生残差视频块，第二逆变换将第二系数块从频域转换到像素域；及形成经解码视频块，其中形成经解码视频块包括将残差视频块与一或多个预测性块求和。在一个实例中，本专利技术描述一种方法，所述方法包括：形成残差视频块，其中形成残差视频块包括从正被译码的视频块减去一或多个预测性块；将第一变换应用于残差视频块以产生第一系数块，第一变换将残差视频块从像素域转换到频域；将第二变换应用于第一系数块的至少部分以产生第二系数块，第二变换为非可分离变换；及量化第二系数块。在一个实例中，本专利技术描述一种用于解码视频数据的设备，所述设备包括：存储器，其经配置以存储视频数据；及视频解码器，其经配置以：逆量化第一系数块；将第一逆变换应用于经逆量化第一系数块的至少部分以产生第二系数块，第一逆变换为非可分离变换；将第二逆变换应用于第二系数块以产生残差视频块，第二逆变换将第二系数块从频域转换到像素域；将残差视频块与一或多个预测性块求和；及基于残差视频块与一或多个预测性块的和而形成经解码视频块。在一个实例中，本专利技术描述一种用于编码视频数据的设备，所述设备包括：存储器，其经配置以存储视频数据；及视频编码器，其经配置以：形成残差视频块，其中形成残差视频块包括从正被译码的视频块减去一或多个预测性块；将第一变换应用于残差视频块以产生第一系数块，第一变换将残差视频块从像素域转换到频域；将第二变换应用于第一系数块的至少部分以产生第二系数块，第二变换为非可分离变换；及量化第二系数块。在一个实例中，本专利技术描述一种用于解码视频数据的设备，所述设备包括：用于逆量化第一系数块的装置；用于将第一逆变换应用于经逆量化第一系数块的至少部分以产生第二系数块的装置，第一逆变换为非可分离变换；用于将第二逆变换应用于第二系数块以产生残差视频块的装置，第二逆变换将第二系数块从频域转换到像素域；及用于形成经解码视频块的装置，其中用于形成经解码视频块的所述装置包括用于将残差视频块与一或多个预测性块求和的装置。在一个实例中，本专利技术描述一种用于编码视频数据的设备，所述设备包括：用于形成残差视频块的装置，其中形成残差视频块包括从正被译码的视频块减去一或多个预测性块；用于将第一变换应用于残差视频块以产生第一系数块的装置，第一变换将残差视频块从像素域转换到频域；用于将第二变换应用于第一系数块的至少部分以产生第二系数块的装置，第二变换为非可分离变换；及用于量化第二系数块的装置。在一个实例中，本专利技术描述一种存储指令的非暂时性计算机可读存储媒体，所述指令当经执行时使得用于解码视频数据的装置的一个或多个处理器执行以下操作：逆量化第一系数块；将第一逆变换应用于经逆量化第一系数块的至少部分以产生第二系数块，第一逆变换为非可分离变换；将第二逆变换应用于第二系数块以产生残差视频块，第二逆变换将第二系数块从频域转换到像素域；将残差视频块与一或多个预测性块求和；及基于残差视频块与一或多个预测性块的和而形成经解码视频块。在一个实例中，本专利技术描述一种存储指令的非暂时性计算机可读存储媒体，所述指令当经执行时使得用于编码视频数据的装置的一个或多个处理器执行以下操作：形成残差视频块，其中形成残差视频块包括从正被译码的视频块减去一或多个预测性块；将第一变换应用于残差视频块以产生第一系数块，第一变换将残差视频块从像素域转换到频域；将第二变换应用于第一系数块的至少部分以产生第二系数块，第二变换为非可分离变换；及量化第二系数块。在一个实例中，本专利技术描述一种用于解码视频数据的方法，所述方法包括：根据系数扫描次序将第一2维系数块重组为第一1维系数向量；将第一逆变换应用于第一1维系数向量以产生第二1维系数向量，第一逆变换为非可分离变换；将第一1维系数向量重组为第二2维系数块；将第二逆变换应用于第二2维系数块以产生残差视频块，第二逆变换将第二2维系数块从频域转换到像素域；及形成经解码视频块，其中形成经解码视频块包括将残差视频块与一或多个预测性块求和。在一个实例中，本专利技术描述一种用于编码视频数据的方法，所述方法包括：形成残差视频块，其中形成残差视频块包括从正被译码的视频块减去一或多个预测性块；将第一变换应用于残差视频块的至少部分以产生第一2维系数块，第一变换将残本文档来自技高网...

【技术保护点】
一种用于解码视频数据的方法，所述方法包括：根据系数扫描次序将第一2维系数块重组为第一1维系数向量；将第一逆变换应用于所述第一1维系数向量以产生第二1维系数向量，所述第一逆变换为非可分离变换；将所述第一1维系数向量重组为第二2维系数块；将第二逆变换应用于所述第二2维系数块以产生残差视频块，所述第二逆变换将所述第二2维系数块从频域转换到像素域；及形成经解码视频块，其中形成所述经解码视频块包括将所述残差视频块与一或多个预测性块求和。

【技术特征摘要】
【国外来华专利技术】2015.09.29 US 62/234,644;2016.02.12 US 62/294,897;1.一种用于解码视频数据的方法，所述方法包括：根据系数扫描次序将第一2维系数块重组为第一1维系数向量；将第一逆变换应用于所述第一1维系数向量以产生第二1维系数向量，所述第一逆变换为非可分离变换；将所述第一1维系数向量重组为第二2维系数块；将第二逆变换应用于所述第二2维系数块以产生残差视频块，所述第二逆变换将所述第二2维系数块从频域转换到像素域；及形成经解码视频块，其中形成所述经解码视频块包括将所述残差视频块与一或多个预测性块求和。2.根据权利要求1所述的方法，其中：所述第一2维系数块为4×4系数群，所述方法进一步包括确定用于所述4×4系数群的所述系数扫描次序，及将所述第一2维系数块重组为所述第一1维系数向量包括基于所述经确定系数扫描次序将所述第一2维系数块重组为所述第一1维系数向量。3.根据权利要求1所述的方法，其中所述第一2维系数块为第一4×4系数块，所述第一1维系数向量为16×1系数向量，且所述第二2维系数块为第二4×4系数块，所述方法进一步包括：根据所述系数扫描次序重组所述第一2维系数块，其中在所述第一2维系数块中的具有较小索引值的系数放置在所述第一1维系数向量中的较小扫描索引位置处。4.根据权利要求1所述的方法，其中：所述第一2维系数块为4×4系数群，且将所述第一2维系数块重组为所述第一1维系数向量是基于经解码信息，所述经解码信息包括帧内预测模式、译码单元CU层级增强型多变换EMT索引、变换单元TU层级EMT索引、残差四分树深度或经量化系数中的一或多者。5.根据权利要求1所述的方法，其中将所述第一逆变换应用于所述第一1维系数向量是基于所述第二2维系数块的非零系数的量不大于阈值。6.根据权利要求5所述的方法，其中所述阈值针对所述视频数据的不同块大小、不同帧内预测模式或其一组合是不同的。7.根据权利要求1所述的方法，其进一步包括：基于共享所述第一逆变换的索引的多个色彩分量的非零系数的总数的和、总绝对和或平方值的和不大于所述阈值而确定所述第一逆变换的所述索引是在所述视频数据的位流中传信；解码包括所述第一逆变换的所述索引的块层级语法元素，其中所述索引用于所述多个色彩分量中的每一者；及将所述第一逆变换应用于所述第一1维系数向量包括基于所述第一逆变换的所述索引对所述第一1维系数向量执行所述第一逆变换。8.根据权利要求1所述的方法，其进一步包括：基于在变换跳过模式中译码变换单元而确定所述第一逆变换的索引是在所述视频数据的位流中传信；从所述位流解码所述第一逆变换的所述索引，其中将所述第一逆变换应用于所述第一1维系数向量包括基于所述第一逆变换的所述索引对所述第一1维系数向量执行所述第一逆变换。9.根据权利要求1所述的方法，其进一步包括：将M×N个系数块分成多个非重叠4×4子块，所述多个非重叠4×4子块包含所述第一2维系数块，M及N各自大于4，M及N各自为4的倍数，且M不等于N；及针对所述多个非重叠4×4子块中的每一4×4子块执行所述第一逆变换以产生多个2维系数块，所述多个2维系数块包含所述第二2维系数块。10.根据权利要求1所述的方法，其中应用所述第一逆变换包括将2维变换矩阵乘以所述第一1维系数向量。11.根据权利要求10所述的方法，其中所述第一2维系数块为4×4块且所述2维变换矩阵为通过明度帧内预测模式及译码单元层级索引选择的16×16非可分离变换矩阵。12.根据权利要求1所述的方法，其进一步包括：逆量化所述第一2维系数块。13.一种用于编码视频数据的方法，所述方法包括：形成残差视频块，其中形成所述残差视频块包括从正被译码的视频块减去一或多个预测性块；将第一变换应用于所述残余视频块的至少部分以产生第一2维系数块，所述第一变换将所述残差视频块从像素域转换到频域；将所述第一2维系数块重组为第一1维系数向量；将第二变换应用于所述第一1维系数向量的至少部分以产生第二1维系数向量，所述第二变换为非可分离变换；及根据系数扫描次序将所述第二1维系数向量重组为第二2维系数块。14.根据权利要求13所述的方法，其中：所述第二2维系数块为4×4系数群，所述方法进一步包括确定所述4×4系数群的系数扫描次序，及将所述第二1维系数向量重组为所述第二2维系数块包括基于所述经确定系数扫描次序将所述第二1维系数向量重组为所述第二2维系数块。15.根据权利要求13所述的方法，其中所述第一2维系数块为第一4×4系数块，所述第二1维系数向量为16×1系数向量，且所述第二2维系数块为第二4×4系数块，所述方法进一步包括：根据所述系数扫描次序重组所述第二1维系数向量，其中在所述第二1维系数向量中的具有较小索引值的系数是放置在所述第二2维系数块中的较小扫描索引位置处。16.根据权利要求13所述的方法，其中：所述第二2维系数块为4×4系数群，且将所述第二1维系数向量重组为所述第二2维系数块是基于帧内预测模式、译码单元CU层级增强型多变换EMT索引、变换单元TU层级EMT索引、残差四分树深度或经量化系数中的一或多者。17.根据权利要求13所述的方法，其进一步包括：确定所述第二2维系数块的非零系数的量是否不大于阈值，其中将所述第二变换应用于所述第一2维系数块的至少部分是响应于确定所述第二2维系数块的非零系数的所述量不大于所述阈值。18.根据权利要求17所述的方法，其中所述阈值针对所述视频数据的不同块大小、不同帧内预测模式或其组合而不同。19.根据权利要求13所述的方法，其进一步包括：确定是否在所述视频数据的位流中编码所述第二变换的索引，其中基于共享所述第二逆变换的所述索引的多个色彩分量的非零系数的总数的和、总绝对和或平方值的和不大于所述阈值而进行所述第二逆变换的所述索引不在所述位流中编码的确定，其中：所述第二变换的所述索引是在块层级处传信并经共享用于所述多个色彩分量，且将所述第二变换应用于所述第一2维系数块的至少部分包括基于所述第二变换的所述索引是在所述位流中传信而对所述第一2维系数块的至少部分执行所述第二变换。20.根据权利要求13所述的方法，其进一步包括：基于正在变换跳过模式中译码变换单元而确定是否在所述视频数据的位流中编码所述第二变换的索引，其中将所述第二变换应用于所述第一2维系数块的至少部分包括基于所述第二变换的所述索引在所述位流中传信而对所述第一2维系数块的至少部分执行所述第二变换。21.根据权利要求13所述的方法，其进一步包括：将M×N系数块分成多个非重叠4×4子块，所述多个非重叠4×4子块包含所述第一2维系数块，M及N各自大于4，M及N各自为4的倍数，且M不等于N；及对于所述多个非重叠4×4子块中的每一4×4子块执行所述第二变换以产生多个2维系数块，所述多个2维系数块包含所述第二2维系数块。22.根据权利要求13所述的方法，其中应用所述第二变换包括将2维变换矩阵乘以所述第一1维系数向量。23.根据权利要求22所述的方法，其中所述第一2维系数块为4×4块且所述2维变换矩阵为通过明度帧内预测模式及译码单元层级索引选择的16×16非可分离变换矩阵。24.根据权利要求13所述的方法，其进一步包括：量化所述第二2维系数块。25.一种用于解码视频数据的设备，其包括：存储器，其经配置以存储所述视频数据；及视频解码器，其经配置以：根据系数扫描次序将第一2维系数块重组为第一1维系数向量；将第一逆变换应用于所述第一1维系数向量以产生第二1维系数向量，所述第一逆变换为非可分离变换；将所述第一1维系数向量重组为第二2维系数块；将第二逆变换应用于所述第二2维系数块以产生残差视频块，所述第二逆变换将所述第二2维系数块从频域转换到像素域；将所述残差视频块与一或多个预测性块求和；及基于所述残差视频块与一或多个预测性块的所述和形成经解码视频块。26.根据权利要求25所述的设备，其中所述第一2维系数块为4×4系数群且所述视频解码器经进一步配置以：确定用于所述4×4系数群的系数扫描次序；及将所述第一2维系数块重组为所述第一1维系数向量，包括基于所述经确定系数扫描次序将所述第一2维系数块重组为所述第一1维系数向量。27.根据权利要求25所述的设备，其中所述第一2维系数块为第一4×4系数块，所述第一1维系数向量为16×1系数向量，所述第二2维系数块为第二4×4系数块，且所述视频解码器经进一步配置以：根据所述系数扫描次序重组所述第一2维系数块，其中在所述第一2维系数块中的具有较小索引值的系数放置在所述第一1维系数向量中的较小...

【专利技术属性】
技术研发人员：赵欣，陈建乐，阿米尔·赛义德，马尔塔·卡切维奇，瓦迪姆·谢廖金，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US