超变换视频代码化制造技术

超变换代码化包括识别预测代码化块的子块，使用超变换确定是否编码块，以及超预测代码化块。超预测代码化包括通过对块的每个未分区子块生成预测块来生成该块的超预测块，通过超预测代码化块来生成该块的每个分区子块的超预测块，并且将子块的预测块和超预测块包括在该块的超预测块中。将预测块和超预测块包括在超预测块中包括基于空间上相邻的预测块来滤波每个预测块和每个超预测块中的至少一部分。使用对应的超变换，变换该块的超预测块。

Super transform video coding

Supertransform coding includes identifying the subblocks of the predicted code block, using supertransform to determine whether the block is coded, and the hyper - prediction code block. Super prediction code including through each of the blocks is not partitioned sub blocks to generate ultra generation forecast prediction block of the block, the block of code to generate the prediction of super super prediction block for each partition the block, and the block prediction block and prediction block included in the pre super block test block. The prediction block and the super prediction block are included in the super prediction block, including the prediction blocks based on space, to filter at least one part of each prediction block and each super prediction block. Using the corresponding supertransformation, the superprediction block of the block is transformed.

【技术实现步骤摘要】
【国外来华专利技术】超变换视频代码化
技术介绍
数字视频能用于例如经由视频会议的远程商务会谈、高清晰度视频娱乐、视频广告、或用户生成的视频的共享。由于视频数据中包括大量数据，因此对于传输和存储需要高效能压缩。因此，提供在具有有限带宽的通信信道上传送的高分辨率视频将是有利的。
技术实现思路
本申请涉及编码和解码视频流数据以传输或存储。本文公开了使用超变换代码化进行编码和解码的系统、方法、和装置的方面。一个方面是一种用于使用超变换代码化进行视频代码化的方法。使用超变换代码化的视频代码化可以包括从来自输入视频流的当前帧识别输入块；以及通过将输入块用作当前块来超变换代码化输入块。超变换代码化包括响应于确定使用与当前块的大小相对应的预测块大小来编码当前块，确定与当前块相对应的预测块，预测块具有与当前块的大小相对应的预测块大小；以及使用具有在预测块大小内的变换大小的变换，基于预测块来生成变换块。超变换代码化可以包括响应于确定使用小于当前块的大小的预测块大小来编码当前块，从当前块中识别多个子块以供预测代码化当前块，其中，在当前块中，来自多个子块的第一子块与来自多个子块的第二子块在空间上相邻；响应于确定使用具有小于当前块的大小的变换大小的变换来编码当前块，将所述多个子块的每个子块用作当前块来超变换代码化相应子块；以及响应于确定使用具有与当前块的大小相对应的超变换大小的超变换来编码当前块，通过使用超变换来变换当前块的超预测块，将超预测块生成为变换块，其中，当前块的超预测块具有与当前块的大小相对应的超预测块大小，并且其中，生成超变换块包括通过超预测代码化当前块来生成当前块的超预测块。超预测代码化可以包括对来自多个子块的每个子块：响应于确定使用与子块的大小相对应的预测块大小编码子块，基于与子块相关联的运动向量来确定子块的预测块，响应于确定使用小于子块的大小的预测块大小来编码子块：从子块中识别多个分区以供预测代码化子块，其中，在子块中来自多个分区的第一分区与来自多个分区的第二分区在空间上相邻；以及将子块的超预测块生成为预测块，其中，子块的超预测块具有与子块的大小相对应的超预测块大小，其中，生成子块的超预测块包括通过将子块用作当前块以及将多个分区用作多个子块来超预测代码化子块，通过基于与用于当前块的超预测块空间上相邻的预测块来滤波预测块的至少一部分，生成滤波预测块，以及将所述滤波预测块包括在当前块的超预测块中，以及将变换块包括在输出比特流中。使用超变换代码化的视频代码化可以包括传输或存储输出比特流。另一方面是一种用于使用超变换代码化进行视频代码化的方法。在一些实施方式中，使用超变换代码化进行视频代码化可以包括：从来自输入视频流的当前帧识别输入块，以及通过将输入块用作当前块来超变换代码化输入块。超变换代码化可以包括：响应于确定使用与当前块的大小相对应的预测块大小来编码当前块，确定与当前块相对应的预测块，预测块具有与当前块的大小相对应的预测块大小；以及使用具有在预测块大小内的变换大小的变换，基于预测块来生成变换块。超变换代码化可以包括：响应于确定使用小于当前块的大小的预测块大小来编码当前块，从当前块中识别多个子块以供预测代码化当前块，其中，在当前块中，来自多个子块的第一子块与来自多个子块的第二子块在空间上相邻；响应于确定使用具有小于当前块的大小的变换大小的变换代码化当前块，通过将来自所述多个子块的每个子块用作当前块来超变换代码化相应子块；以及响应于确定使用具有与当前块的大小相对应的超变换大小的超变换来编码当前块，通过使用超变换来变换当前块的超预测块，将超预测块生成为变换块，其中，当前块的超预测块具有与当前块的大小相对应的超预测块大小，并且其中，生成超变换块包括通过超预测代码化当前块来生成当前块的超预测块。超预测代码化可以包括对来自多个子块的每个子块，响应于确定使用与子块的大小相对应的预测块大小编码子块：确定扩展预测块大小，其中，确定扩展预测块大小包括将所述预测块大小扩展超预测扩展大小，以及基于扩展预测块大小、超变换、以及与子块相关联的运动向量来确定预测块；响应于确定使用小于子块的大小的预测块大小来编码子块：从子块中识别多个分区以供预测代码化子块，其中，在子块中来自多个分区的第一分区与来自多个分区的第二分区在空间上相邻；以及将子块的超预测块生成为预测块，其中，子块的超预测块具有与子块的大小相对应的超预测块大小，其中，生成子块的超预测块包括通过将子块用作当前块以及将多个分区用作多个子块来超预测代码化子块，通过基于与当前块的超预测块在空间上相邻的预测块来滤波预测块的至少一部分而生成滤波预测块，以及将所述滤波预测块包括在当前块的超预测块中。超变换代码化可以包括将变换块包括在输出比特流中。使用超变换代码化的视频代码化可以包括传输或存储输出比特流。另一方面是一种用于使用超变换代码化进行视频代码化的方法。使用超变换代码化进行视频代码化可以包括：识别多个子块以供预测代码化当前块；以及响应于确定使用超变换来编码当前块，超预测代码化当前块。超预测代码化可以包括生成当前块的超预测块。生成当前块的超预测块可以包括对于来自当前块的每个未分区子块，生成预测块，以及将预测块包括在当前块的超预测块中。生成用于当前块的超预测块可以包括对于来自当前块中的每个分区子块，通过超预测代码化子块，生成用于子块的超预测块，以及将子块的超预测块作为预测块包括在当前块的超预测块中。生成当前块的超预测块可以包括基于来自当前块的超预测块的空间上相邻的预测块，从当前块的超预测块滤波每个预测块的至少一部分。超预测代码化可以包括基于当前块的超预测块来生成残差，通过使用具有与当前块的大小相对应的超变换大小的超变换变换残差来生成多个变换系数，将多个变换系数包括在输出比特流中，以及将超变换标志包括在输出比特流中。使用超变换代码化进行视频代码化可以包括传输或存储输出比特流。下面将另外详细地描述这些及其它方面的变化。附图说明本文的描述参考附图，其中，各附图中相似的附图标记指代相似部件。图1是根据本公开的实施方式的计算设备的图。图2是根据本公开的实施方式的计算和通信系统的图。图3是根据本公开的实施方式的在编码和解码中使用的视频流的图。图4是根据本公开的实施方式的编码器的框图。图5是根据本公开的实施方式的解码器的框图。图6是根据本公开的实施方式的帧的一部分的表示的框图。图7是根据本公开的实施方式的8x8块700的表示的框图。图8是根据本公开的实施方式的，包括超变换代码化的视频代码化的示例的图。图9是根据本公开的实施方式的超预测代码化的示例的图。图10是根据本公开的实施方式的，包括用于水平分区的边界滤波的超变换代码化的框图。图11是根据本公开的实施方式的，包括用于垂直分区的边界滤波的超变换代码化的框图。图12是根据本公开的实施方式的，包括用于分割分区的边界滤波的超变换代码化的框图。图13是根据本公开的实施方式的，包括用于水平分区的扩展预测滤波的超变换代码化的框图。图14是根据本公开的实施方式的，包括用于垂直分区的扩展预测滤波的超变换代码化的框图。图15-17是根据本公开的实施方式的，包括用于分割分割的扩展预测滤波的超变换代码化的框图。图18是根据本公开的实施方式的，超变换代码化具有多个分区层级的块的框图。图19是根据本公本文档来自技高网...

【技术保护点】
一种方法，包括：从来自输入视频流的当前帧中识别输入块；通过将所述输入块用作当前块来将所述输入块进行超变换代码化，其中，超变换代码化包括：响应于确定使用与所述当前块的大小相对应的预测块大小来编码所述当前块：确定与所述当前块相对应的预测块，所述预测块具有与所述当前块的大小相对应的预测块大小；以及使用具有在所述预测块大小内的变换大小的变换，基于所述预测块来生成变换块，响应于确定使用小于所述当前块的大小的预测块大小来编码所述当前块：从所述当前块中识别多个子块以供将所述当前块进行预测代码化，其中，在所述当前块中，来自所述多个子块的第一子块与来自所述多个子块的第二子块在空间上相邻；响应于确定使用具有小于所述当前块的大小的变换大小的变换来编码所述当前块，通过将来自所述多个子块的每个子块用作所述当前块来将相应子块进行超变换代码化；以及响应于确定使用具有与所述当前块的大小相对应的超变换大小的超变换来编码所述当前块，通过使用所述超变换来变换所述当前块的超预测块，将超变换块生成为所述变换块，其中，所述当前块的所述超预测块具有与所述当前块的大小相对应的超预测块大小，并且其中，生成所述超变换块包括：通过将所述当前块进行超预测代码化来生成所述当前块的所述超预测块，其中，超预测代码化包括：对来自所述多个子块的每个子块：响应于确定使用与所述子块的大小相对应的预测块大小编码所述子块，基于与所述子块相关联的运动向量来确定所述子块的预测块，响应于确定使用小于所述子块的大小的预测块大小来编码所述子块：从所述子块中识别多个分区以供将所述子块进行预测代码化，其中，在所述子块中来自所述多个分区的第一分区与来自所述多个分区的第二分区在空间上相邻；以及将所述子块的超预测块生成为所述预测块，其中，所述子块的超预测块具有与所述子块的大小相对应的超预测块大小，其中，生成所述子块的超预测块包括：通过将所述子块用作所述当前块以及将所述多个分区用作所述多个子块来将所述子块进行超预测代码化，通过基于与所述当前块的超预测块在空间上相邻的预测块来滤波所述预测块的至少一部分，生成滤波预测块，以及将所述滤波预测块包括在所述当前块的所述超预测块中，以及将所述变换块包括在输出比特流中；以及传输或存储所述输出比特流。...

【技术特征摘要】
【国外来华专利技术】2015.08.11 US 14/823,2691.一种方法，包括：从来自输入视频流的当前帧中识别输入块；通过将所述输入块用作当前块来将所述输入块进行超变换代码化，其中，超变换代码化包括：响应于确定使用与所述当前块的大小相对应的预测块大小来编码所述当前块：确定与所述当前块相对应的预测块，所述预测块具有与所述当前块的大小相对应的预测块大小；以及使用具有在所述预测块大小内的变换大小的变换，基于所述预测块来生成变换块，响应于确定使用小于所述当前块的大小的预测块大小来编码所述当前块：从所述当前块中识别多个子块以供将所述当前块进行预测代码化，其中，在所述当前块中，来自所述多个子块的第一子块与来自所述多个子块的第二子块在空间上相邻；响应于确定使用具有小于所述当前块的大小的变换大小的变换来编码所述当前块，通过将来自所述多个子块的每个子块用作所述当前块来将相应子块进行超变换代码化；以及响应于确定使用具有与所述当前块的大小相对应的超变换大小的超变换来编码所述当前块，通过使用所述超变换来变换所述当前块的超预测块，将超变换块生成为所述变换块，其中，所述当前块的所述超预测块具有与所述当前块的大小相对应的超预测块大小，并且其中，生成所述超变换块包括：通过将所述当前块进行超预测代码化来生成所述当前块的所述超预测块，其中，超预测代码化包括：对来自所述多个子块的每个子块：响应于确定使用与所述子块的大小相对应的预测块大小编码所述子块，基于与所述子块相关联的运动向量来确定所述子块的预测块，响应于确定使用小于所述子块的大小的预测块大小来编码所述子块：从所述子块中识别多个分区以供将所述子块进行预测代码化，其中，在所述子块中来自所述多个分区的第一分区与来自所述多个分区的第二分区在空间上相邻；以及将所述子块的超预测块生成为所述预测块，其中，所述子块的超预测块具有与所述子块的大小相对应的超预测块大小，其中，生成所述子块的超预测块包括：通过将所述子块用作所述当前块以及将所述多个分区用作所述多个子块来将所述子块进行超预测代码化，通过基于与所述当前块的超预测块在空间上相邻的预测块来滤波所述预测块的至少一部分，生成滤波预测块，以及将所述滤波预测块包括在所述当前块的所述超预测块中，以及将所述变换块包括在输出比特流中；以及传输或存储所述输出比特流。2.如权利要求1所述的方法，其中，将所述变换块包括在所述输出比特流中包括：将超变换标志包括在所述输出比特流中。3.如权利要求1所述的方法，其中，将所述滤波预测块包括在所述当前块的所述超预测块中包括：在所述当前块是水平分区块、其中所述预测块对应于来自所述当前块的上方子块的条件下，将所述滤波预测块作为上方块包括在所述超预测块中；在所述当前块是水平分区块、其中所述预测块对应于来自所述当前块的下方子块的条件下，将所述滤波预测块作为下方块包括在所述超预测块中；在所述当前块是垂直分区块、其中所述预测块对应于来自所述当前块的左方子块的条件下，将所述滤波预测块作为左方块包括在所述超预测块中；在所述当前块是垂直分区块——其中所述预测块对应于来自所述当前块的右方子块的条件下，将所述滤波预测块作为右方块包括在所述超预测块中；在所述当前块是分割分区块、其中所述预测块对应于来自所述当前块的左上方子块或来自所述当前块的右上方子块的条件下；在所述预测块对应于来自所述当前块的所述左上方子块的条件下，将所述滤波预测块包括作为左方块包括在上方超预测子块中，在所述预测块对应于来自所述当前块的所述右上方子块的条件下，将所述滤波预测块包括作为右方块包括在所述上方超预测子块中，通过基于下方超预测子块来滤波所述上方超预测子块的至少一部分，生成滤波上方超预测子块，以及将所述滤波上方超预测子块作为上方块包括在所述超预测块中；以及在所述当前块是分割分区块、其中所述预测块对应于来自当前块的左下方子块当前块或来自所述当前块的右下方子块的条件下；在所述预测块对应于来自所述当前块的所述左下方子块的条件下，将所述滤波预测块作为左方块包括在所述下方超预测子块中，在所述预测块对应于来自所述当前块的所述右下方子块的条件下，将所述滤波预测块作为右方块包括在所述下方超预测子块中，通过基于所述上方超预测子块来滤波所述下方超预测子块的至少一部分，生成滤波下方超预测子块，以及将所述滤波下方超预测子块作为下方块包括在所述超预测块中。4.如权利要求1所述的方法，其中，滤波包括：在所述当前块是水平分区块、其中所述预测块对应于来自所述当前块的上方子块并且所述空间上相邻的预测块对应于来自所述当前块的下方子块的条件下，基于所述空间上相邻的预测块的上方部分来平滑所述预测块的下方部分；在所述当前块是水平分区块、其中所述预测块对应于来自所述当前块的所述下方子块并且所述空间上相邻的预测块对应于来自所述当前块的上方子块的条件下，基于所述空间上相邻的预测块的下方部分来平滑所述预测块的上方部分；在所述当前块是垂直分区块、其中所述预测块对应于来自所述当前块的左方子块并且所述空间上相邻的预测块对应于来自所述当前块的右方子块的条件下，基于所述空间上相邻的预测块的左方部分来平滑所述预测块的右方部分；在所述当前块是垂直分区块、其中所述预测块对应于来自所述当前块的所述右方子块并且所述空间上相邻的预测块对应于来自所述当前块的所述左方子块的条件下，基于所述空间上相邻的预测块的右方部分来平滑所述预测块的左方部分；在所述当前块是分割分区块、其中所述预测块对应于来自所述当前块的左上方子块并且所述空间上相邻的预测块对应于来自所述当前块的右上方子块的条件下，基于所述空间上相邻的预测块的左方部分来平滑所述预测块的右方部分；在所述当前块是分割分区块、其中所述预测块对应于来自所述当前块的所述右上方子块并且所述空间上相邻的预测块对应于来自所述当前块的所述左上方子块的条件下，基于所述空间上相邻的预测块的右方部分来平滑所述预测块的左方部分；在所述当前块是分割的分区块、其中所述预测块对应于来自所述当前块的左下方子块并且所述空间上相邻的预测块对应于来自所述当前块的右下方子块的条件下，基于所述空间上相邻的预测块的左方部分来平滑所述预测块的右方部分；以及在所述当前块是分割的分区块、其中所述预测块对应于来自所述当前块的所述右下方子块并且所述空间上相邻的预测块对应于来自所述当前块的所述左下方子块的条件下，基于所述空间上相邻的预测块的右方部分来平滑所述预测块的左方部分。5.如权利要求1所述的方法，其中，确定所述子块的所述预测块包括：确定扩展预测块大小，其中，确定所述扩展预测块大小包括：将所述预测块大小扩展超预测扩展大小；以及基于所扩展的预测块大小和与所述子块相关联的运动向量来确定所述预测块。6.如权利要求5所述的方法，其中，扩展所述预测块大小包括：扩展所述预测块大小以包括所述超变换内的像素位置。7.如权利要求5所述的方法，其中，扩展所述预测块大小包括：在所述子块中的左上方像素位置与所述超变换中的左上方像素位置之间的垂直距离至少为所述超预测扩展大小的条件下：在所述子块中的左上方像素位置与所述超变换中的左上方像素位置之间的水平距离至少为所述超预测扩展大小的条件下：在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的垂直距离至少为所述超预测扩展大小的条件下：在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的水平距离至少为所述超预测扩展大小的条件下，在所述预测块的上方、所述预测块的左方、所述预测块的左上方、所述预测块的下方、所述预测块的左下方、所述预测块的右方、所述预测块的右下方、以及所述预测块的右上方的像素位置，使所述预测块大小扩展超预测扩展大小，以及在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的水平距离小于所述超预测扩展大小的条件下，在所述预测块的上方、所述预测块的左方、所述预测块的左上方、所述预测块的左下方、以及所述预测块的下方的像素位置，使所述预测块大小扩展超预测扩展大小；以及在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的垂直距离小于所述超预测扩展大小的条件下：在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的水平距离至少为所述超预测扩展大小的条件下，在所述预测块的上方、所述预测块的左方、所述预测块的左上方、所述预测块的右上方、以及所述预测块的右方的像素位置，使所述预测块大小扩展超预测扩展大小，以及在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的水平距离小于所述超预测扩展大小的条件下，在所述预测块的上方、所述预测块的左上方、以及所述预测块的左方的像素位置，使所述预测块大小扩展超预测扩展大小，以及在所述子块中的左上方像素位置与所述超变换中的左上方像素位置之间的水平距离小于所述超预测扩展大小的条件下：在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的垂直距离至少为所述超预测扩展大小的条件下：在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的水平距离至少为所述超预测扩展大小的条件下，在所述预测块的上方、所述预测块的下方、所述预测块的右上方、所述预测块的右下方、以及所述预测块的右方的像素位置，使所述预测块大小扩展超预测扩展大小，以及在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的水平距离小于所述超预测扩展大小的条件下，在所述预测块的上方和所述预测块的下方的像素位置，使所述预测块大小扩展超预测扩展大小；以及在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的垂直距离小于所述超预测扩展大小的条件下：在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的水平距离至少为所述超预测扩展大小的条件下，在所述预测块的上方、所述预测块的右上方、以及所述预测块的右方的像素位置，使所述预测块大小扩展超预测扩展大小，以及在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的水平距离小于所述超预测扩展大小的条件下，在所述预测块的上方的像素位置，使所述预测块大小扩展超预测扩展大小，以及在所述子块中的左上方像素位置与所述超变换中的左上方像素位置之间的垂直距离小于所述超预测扩展大小的条件下：在所述子块中的左上方像素位置与所述超变换中的左上方像素位置之间的水平距离至少为所述超预测扩展大小的条件下：在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的垂直距离至少为所述超预测扩展大小的条件下：在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的水平距离至少为所述超预测扩展大小的条件下，在所述预测块的左方、所述预测块的下方、所述预测块的左下方、所述预测块的右下方、以及所述预测块的右方的像素位置，使所述预测块大小扩展超预测扩展大小，以及在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的水平距离小于所述超预测扩展大小的条件下，在所述预测块的左方、所述预测块的左下方、以及所述预测块的下方的像素位置，使所述预测块大小扩展超预测扩展大小；以及在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的垂直距离小于所述超预测扩展大小的条件下：在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的水平距离至少为所述超预测扩展大小的条件下，在所述预测块的左方、以及所述预测块的右方的像素位置，使所述预测块大小扩展超预测扩展大小，以及在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的水平距离小于所述超预测扩展大小的条件下，在所述预测块的左方的像素位置，使所述预测块大小扩展超预测扩展大小，以及在所述子块中的左上方像素位置与所述超变换中的左上方像素位置之间的水平距离小于所述超预测扩展大小的条件下：在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的垂直距离至少为所述超预测扩展大小的条件下：在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的水平距离至少为所述超预测扩展大小的条件下，在所述预测块的下方、所述预测块的右下方、以及所述预测块的右方的像素位置，使所述预测块大小扩展超预测扩展大小；在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的水平距离小于所述超预测扩展大小的条件下，在所述预测块的下方的像素位置，使所述预测块大小扩展超预测扩展大小；以及在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的垂直距离小于所述超预测扩展大小的条件下，并且在所述子块中的右下方像素位置与所述超变换中的右下方像素位置之间的水平距离至少为所述超预测扩展大小的...

【专利技术属性】
技术研发人员：德巴尔加·慕克吉，陈悦，李顺瑶，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US