用于帧内块复制模式的解码图像缓存器管理的方法技术

本发明专利技术公开一种使用帧内块复制(Intra Block Copy，IBC)模式的视频解码系统的管理解码图像缓存器的方法及装置。在一个实施例中，将位于环路滤波之后的一个或者多个之前重构图像存储到解码图像缓存器(decoded picture buffer，DPB)中。对于解码当前图像而言，在解码图像缓存器中分配第一图像缓存器和第二图像缓存器。未滤波版本和已滤波版本的重构当前图像被存储在第一图像缓存器和第二图像缓存器中。在当前图像被解码之后，未滤波版本自解码图像缓存器中移除。在另一实施例中，未滤波版本和已滤波版本的重构当前图像被存储。其中一个被存储在解码图像缓存器中，而另一个被存储在临时缓存器中。在当前图像被解码之后，未滤波版本自解码图像缓存器或者临时缓存器中移除。

A method of decoding image buffer management for intra block copy mode

The invention discloses a method for using intra block replication (Intra Block Copy, IBC) method and device for decoding image buffer management mode of the video decoding system. In one embodiment, will be located in the loop filter after one or more before the reconstruction of images stored in the decoded picture buffer (decoded picture buffer, DPB). For decoding the current image, the first image buffer and the second image buffer are allocated in the decoded image buffer. The reconfigured current image of the unfiltered version and the filtered version is stored in the first image buffer and the second image buffer. After the current image is decoded, the unfiltered version is removed from the decoded image buffer. In another example, the reconfigured current image of the unfiltered version and the filtered version is stored. One of them is stored in the decoded image buffer, and the other is stored in the temporary buffer. After the current image is decoded, the unfiltered version is removed from the decoded image buffer or the temporary buffer.

【技术实现步骤摘要】
【国外来华专利技术】用于帧内块复制模式的解码图像缓存器管理的方法优先权声明本申请主张2015年05月29日提出的申请号为62/168,144的美国临时专利申请、2015年06月22日提出的申请号为62/182,685的美国临时专利申请以及2015年06月24日提出的申请号为62/183,799的美国临时专利申请的优先权。本申请也与2015年05月28日提出的申请号为62/167,474的美国临时专利申请相关。上述美国临时专利申请整体以引用方式并入本文中。
本专利技术涉及使用包含帧内块复制(Intra-blockcopy，IntraBC)模式和帧间预测模式的编解码模式的视频编解码。具体而言，本专利技术涉及管理解码图像缓存器(decodedpicturebuffer，DPB)的技术。
技术介绍
高效视频编码(HighEfficiencyVideoCoding，HEVC)是近年来已经发展的新的编码标准。在HEVC系统中，H.264/AVC的固定尺寸的宏块(macroblock)由被称为编码单元(codingunit，CU)的可变块(flexibleblock)取代。CU内的像素共享相同的编解码参数以提高编解码效率。CU可能从最大CU(largestCU，LCU)开始，其也被称为HEVC中的编码树单元(codedtreeunit，CTU)。除了编码单元的概念，HEVC中也引进了预测单元(predictionunit，PU)的概念。一旦完成CU分层树的分割，根据预定类型和PU分割，每个叶CU则被进一步分割成一个或者多个PU。在用于HEVC标准的屏幕内容编解码的当前发展中，一些工具因其在屏幕内容的编解码效率上的改善而已被使用。对于帧内块，根据传统的方法，使用基于来自于相邻块的重构像素的预测来执行帧内预测。帧内预测可以从帧内模式集(setofIntraModes)中选择一个帧内模式，该帧内模式集包括垂直模式、水平模式和各种角度预测模式。对于HEVC屏幕内容编解码，被称为帧内块复制(Intra-blockcopy，IntraBC)的新编解码模式已被使用。IntraBC使用在环路滤波器之前的当前图像中的重构样本作为用于预测的参考图像。除了在环路滤波器之后的已滤波图像，这未滤波图像需被存储。为了存储在环路滤波器之前的重构样本，可能需要额外的存储器和存储器带宽(memorybandwidth)，以分别用于读取和写入。在环路滤波器之前的所有重构样本用作用于IntraBC预测的参考的情况下，位于环路滤波器之前的整个重构图像需被存储。因此，环路滤波器之前的重构当前图像和环路滤波器之后的重构当前图像需被存储，以分别用于IntraBC预测和时间预测(temporalprediction)。因此，帧内块复制存储访问使得存储器带宽变大。另外，其也引起额外的解码图像缓存器。为了存储环路滤波器之前的额外的重构样本，部分8：HEVC屏幕内容编解码(ScreenContentCoding，SCC)：草案3(Joshi,etal.,HEVCScreenContentCodingDraftText3,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,20thMeeting:Geneva,CH,10–18Feb.2015,Document:JCTVC-T1005)的一般解码过程被修改以使得DPB中的图像存储缓存器(picturestoragebuffer)被分配给当前图像。在HEVCSCC：草案3中，在curr_pic_as_ref_enabled_flag等于1的情况下，重构当前图像被标记为"用于长期参考(long-termreference)"。当curr_pic_as_ref_enabled_flag等于1时，在环路滤波之前的重构当前图像的已解码样本值被存储到分配给当前图像的图像存储缓存器。完成所有切片(slice)的解码之后，环路滤波器之后的整个当前已解码图像被存储在分配给当前图像的图像存储缓存器中，并被标记为"用于短期参考(short-termreference)"。在HEVC和HEVCSCC：草案3中，解码图像被HEVCSCC：草案3的附录(Annex)C.3中的解码图像缓存器的操作管理，其由包含从DPB中图像移除(即子从句C.3.2)、图像输出(即子从句C.3.3)以及当前解码图像标记和存储(即子从句C.3.4)的规则的过程集合组成。但是，DPB的操作不能适当地被修改以用于下面将讨论的重构当前图像可能用作参考图像的情景。DPB的操作指定(specify)每个操作何时发生，使得DPB存储度(fullness)可以被适当地控制，且DPB存储度不会超过DPB最大尺寸限度。在从DPB中图像移除的子从句中，对于从DPB中被移除的每个图像而言，DPB存储度将减去1。在当前解码图像标记和存储的子从句中，当前解码图像被存储在空的图像存储缓存器中的DPB中，且DPB存储度将增加1。但是，在附录C.3中，在环路滤波器之前的当前图像的存储和DPB存储度的更新将不在DPB的操作中被指定。因此，DPB的操作不能被适当地管理。如上述段落中所述，存在引进额外的存储器带宽以用于将位于环路之前的重构样本读取和写入到存储器中的问题。在核心实验2(CoreExperiment2，CE2)：JCTVC-T1102(Rapaka,etal.,DescriptionofCoreExperiment2(CE2):Intrablockcopymemoryaccess,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,20thMeeting:Geneva,CH,10–18Feb.2015,Document:JCTVC-T1102)中的帧内块复制存储器访问中，为了避免引起一个额外的图像存储器缓存器(memorybuffer)和带宽，以用于读取和写入除了环路滤波器之后的样本之外的位于环路滤波器之前的重构样本，存储器带宽降低被评估。在本专利技术中，位于环路滤波器之前的重构样本也被称为未滤波重构样本。在本专利技术中，位于环路滤波器之后的重构样本也被称为已滤波重构样本。两种策略的工作正在进行以解决这个问题。在第一策略中，JCTVC-S0145(Rapaka,etal.,Bandwidthreductionmethodforintrablockcopy,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11，19thMeeting:Strasbourg,FR,17–24Oct.2014,Document:JCTVC-S0145)公开了一种方法，以在帧内块复制模式用于预测时降低平均带宽。JCTVC-S0145是基于并不是所有当前图像的之前未滤波解码样本用于以帧内块复制模式的预测的观察。在JCTVC-S0145中，该方法指示之前解码的编码树块(codedtreeblock，CTB)中的哪个本文档来自技高网...

【技术保护点】
一种管理解码图像缓存器并解码视频比特流的方法，其特征在于，在视频解码系统中，其中所述视频解码系统使用包含帧间预测模式和帧内块复制模式的编解码模式，该方法包括：将位于环路滤波之后的一个或者多个之前重构图像存储到所述解码图像缓存器中；接收包含与当前图像相关的压缩数据的所述视频比特流；在所述解码图像缓存器中分配第一图像缓存器；在所述解码图像缓存器中分配第二图像缓存器；从所述视频比特流中推导出与所述当前图像相关的一个或者多个重构图像单元；将位于环路滤波之前的所述一个或者多个重构图像单元存储到所述第一图像缓存器中；将位于环路滤波之后的所述一个或者多个重构图像单元存储到所述第二图像缓存器中；如果以所述帧内块复制模式编解码所述当前重构图像单元，则使用所述第一图像缓存器中位于环路滤波之前的所述一个或者多个重构图像单元来重构所述当前重构图像单元，以推导出帧内块复制预测；以及如果以所述帧间预测模式编解码当前重构图像单元，则使用所述解码图像缓存器中位于环路滤波之后的所述一个或者多个之前重构图像来重构所述当前重构图像单元，以推导出帧间预测。

【技术特征摘要】
【国外来华专利技术】2015.05.29 US 62/168,144;2015.06.22 US 62/182,685;1.一种管理解码图像缓存器并解码视频比特流的方法，其特征在于，在视频解码系统中，其中所述视频解码系统使用包含帧间预测模式和帧内块复制模式的编解码模式，该方法包括：将位于环路滤波之后的一个或者多个之前重构图像存储到所述解码图像缓存器中；接收包含与当前图像相关的压缩数据的所述视频比特流；在所述解码图像缓存器中分配第一图像缓存器；在所述解码图像缓存器中分配第二图像缓存器；从所述视频比特流中推导出与所述当前图像相关的一个或者多个重构图像单元；将位于环路滤波之前的所述一个或者多个重构图像单元存储到所述第一图像缓存器中；将位于环路滤波之后的所述一个或者多个重构图像单元存储到所述第二图像缓存器中；如果以所述帧内块复制模式编解码所述当前重构图像单元，则使用所述第一图像缓存器中位于环路滤波之前的所述一个或者多个重构图像单元来重构所述当前重构图像单元，以推导出帧内块复制预测；以及如果以所述帧间预测模式编解码当前重构图像单元，则使用所述解码图像缓存器中位于环路滤波之后的所述一个或者多个之前重构图像来重构所述当前重构图像单元，以推导出帧间预测。2.如权利要求1中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，在所述当前图像被解码之前，执行在所述解码图像缓存器中分配所述第一图像缓存器以及在所述解码图像缓存器中分配所述第二图像缓存器。3.如权利要求2中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，每当在所述解码图像缓存器中分配所述第一图像缓存器或者所述第二图像缓存器时，将解码图像缓存器缓存器存储度增加1。4.如权利要求2中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，所述第一图像缓存器被标记以指示所述第一图像缓存器用于长期参考，且所述第二图像缓存器被标记以指示所述第二图像缓存器用于短期参考。5.如权利要求1中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，在所述当前图像被重构之后，所分配的所述第一图像缓存器自所述解码图像缓存器中移除。6.如权利要求5中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，所分配的所述第二图像缓存器保持在所述解码图像缓存器中，并用作短期参考图像以用于解码后续图像。7.如权利要求5中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，当所分配的所述第一图像缓存器自所述解码图像缓存器中移除时，将解码图像缓存器缓存器存储度减去1。8.如权利要求5中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，指示最大解码图像缓存器缓存器尺寸的变量保持与用于高效视频编码屏幕内容编解码草案3所指定的所述最大解码图像缓存器缓存器尺寸相同。9.如权利要求1中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，仅当指示所述当前图像作为参考图像的标志被使能时，执行在所述解码图像缓存器中分配所述第一图像缓存器，将位于环路滤波之前的所述一个或者多个重构图像单元存储到所述第一图像缓存器中，以及如果以所述帧内块复制模式编解码所述当前重构图像单元，则使用所述第一图像缓存器中位于环路滤波之前的所述一个或者多个重构图像单元来重构所述当前重构图像单元，以推导出帧内块复制预测。10.如权利要求9中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，所述标志被发信在序列层、图像层或者切片层中。11.如权利要求1中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，每个重构图像单元对应于一个预测单元、编码单元、编码树单元或者切片。12.如权利要求1中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，指示最大解码图像缓存器缓存器尺寸的变量减去指定所述当前图像是否被使能以用作所述当前图像的参考图像的语法元素的值，其中所述值等于1，指定所述帧内块复制模式被使能以用于所述当前图像。13.如权利要求1中所述的管理解码图像缓存器并解码视频比特流的方法，其特征在于，进一步包括：判断所述环路滤波是否对所述当前图像被禁能；若所述环路滤波被禁能，则仅将位于所述环路滤波之前的所述一个或者多个重构图像单元存储到所述第一图像缓存器中。14.一种管理解码图像缓存器并解码视频比特流的方法，其特征在于，在视频解码系统中，其中所述视频解码系统使用包含帧间预测模式和帧内块复制模式的编解码模式，该方法包括：将位于环路滤波之后的一个或者多个之前重构图像存储到所述解码图像缓存器中；接收包含与当前图像相关的压缩数据的所述视频比特流；在所述解码图像缓存器或者位于所述解码图像缓存器外部的临时缓存器中分配第一图像缓存器和第二图像缓存器，其中所述第一图像缓存器和所述第二图像缓存器中的一个在所述解码图像缓存器中，且所述第一图像缓存器和所述第二图像缓存器中的一个在所述解码图像缓存器外部的所述临时缓存器中；从所述视频比特流中推导出与所述当前图像相关的一个或者多个重构图像单元；将位于环路滤波之前的所述一个或者多个重构图像单元存储到所述第一图像缓存器中；将位于环路滤波之后的所述一个或者多个重构图像单元存储到所述第二图像缓存器中；如果以所述帧内块...

【专利技术属性】
技术研发人员：许晓中，刘杉，柳成浩，
申请(专利权)人：寰发股份有限公司，
类型：发明
国别省市：中国台湾,71