编解码的方法及装置制造方法及图纸

本发明专利技术一种解码方法，其包括解析码流，在尺寸为2Nx2N的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2NxN第一子图像块及第二子图像块或者尺寸为Nx2N的第一子图像块及第二子图像块进行处理，以使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式与采用四叉树方式划分所述2Nx2N的图像块后所得到的图像块划分模式不同，其中所述2NxN第一子图像块及第二子图像块或者所述Nx2N的第一子图像块及第二子图像块通过划分所述尺寸为2Nx2N的图像块得到。

【技术实现步骤摘要】
编解码的方法及装置
本专利技术涉及视频编解码及压缩领域，尤其涉及编解码过程中多编码图像块的划分技术。
技术介绍
数字视频能力可并入到大范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频会议装置、视频流装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频编解码(AVC)、ITU-TH.265高效率视频编解码(HEVC)标准定义的标准和所述标准的扩展部分中所描述的那些视频压缩技术，从而更高效地发射及接收数字视频信息。视频装置可通过实施这些视频编解码技术来更高效地发射、接收、编码、解码和/或存储数字视频信息。在视频编解码领域中，帧的概念是指一副完整的图像，由一帧一帧的图像按照一定的次序和帧速率组成视频格式后即可播放。当帧速率达到一定的速度后，两帧之间的间隔时间小于人眼的分辨极限，会出现短暂的视觉停留，方才能看似动态的出现在屏幕上。视频文件能够实现压缩的基础是单帧数字图像的压缩编码，数字化后的图像中存在很多的重复表示信息，称之为冗余信息。一帧图像中往往存有许多空间结构相同或相似的地方，例如同一物体或背景中的采样点颜色之间大都存在着紧密关联性和相似性。在多帧图像组中，一帧图像和其前一帧或后一帧基本上都有巨大的相关性，描述信息的像素值差别很小，这些都是可以被压缩的部分。同样的道理，视频文件中不但存在着空间冗余信息，而且包含大量的时间冗余信息，这是由视频的组成结构导致的。例如，视频采样的帧速率一般为25帧/秒至30帧/秒，特殊情况中会出现60帧/秒的可能。也就是说，相邻两帧间的采样时间间隔至少为1/30秒到1/25秒。在这么短的时间内，采样得到的图像画面中基本上都存在大量的相似信息，画面之间存在巨大关联性。但是在原始的数字视频录入系统中是各自独立的记录，没有考虑和利用到这些连贯相似特性，这就造成了相当巨大的重复多余的数据量。另外，已通过研究表明，从人眼的视觉敏感度这一心理特性的角度出发，视频信息中也是存在可以用来压缩的部分，即视觉冗余。所谓视觉冗余，是指利用人眼对亮度变化比较敏感，而对色度的变化相对不敏感的胜利特性来适当的压缩视频比特流。在高亮度的区域，人眼视觉对亮度变化的敏感度呈现下降趋势，转而对物体的边缘处较为敏感，内部区域相对不敏感；对整体结构较为敏感，对内部细节变换相对不敏感。因为视频图像信息的最终服务对象是我们人类群体，所以可以充分利用人眼的这些特性对原有的视频图像信息进行压缩处理，达到更佳的压缩效果。除了上面提到的空间冗余、时间冗余和视觉冗余外，视频图像信息中还会存在信息熵冗余、结构冗余、知识冗余、重要性冗余等等这一系列的冗余信息。视频压缩编码的目的就是使用各种技术方法将视频序列中的冗余信息去除掉，以达到减小存储空间和节省传输带宽的效果。就目前的技术发展现状而言，视频压缩处理技术主要包括帧内预测、帧间预测、变换量化、熵编码以及消块滤波处理等。在国际通用范围内，存在的视频压缩编码标准中主流的压缩编码方式主要有四种：色度抽样、预测编码、变换编码和量化编码。色度抽样：此方式充分利用了人眼的视觉心理特点，从底层的数据表示中就开始设法最大限度的缩减单个元素描述的数据量。在电视系统中多数采用的是亮度-色度-色度(YUV)颜色编码，它是欧洲电视系统广泛采用的标准。YUV颜色空间中包括一个亮度信号Y和两个色差信号U和V，三个分量彼此独立。YUV颜色模式彼此分开的表示方式更加灵活，传输占用带宽少，比传统的红绿蓝(RGB)色彩模型更具优势。例如，YUV4:2:0形式表示两色度分量U和V在水平方向和垂直方向上都只有亮度Y分量的一半，即4个采样像素点中存在4个亮度分量Y，而色度分量U和V则只有一个。这样表示时，数据量进一步缩小，仅为原始的33％左右。利用人眼生理视觉特性，通过这种色度抽样的方式实现视频压缩的目的，是目前广泛采用的视频数据压缩方式之一。预测编码：即利用之前已编码帧的数据信息来预测当前将要编码的帧。通过预测得到一个预测值，它不完全等同与实际值，之间存在着一定的残差值。如果预测越适合，则预测值就会越接近实际值，残差值就越小，这样对残差值进行编码就能大大减小数据量，在解码端解码时运用残差值加上预测值还原重构出初始图像，这就是预测编码的基本思想方法。在主流编码标准中预测编码分为帧内预测和帧间预测两种基本类型。变换编码：是不直接对原本的空间域信息进行编码，而是将信息采样值按照某种形式的变换函数，从当前域转换到另外一种人为定义域中(通常称为变换域)，再根据信息在变换域的分布特性进行压缩编码。变换编码的原因是：视频图像数据往往在空间域的数据相关性大，导致大量冗余信息的存在，直接编码需要很大的比特量。而在变换域中数据相关性则大大减少，使得编码的冗余信息减少，编码所需的数据量也随之大大减少，这样就能够得到较高的压缩比，而且可以实现较好的压缩效果。典型的变换编码有卡洛(K-L)变换、傅立叶变换等。整数离散余弦变换(DCT)是许多国际标准中都普遍采用的变换编码方式。量化编码：上述提到的变换编码其实本身并不压缩数据，量化过程才是压缩数据的有力手段，也是有损压缩中数据“损失”的主要原因。量化的过程就是将动态范围较大的输入值强行规划成较少的输出值的过程。因为量化输入值范围较大，需要较多的比特数表示，而“强行规划”后的输出值范围较小，从而只需要少量的比特数即可表示。每个量化输入被归一化到一个量化输出，即量化到某个数量级中，这些数量级通常被称之为量化级(通常由编码器规定)。在基于混合编码架构的编码算法中，上述压缩编码方式被混合使用，编码器控制模块根据视频帧中不同图像块的局部特性，选择该图像块所采用的编码模式。对帧内预测编码的块进行频域或空域预测，对帧间预测编码的块进行运动补偿预测，预测的残差再通过变换和量化处理形成残差系数，最后通过熵编码器生成最终的码流。为避免预测误差的累积，帧内或帧间预测的参考信号是通过编码端的解码模块得到。变换和量化后的残差系数经过反量化和反变换重建残差信号，再与预测的参考信号相加得到重建的图像。环路滤波会对重建后的图像进行像素修正，提高重建图像的编码质量。在使用上述视频压缩处理技术进行图像压缩的过程中，首先需要对待编码图像，即原始图像，进行块划分，在H.264/AVC中，编码块(Codingblock,CB)的大小是固定的，而在H.265/HEVC中，一个编码树块(CodingTreeBlock,CTB)可以直接作为一个CB，也可以进一步以四叉树的形式划分为多个小的CB。所以在H.265/HEVC中的CN的大小是可变的，亮度CB最大为64x64，最小为8x8，一方面大的CB可以使得平缓区域的编码效率大大提高，另一方面能很好的处理图像局部的细节，从而可以使复杂图像的预测更加的准确。随着视频内容成为社交媒体的主流方式，对视频压缩性能的需求越来越高，因此，需要有更加灵活以及高效的图像的划分方式来提满足这一需求。
技术实现思路
本发本文档来自技高网...

【技术保护点】
一种解码方法，其特征在于，包括：解析码流，在尺寸为2Nx2N的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2NxN第一子图像块及第二子图像块或者尺寸为Nx2N的第一子图像块及第二子图像块进行处理，其中所述2NxN第一子图像块及第二子图像块或者所述Nx2N的第一子图像块及第二子图像块通过划分所述尺寸为2Nx2N的图像块得到；所述约束子图像处理方式包括：判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，解码所述第一子图像块的编码码流；当所述第一子图像块需要进一步划分时，解析所述码流，获取所述第一子图像块的划分方式，并根据所获取的所述第一子图像块的划分方式解码所述第一子图像块；判断所述第二子图像块是否需要进一步划分，当所述第二子图像块不需要进一步划分时，解码所述第二子图像块的编码码流；当所述第二子图像块需要进一步划分时，解析所述码流，获取所述第二子图像块的划分方式，并根据所获取的所述第二子图像块的划分方式解码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式与采用四叉树方式划分所述2Nx2N的图像块后所得到的图像块划分模式不同。...

【技术特征摘要】
1.一种解码方法，其特征在于，包括：解析码流，在尺寸为2Nx2N的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2NxN第一子图像块及第二子图像块或者尺寸为Nx2N的第一子图像块及第二子图像块进行处理，其中所述2NxN第一子图像块及第二子图像块或者所述Nx2N的第一子图像块及第二子图像块通过划分所述尺寸为2Nx2N的图像块得到；所述约束子图像处理方式包括：判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，解码所述第一子图像块的编码码流；当所述第一子图像块需要进一步划分时，解析所述码流，获取所述第一子图像块的划分方式，并根据所获取的所述第一子图像块的划分方式解码所述第一子图像块；判断所述第二子图像块是否需要进一步划分，当所述第二子图像块不需要进一步划分时，解码所述第二子图像块的编码码流；当所述第二子图像块需要进一步划分时，解析所述码流，获取所述第二子图像块的划分方式，并根据所获取的所述第二子图像块的划分方式解码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式与采用四叉树方式划分所述2Nx2N的图像块后所得到的图像块划分模式不同。2.根据权利要求1所述的解码方法，其特征在于：所述第一子图像块的划分方式来自于第一划分方式集合；所述第二子图像块的划分方式来自于第二划分方式集合，其中，所述第一划分方式集合中至少包括一个划分方式与第二划分方式集合中的所有划分方式不同。3.根据权利要求2所述的解码方法，其特征在于：所述的第二划分方式的集合为第一划分方式集合的子集。4.根据权利要求1至3任意一项所述的解码方法，其特征在于：对于尺寸为2NxN的第一子图像块，其第一划分方式集合包括水平划分方式和垂直划分方式，所述第二划分方式集合包括水平划分方式；对于尺寸为Nx2N的第一子图像块，其第一划分方式集合包括水平划分方式和垂直划分方式，所述第二划分方式集合包括垂直划分方式。5.根据权利要求1至4任意一项所述的解码方法，其特征在于：所述方法还包括，当尺寸为2Nx2N的图像块不允许采用四叉树的划分方式进行划分时，应用非约束子图像处理方式对尺寸为2NxN第一子图像块及第二子图像块或者尺寸为Nx2N的第一子图像块及第二子图像块进行处理，其中所述2NxN第一子图像块及第二子图像块或者所述Nx2N的第一子图像块及第二子图像块由划分所述尺寸为2Nx2N的图像块得到；所述非约束子图像处理方式包括：判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，解码所述第一子图像块的编码码流；当所述第一子图像块需要进一步划分时，解析所述码流，获取所述第一子图像块的划分方式，并根据所获取的所述第一子图像块的划分方式解码所述第一子图像块，所述第一子图像块的划分方式来自于第一划分方式集合；判断所述第二子图像块是否需要进一步划分，当所述第二子图像块不需要进一步划分时，解码所述第二子图像块的编码码流；当所述第二子图像块需要进一步划分时，解析所述码流，获取所述第二子图像块的划分方式，并根据所获取的所述第二子图像块的划分方式解码所述第二子图像块，所述第二子图像块的划分方式来自于第二划分方式集合，其中，所述第一划分方式集合中的所有划分方式与第二划分方式集合中的所有划分方式相同。6.根据权利要求1至5任意一项所述的解码方法，其特征在于：所述第二子图像块的划分方式受所述第一子图像块的划分方式约束具体包括：当所述第一子图像块及第二子图像块的尺寸为2NxN，且所述第一子图像块的划分方式为垂直划分方式，所述第二子图像块的划分方式为水平划分；或者，当所述第一子图像块及第二子图像块的尺寸为2NxN，且所述第一子图像块的划分方式为非垂直划分方式，所述第二子图像块的划分方式为垂直划分或者水平划分；或者，当所述第一子图像块及第二子图块的尺寸为Nx2N时，且所述第一子图像块的划分方式为水平划分，所述第二子图像块的划分方式为垂直划分；或者，当所述第一子图像块及第二子图块的尺寸为Nx2N时，且所述第一子图像块的划分方式为非水平划分，所述第二子图像块的划分方式为水平划分或者垂直划分。7.根据权利要求1至6任意一项所述的解码方法，其特征在于：所述2Nx2N的图像块位于I条带内。8.一种解码方法，其特征在于，包括：解析码流，在尺寸为2Nx2N的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2NxN第一子图像块及第二子图像块或者尺寸为Nx2N的第一子图像块及第二子图像块进行处理，其中所述2NxN第一子图像块及第二子图像块或者所述Nx2N的第一子图像块及第二子图像块通过划分所述尺寸为2Nx2N的图像块得到；所述约束子图像处理方式包括：解析所述码流，确定所述第一子图像的划分标示，根据所述第一子图像块的划分标示确定所述第一子图像块的划分方式，并根据所述第一子图像块的划分方式解码所述第一子图像块；以及解析所述码流，确定所述第二子图像块的划分标示，根据所述第二子图像块的划分标示确定所述第二子图像块的划分方式，并根据所述第二子图像块的划分方式解码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，以使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式与采用四叉树方式划分所述2Nx2N的图像块后所得到的图像块划分模式不同。9.根据权利要求8所述的解码方法，其特征在于，所述第一子图像块的划分方式来自于第一划分方式集合；所述第二子图像块的划分方式来自于第二划分方式集合，其中，所述第一划分方式集合中至少包括一个划分方式与第二划分方式集合中的所有划分方式不同。10.根据权利要求9所述的解码方法，其特征在于，包括：其特征在于：所述的第二划分方式的集合为第一划分方式集合的子集。11.根据权利要求8至10任意一项所述的解码方法，其特征在于：对于尺寸为2NxN的第一子图像块及第二子图像块，所述第一划分方式集合包括不划分、水平划分方式和垂直划分方式，所述第二划分方式集合包括不划分和水平划分方式；对于尺寸为Nx2N的第一子图像块及第二子图像块，所述第一划分方式集合包括不划分、水平划分方式和垂直划分方式，所述第二划分方式集合包括不划分和垂直划分方式。12.根据权利要求8至11任意一项所述的解码方法，其特征在于：所述第一子图像块的划分方式不同于所述第二子图像块的划分方式，所述的划分方式为划分方向。13.根据权利要求8至12任意一项所述的解码方法，其特征在于：所述第二子图像块的划分方式受所述第一子图像块的划分方式约束包括：当所述第一子图像块及第二子图像块的尺寸为2NxN，且所述第一子图像块的划分方式为垂直划分方式，所述第二子图像块的划分方式为不划分或者水平划分；或者，当所述第一子图像块及第二子图像块的尺寸为2NxN，且所述第一子图像块的划分方式为非垂直划分方式，所述第二子图像块的划分方式为不划分、垂直划分或者水平划分；或者，当所述第一子图像块及第二子图块的尺寸为Nx2N时，且所述第一子图像块的划分方式为水平划分，所述第二子图像块的划分方式为不划分或者垂直划分；或者，当所述第一子图像块及第二子图块的尺寸为Nx2N时，且所述第一子图像块的划分方式为非水平划分，所述第二子图像块的划分方式为不划分、水平划分或者垂直划分。14.根据权利要求8至13任意一项所述的解码方法，其特征在于：所述方法还包括:当所述2Nx2N的图像块不允许采用四叉树的划分方式进行划分时，应用非约束子图像处理方式对所述第一子图块及所述第二子图像块的编码码流进行处理，所述非约束子图像处理方式包括：解析所述码流，确定所述第一子图像的划分标示，根据所述第一子图像块的划分标示确定所述第一子图像块的划分方式，并根据所述第一子图像块的划分方式解码所述第一子图像块；以及解析所述码流，确定所述第二子图像块的划分标示，根据所述第二子图像块的划分标示确定所述第二子图像块的划分方式，并根据所述第二子图像块的划分方式解码所述第二子图像块，其中所示第一子图像块的划分方式与所述第二子图像块的划分方式选自相同的划分方式集合。15.根据权利要求8至14任意一项所述的解码方法，其特征在于：所述2Nx2N的图像块位于I条带内。16.一种编码方法，其特征在于，包括：在尺寸为2Nx2N的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2NxN第一子图像块及第二子图像块，或者尺寸为Nx2N的第一子图像块及第二子图像块进行处理，其中所述2NxN第一子图像块及第二子图像块，或者所述Nx2N的第一子图像块及第二子图像块通过划分所述尺寸为2Nx2N的图像块得到；所述约束子图像处理方式包括：判断所述第一子图像是否需要进一步划分，当所述第一子图像块不需要进一步划分时，编码所述第一子图像块生成编码码流；当所述第一子图像块需要进一步划分时，确定所述第一子图像块的划分方式，并根据所述第一子图像块的划分方式对所述第一子图像块进行划分；编码所述第一子图像块的划分方式，以及划分后的所述第一子图像块；判断所述第二子图像块是否需要进一步划分，当所述第二子图像块不需要进一步划分时，编码所述第二子图像块生成编码码流；当所述第二子图像块需要进一步划分时，确定所述第二子图像块的划分方式，并根据所述第二子图像块的划分方式对所述第二子图像块进行划分，编码所述第二图像块的图像划分方式，以及划分后的所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式与采用四叉树方式划分所述2Nx2N的图像块后所得到的图像块划分模式不同。17.一种编码方法，其特征在于，包括：在尺寸为2Nx2N的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2NxN第一子图像块及第二子图像块或者尺寸为Nx2N的第一子图像块及第二子图像块进行处理，其中所述2NxN第一子图像块及第二子图像块或者所述Nx2N的第一子图像块及第二子图像块通过划分所述尺寸为2Nx2N的图像块得到；所述约束子图像处理方式包括：确定所述第一子图像的划分方式，编码所述第一图像块的划分方式，并根据所述第一子图像块的划分方式编码所述第一子图像块；以及确定所述第二子图像块的划分方式，编码所述第二图像块的划分方式，并根据所述第二子图像块的划分方式编码所述第二子图像块，其中，所述第二子图像块的划分方式受所述第一子图像块的划分方式的约束，以使得经过划分后的所述第二子图像块以及经过划分后的所述第一子图像块所得到的图像块划分模式与采用四叉树方式划分所述2Nx2N的图像块后得到的图像块划分模式不同。18.一种解码装置，其特征在于，包括：约束解码判断模块，其用于，解析码流，在尺寸为2Nx2N的图像块允许采用四叉树的划分方式进行划分时，应用约束子图像处理方式对尺寸为2NxN第一子图像块及第二子图像块或者尺寸为Nx2N的第一子图像块及第二子图像块进行处理，其中所述2NxN第一子图像块及第二子图像块或者所述Nx2N的第一子图像块及第二子图像块通过划分所述尺寸为2Nx2N的图像块得到；约束解码模块，其用于实施所述的约束子图...

【专利技术属性】
技术研发人员：王钊，马思伟，高山，杨海涛，
申请(专利权)人：华为技术有限公司，北京大学，
类型：发明
国别省市：广东,44