使用重建像素点的语法预测制造技术

本发明专利技术涉及将信号和语法元素编码到码流/从码流中解码信号和语法元素。在编码/解码时，根据之前解码的信号像素点推导出语法元素的语义。这种编码/解码适用于视频信号或音频信号等。

【技术实现步骤摘要】
【国外来华专利技术】使用重建像素点的语法预测本专利技术涉及信号像素点编码和与信号像素点编码相关的控制信息，信号像素点编码包括控制信息的二值化。
技术介绍
目前的混合视频编解码，例如H.264/AVC或H.265/HEVC，采用包括预测性编码的压缩。视频序列的图像被细分为像素块，然后对这些块进行编码。整个块使用该块的空间或时间相邻块中的已经编码的像素来进行预测，而不是逐个像素来编码整个块。编码器进一步只处理该块与其预测块之间的差值，通常包括将块像素变换为变换域中的系数。然后，可以通过量化进一步压缩系数，并通过熵编码进一步压缩系数以形成码流。该码流还包括能够用于对编码视频进行编码的任何信令信息。例如，信令可以包括有关编码的设置，例如输入图像大小、帧率、量化步长指示、应用于图像块的预测块等。将编码信令信息和编码信号以编码器和解码器均已知的方式在码流中排序。这使解码器能够解析编码信令信息和编码信号。时间预测利用了视频图像之间的时间相关性，视频图像也称为视频帧。时间预测也称为帧间预测，因为使用了(帧间)不同视频帧之间的依赖关系。相应地，从一个或多个之前的编码图像中预测正在编码的块，之前的编码图像称为参考图像，正在编码的块称为当前块。参考图像不一定是在视频序列的显示顺序中位于当前块所在的当前图像之前的图像。编码器可以按照不同于显示顺序的编码顺序对图像进行编码。作为当前块的预测块，可以确定参考图像中的对应位置块。对应位置块在参考图像中的位置与当前块在当前图像中的位置相同。这种预测对于静止图像区域是准确的，静止图像区域中不存在从一个图像到另一个图像的移动。为了获取将移动考虑其中的预测值，即运动补偿预测值，在确定当前块的预测块时通常使用运动估计。相应地，当前块通过参考图像中的块进行预测，该块位于与对应位置块的位置相距由运动矢量给出的距离的位置上。为了使解码器能够确定当前块的相同预测块，可以在码流中标识运动矢量。为了进一步减少由于标识每个块的运动矢量带来的信令开销，可以估计运动矢量本身。可以根据空域和/或时域中的相邻块的运动矢量执行运动矢量估计。可以使用一个参考图像或通过加权从两个或两个以上参考图像获取的预测块来计算当前块的预测块。参考图像可以是相邻图像，即在显示顺序中紧接位于当前图像之前和/或紧接位于当前图像之后的图像，因为相邻图像最有可能与当前图像相似。然而，一般来说，参考图像也可以是在显示顺序中位于当前图像之前或之后、在码流(解码顺序)中位于当前图像之前的任何其它图像。例如，在视频内容出现遮挡和/或非线性移动的情况下，这可以提供优势。因此，也可以在码流中标识参考图像识别。帧间预测的一种特殊模式是所谓的双向预测，其中使用两个参考图像来生成当前块的预测块。具体而言，将在相应两个参考图像中确定的两个预测块组合成当前块的预测信号。双向预测对当前块的预测比单向预测仅使用单个参考图像进行的预测更准确。更准确的预测使得当前块的像素与预测块的像素之间的差值(也称为“残差”)更小，可以更有效地对这些差值进行编码，即压缩到更短的码流中。一般来说，可以使用两个以上参考图像来找到相应的两个以上参考块来预测当前块，即可以进行多参考帧间预测。因此，术语“多参考预测”包括双向预测以及使用两个以上参考图像的预测。为了提供更准确的运动估计，可以通过在像素之间插值像素点来增强参考图像的分辨率。分数像素插值可以通过对最接近的像素进行加权平均来执行。例如，在半像素分辨率的情况下，通常使用双线性插值。通过最接近像素与正在预测的像素之间的距离的倒数对最接近像素进行加权，然后对加权值取平均值，计算得到其它分数像素。运动矢量估计是一项计算复杂的任务，其中计算当前块与参考图像中候选运动矢量指向的对应预测块之间的相似度。通常，搜索区域包括M×M个图像像素点，并且测试M×M个候选位置中的每个像素点位置。测试包括计算N×N参考块C与位于搜索区域的测试候选位置上的块R之间的相似度量。为简单起见，绝对差和(sumofabsolutedifferences，SAD)是为此经常使用的一个度量，计算如下：在上述公式中，x和y定义了在搜索区域内的候选位置，而索引i和j表示参考块C和候选块R内的像素点。候选位置通常称为块位移或偏移，反映块匹配描述为参考块在搜索区域内的移位，以及计算参考块C与搜索区域中的重叠部分之间的相似度。为了降低复杂度，通常通过将候选运动矢量限制在某个搜索空间内来减少候选运动矢量的数量。例如，搜索空间可以通过与当前图像中的当前块的位置对应的参考图像中的位置周围的像素的数目和/或位置来定义。在计算所有M×M个候选位置x和y的SAD之后，最佳匹配块R就是产生最小SAD的位置上的块，最小SAD对应于与参考块C的最大相似度。另一方面，候选运动矢量可以通过由相邻块的运动矢量组成的候选运动矢量列表来定义。运动矢量通常至少部分在编码端确定，并在编码码流中向解码器标识。然而，也可以在解码器侧推导出运动矢量。在这种情况下，当前块在解码器侧不可用，并且不能用于计算与参考图像中的候选运动矢量指向的块的相似度。因此，使用从已解码块的像素中构建的模板来代替当前块。例如，可以使用与当前块相邻的已解码像素。这种运动估计减少了信令：运动矢量在编码器和解码器侧以相同方式推导出，因此不需要信令。另一方面，这种运动估计的准确性可能较低。为了平衡准确性和信令开销，可将运动矢量估计分为两个步骤：运动矢量推导和运动矢量修正。例如，运动矢量推导可以包括从候选运动矢量列表中选择运动矢量。例如，可以通过在搜索空间进行搜索进一步修正此类已选择的运动矢量。通过计算每个候选运动矢量(即候选运动矢量指向的块的每个候选位置)的成本函数在搜索空间中进行搜索。文件号JVET-D0029：X.Chen、J.An、J.Zheng发表的《Decoder-SideMotionVectorRefinementBasedonBilateralTemplateMatching(基于双边模板匹配的解码端运动矢量修正)》(文档获取网址http://phenix.it-sudparis.eu/jvet/)介绍了运动矢量修正，发现了整像素分辨率的第一运动矢量，并通过在第一运动矢量周围的搜索空间中以半像素分辨率进行搜索来进一步修正第一运动矢量。目前的音频编解码，例如MP3、AMR或AAC，还压缩输入音频信号并形成码流，码流包括压缩音频像素点和对编码像素点解码所需的对应信令信息。与编码信号的类型无关，码流的形成通常遵循例如由标准预定义的语义规则和语法规则。码流的形成(二值化)可以通过应用固定长度码或可变长度码来执行，固定长度码或可变长度码即具有固定或可变长度的码字的代码。语义向信令信息(例如可能具有“帧间单向预测”、“帧间双向预测”或“帧内预测”内容的预测类型)赋予一个值，该值通常是一个数字(例如分别为1、2、3)。信令信息通常包括在由语法定义的地方的码流中，该语法对编码器和解码器都是已知的。因此，码流通常包括编码语法元素序列。语法元素是某些信令(控制)信息的一个或多个比特，这些信令(控制)信息即控制信息内容。根据上述与预测类型对应的语法本文档来自技高网...

【技术保护点】
1.一种用于将信号(101)编码到码流(171)中的装置(100)，其特征在于，所述码流(171)包括第一信号像素点和与第二信号像素点编码相关的控制信息，所述装置包括处理电路，用于：/n压缩(104、106、108)所述第一信号像素点并重建(110、112、114)所述压缩的第一信号像素点；/n-根据所述重建的第一信号像素点，选择(170、1140)用于向控制信息内容赋予语法元素相应值的语义规则；/n-根据所述语义规则和控制信息内容确定(170、1150)所述语法元素的值；/n通过在所述码流中包括所述压缩的第一信号像素点和所述确定的语法元素值来生成(170、1150、1160)所述码流。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于将信号(101)编码到码流(171)中的装置(100)，其特征在于，所述码流(171)包括第一信号像素点和与第二信号像素点编码相关的控制信息，所述装置包括处理电路，用于：
压缩(104、106、108)所述第一信号像素点并重建(110、112、114)所述压缩的第一信号像素点；
-根据所述重建的第一信号像素点，选择(170、1140)用于向控制信息内容赋予语法元素相应值的语义规则；
-根据所述语义规则和控制信息内容确定(170、1150)所述语法元素的值；
通过在所述码流中包括所述压缩的第一信号像素点和所述确定的语法元素值来生成(170、1150、1160)所述码流。


2.根据权利要求1所述的装置，其特征在于，所述处理电路通过将所述压缩的第一信号像素点和/或所述确定的语法元素值二值化(1150、1160)来生成所述码流。


3.根据权利要求2所述的装置，其特征在于，所述处理电路还用于：
生成(1120)所述控制信息内容；
根据所述生成的控制信息内容压缩(1130)所述第二信号像素点；
对所述压缩的第二信号像素点进行二值化(1160)，并将所述二值化的第二压缩信号像素点包括到所述码流中。


4.根据权利要求2所述的装置，其特征在于，所述处理电路用于通过应用上下文自适应二进制算术编码对所述语法元素值进行二值化。


5.一种用于从码流中解码信号的装置，其特征在于，所述码流包括信号像素点和与信号像素点解码相关的控制信息，所述装置包括处理电路，用于：
从码流中解析出(204、1210)压缩的第一信号像素点和语法元素值；
重建(210至260、1230)所述压缩的第一信号像素点；
-根据所述重建的第一信号像素点，选择(1240)用于向控制信息内容赋予语法元素相应值的语义规则；
-根据所述语义规则和所述解析出的语法元素值确定(1250)控制信息内容。


6.根据权利要求5所述的装置，其特征在于，所述处理电路还用于：
从所述码流中解析出(1210)所述压缩的第二信号像素点；
根据所述确定的控制信息内容对所述压缩的第二信号像素点进行解压缩(1260)。


7.根据权利要求5或6所述的装置，其特征在于，所述处理电路用于通过应用上下文自适应二进制算术解码对所述语法元素值进行解析(1220)。


8.根据权利要求1至7中任一项所述的装置，其特征在于，选择所述语义规则作为索引，所述索引标识将所述控制信息内容与所述相应语法元素值相关联的多个预定义表中的一个，所述索引被确定为所述重建的第一信号像素点的函数。


9.根据权利要求8所述的装置，其特征在于，
所述语义规则为第一表或第二表；
所述语法元素可以取第一值或第二值；
所述第一表将所述语...

【专利技术属性】
技术研发人员：塞米赫·艾森力克，阿南德·梅赫·科特拉，赵志杰，高晗，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44