一种基于纹理角度预测模式的HEVC帧内编码帧差错掩盖方法技术

本发明专利技术公开了一种基于纹理角度预测模式的HEVC帧内编码帧差错掩盖方法，具体涉及一种在HEVC编码标准解码端，针对HEVC码流在传输过程中可能出现的差错，一种以最大编码单元(LCU)为对象的、基于纹理角度预测模式的HEVC帧内编码帧差错掩盖方法。本方法利用帧内编码模式的空域相关性，首先将丢失LCU分为左上、右上、右下、左下四部分，然后每一部分根据相邻的正确接收块的深度，推测出该部分合理的划分；在该划分模式下，参考相邻块的纹理角度模式，对丢失LCU每个划分块进行纹理角度模式判别，并以此纹理角度模式按照帧内预测的方式进行差错掩盖，如此进行直至掩盖完整个丢失LCU。实验表明本发明专利技术方法相比使用线性内插方法进行差错掩盖能够有效提高HEVC掩盖质量。

A frame error concealment method based on texture angle prediction mode for HEVC intra coding

The invention discloses a prediction mode of HEVC frame within the encoding frame error concealment method based on texture angle, in particular to a standard in HEVC encoding decoding, aiming at the possible HEVC stream in the process of transmission error, a maximum encoding unit (LCU) is based on the perspective of the object, texture prediction mode of HEVC frame the encoding frame error concealment method. The method utilizes the spatial correlation of intra encoding mode, the first LCU will be lost into left, right, right, left on the four parts, and each part according to the adjacent correct reception block depth, which suggested that the reasonable part of the division; in the classification model, texture model reference angle of adjacent blocks the identification of each block lost LCU texture angle mode, and this mode in accordance with the grain angle of intra prediction mode for error concealment, so until a complete loss of LCU cover. Experimental results show that the proposed method can effectively improve the quality of HEVC masking compared with the linear interpolation method.

【技术实现步骤摘要】
一种基于纹理角度预测模式的HEVC帧内编码帧差错掩盖方法
本专利技术属于视频编码
，具体涉及在HEVC编码标准解码端针对HEVC码流在传输过程中可能出现的差错，以最大编码单元LCU(LargestCodingUnit,LCU)为对象的、基于纹理角度预测模式的HEVC帧内编码帧差错掩盖方法。
技术介绍
高效视频编码(HighEfficiencyVideoCoding,HEVC)是ITU和ISO共同制定的新一代视频编码国际标准，在未来的高清和超高清视频应用中具有广阔的前景。HEVC在编码原理及基本结构方面和前一个标准H.264/AVC基本一致，即预测加变换的分块混合编码方式，但几乎在每一个编码环节上都采取了相应的改进措施，使得总体编码效率比H.264/AVC提高了一倍。然而，在编码效率提高的同时，与H.264/AVC码流信号相比，HEVC码流对差错的抗干扰能力却更加脆弱，一个比特的错误意味着更多信息的丢失，而且往往会影响后续码流的正确解码，从而严重降低图像观赏质量。因此，在传输HEVC视频码流时，应采用适当的差错控制机制，以使差错的影响降到最小，最大程度保证视频的解码质量。基于解码端处理的差错掩盖技术，是利用已正确解码的图像信息对错传部分进行估计和替换，从而改善重建图像观赏效果的技术。由于不需要再从编码端获得额外的信息，从而不会消耗额外的带宽，不会带来时延和其他的编码冗余消耗，因此是一种非常有效的抵御传输差错影响的技术，并受到很大的关注。HEVC编码中，帧内编码帧是编码图像组中重要的参考帧，其质量会影响后续预测重建帧的质量。因此，对于帧内编码帧的差错掩盖是HEVC差错掩盖中不可或缺的技术。双线性差值法(Bi-linearInterpolation，BI)以其实现简单的特点，是一种常用的帧内编码帧差错掩盖技术。前一代视频编码标准H.264/AVC参考软件JM中，帧内差错掩盖就采用了BI方法。HEVC编码以LCU为基本单位分割图像帧、作为最大编码单元，类似于H.264/AVC中MB的概念，但LCU尺寸为64×64，是MB大小的16倍，这就意味着HEVC块丢失会涉及到更多的图像像素。在这种情况下，将LCU作为基本单元进行差错掩盖时，如果直接使用BI方法，则由于丢失块(LCU)大部分丢失的像素离正确接收的像素距离更远，就会使得掩盖效果大打折扣。为了得到良好的差错掩盖性能，需要结合出错帧的编码模式进行针对性的处理。由于HEVC帧内预测编码针对图像纹理使用了相比于H.264/AVC更多的帧内预测模式，具体而言，亮度分量支持33种纹理角度模式、DC模式以及Planar模式共35种，使得划分的纹理角度更加精确，也为差错掩盖提供了提升掩盖质量的可能。
技术实现思路
本专利技术针对上述分析中直接使用BI方法存在的不足，研究以LCU为单位进行HEVC差错掩盖的方法，提出一种基于纹理角度预测模式的方法完成HEVC帧内差错的掩盖。该方法利用了帧内预测模式的空域相关性，参考丢失LCU周围正确接收块的编码信息，对当前丢失LCU的划分模式及纹理角度模式进行合理推测，并用来进行差错掩盖，从而提高掩盖质量。为此，本专利技术采用的解决方案是一种基于纹理角度预测模式的HEVC帧内编码帧差错掩盖方法，具体包括以下步骤：步骤A：完成对丢失LCU的检测及定位；步骤B：将丢失LCU均分为左上、右上、右下、左下四部分，每部分对应32x32的大小；步骤C：先处理左上部分，在HEVC标准参考软件HM中通过getDepth()函数得到该部分上边及左边相邻16个正确接收的4x4小块的深度信息，并以最大深度确定该部分的划分；步骤D：对于划分的每一个块，参考相邻两个块的纹理角度模式推测出当前划分块可能的纹理角度模式，对于左上部分，根据左边和上边块进行推测，从左上角的块开始先行后列依次完成该部分所有划分块的纹理角度模式推测；步骤E：完成左上部分所有划分块的纹理角度模式判别之后，根据该模式对划分块按照帧内预测的方式进行差错掩盖，参考像素来自划分块左边及上边像素；掩盖顺序具体是：从左上角的划分块开始先行后列依次完成该部分所有划分块的掩盖；步骤F：按照步骤B～D所述方式，进行右上部分的掩盖，其中该部分的参考块和参考像素位置及掩盖顺序要做相应的改变，具体的该部分和左上部分的关于X轴呈镜像对称；步骤G：按照步骤B～D所述方式，进行右下部分的掩盖，该部分的参考块和参考像素位置及掩盖顺序和右上部分的关于Y轴呈镜像对称；步骤H：按照步骤B～D所述方式，进行左下部分的掩盖，该部分的参考块和参考像素位置及掩盖顺序和右下部分的关于X轴呈镜像对称；其中上述步骤在做帧内预测掩盖时，如果参考像素不存在或不可用，就按照HEVC标准进行纹理角度预测时所采取的方式使用最邻近的像素进行填充。进一步，上述以最大深度确定划分即将该部分划分为一系列此深度的块，如果最大深度为0或1，则不进行划分，直接以32x32的大小进行下一步操作。进一步，上述进行纹理角度模式推测时，如果参考块是正确接收块则其纹理角度预测模式由getIntraDir()函数得到；如果参考块不是正确接收块，则其纹理角度模式就取已经对其推测得到的模式。进一步，上述进行纹理角度模式推测时纹理角度模式判别方法如下：(1)若两个参考块纹理角度模式相同，就选该模式；(2)若两个参考块的模式分别是DC模式和Planar模式，选Planar模式；(3)若一个参考块的模式分别是DC模式或Planar模式，另一个是纹理角度模式，选该纹理角度模式；(4)若两个参考块的预测模式是相邻的纹理角度模式，选距离主方向近的那个，即如果是垂直模式选靠近垂直方向的，如果是水平模式选靠近水平方向的；(5)若两个参考块的预测模式是不相邻的纹理角度模式，选中间模式。进一步，步骤C中，利用帧内预测模式的空域相关性，参考丢失LCU周围正确接收块的编码信息，对当前丢失LCU的划分模式进行推测，既保证划分的合理性又会降低复杂度。进一步，步骤D中，利用空域相关性对划分块的纹理角度模式进行判别。进一步，步骤E中，根据推测出的划分模式和纹理角度模式对丢失块进行差错掩盖，从而在一定程度上恢复丢失LCU的纹理角度特性，有效提高掩盖质量。与现有技术相比，本专利技术的有益效果：1，本专利技术方法相比BI方法能够在复杂度增加不高的情况下有效提高HEVC帧内编码帧LCU丢包的掩盖质量。2，本专利技术利用了帧内预测模式的空域相关性，参考丢失LCU周围正确接收块的编码信息，对当前丢失LCU的划分模式及纹理角度模式进行合理推测，并用来进行差错掩盖，从而提高掩盖质量。附图说明图1是本专利技术方法框图。图2是帧内预测纹理角度判别示意图。图3是各部分的参考像素及掩盖顺序示意图。图4是本专利技术方法对序列RaceHorses的一个具体掩盖效果事例图。具体实施方式现结合附图对本专利技术做进一步详细的说明。一帧视频图像内具有很强的空域相关性，相应的帧内编码信息之间也有比较强的相关性，本专利技术方法正是利用了这种相关性，参考丢失LCU周围正确接收块的编码信息，对当前丢失块的划分模式以及纹理角度预测模式做一个合理的推测，并根据推测出的划分模式以及纹理角度模式信息来掩盖丢失块，从而提高掩盖质量。本专利技术方法框图如图1所示。具体实施方式如下：首先完成丢失LCU本文档来自技高网...

【技术保护点】
一种基于纹理角度预测模式的HEVC帧内编码帧差错掩盖方法，其特征在于，包括以下步骤：步骤A：完成对丢失LCU的检测及定位；步骤B：将丢失LCU均分为左上、右上、右下、左下四部分，每部分对应32x32的大小；步骤C：先处理左上部分，在HEVC标准参考软件HM中通过getDepth()函数得到该部分上边及左边相邻16个正确接收的4x4小块的深度信息，并以最大深度确定该部分的划分；步骤D：对于划分的每一个块，参考相邻两个块的纹理角度模式推测出当前划分块可能的纹理角度模式，对于左上部分，根据左边和上边块进行推测，从左上角的块开始先行后列依次完成该部分所有划分块的纹理角度模式推测；步骤E：完成左上部分所有划分块的纹理角度模式判别之后，根据该模式对划分块按照帧内预测的方式进行差错掩盖，参考像素来自划分块左边及上边像素；掩盖顺序具体是：从左上角的划分块开始先行后列依次完成该部分所有划分块的掩盖；步骤F：按照步骤B～D所述方式，进行右上部分的掩盖，其中该部分的参考块和参考像素位置及掩盖顺序要做相应的改变，具体的该部分和左上部分的关于X轴呈镜像对称；步骤G：按照步骤B～D所述方式，进行右下部分的掩盖，该部分的参考块和参考像素位置及掩盖顺序和右上部分的关于Y轴呈镜像对称；步骤H：按照步骤B～D所述方式，进行左下部分的掩盖，该部分的参考块和参考像素位置及掩盖顺序和右下部分的关于X轴呈镜像对称；其中上述步骤在做帧内预测掩盖时，如果参考像素不存在或不可用，就按照HEVC标准进行纹理角度预测时所采取的方式使用最邻近的像素进行填充。...

【技术特征摘要】
1.一种基于纹理角度预测模式的HEVC帧内编码帧差错掩盖方法，其特征在于，包括以下步骤：步骤A：完成对丢失LCU的检测及定位；步骤B：将丢失LCU均分为左上、右上、右下、左下四部分，每部分对应32x32的大小；步骤C：先处理左上部分，在HEVC标准参考软件HM中通过getDepth()函数得到该部分上边及左边相邻16个正确接收的4x4小块的深度信息，并以最大深度确定该部分的划分；步骤D：对于划分的每一个块，参考相邻两个块的纹理角度模式推测出当前划分块可能的纹理角度模式，对于左上部分，根据左边和上边块进行推测，从左上角的块开始先行后列依次完成该部分所有划分块的纹理角度模式推测；步骤E：完成左上部分所有划分块的纹理角度模式判别之后，根据该模式对划分块按照帧内预测的方式进行差错掩盖，参考像素来自划分块左边及上边像素；掩盖顺序具体是：从左上角的划分块开始先行后列依次完成该部分所有划分块的掩盖；步骤F：按照步骤B～D所述方式，进行右上部分的掩盖，其中该部分的参考块和参考像素位置及掩盖顺序要做相应的改变，具体的该部分和左上部分的关于X轴呈镜像对称；步骤G：按照步骤B～D所述方式，进行右下部分的掩盖，该部分的参考块和参考像素位置及掩盖顺序和右上部分的关于Y轴呈镜像对称；步骤H：按照步骤B～D所述方式，进行左下部分的掩盖，该部分的参考块和参考像素位置及掩盖顺序和右下部分的关于X轴呈镜像对称；其中上述步骤在做帧内预测掩盖时，如果参考像素不存在或不可用，就按照HEVC标准进行纹理角度预测时所采取的方式使用最邻近的像素进行填充。2.如权利要求1所述的一种基于角度预测模式的HEVC帧内编码帧差错掩盖方法，其特征在于所述以最大深度确定划分即将该部分划分为一系列此深度的块，如果最...

【专利技术属性】
技术研发人员：胡栋，范光宾，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32