基于信道状态和视觉感知边信息的错误掩盖方法技术

本发明专利技术涉及数字视频信号压缩传输领域，公开了一种基于信道状态和视觉感知边信息的错误掩盖方法，主要是利用当前信道状态信息和以边信息形式传输的视觉感知权重图，计算相邻宏块的可靠性权重和重建权重，对不同编码类型的错误视频图像分别进行空间域和时间域上的错误掩盖处理，提高易错传输条件下的视频解码图像质量。

【技术实现步骤摘要】

本专利技术涉及数字视频信号压縮传输领域，具体来说是一种利用错误掩盖技术提高易错传输条件下视频解码图像质量的方法。
技术介绍
错误掩盖方法是在视频码流在传输过程种出现错误以后，视频解码器根据视频 图像信号自身特性来恢复受损区域数据，提高视频图像质量的一种方法。视频图像数据 以低频分量为主，除了剧烈的场景切换以及明显的边缘区域外，时间域和空间域上相邻 视频图像的亮度和色度数值变化比较平稳，因此视频图像数据在时间域和空间域上具有 平滑性。另一方面，人眼对不同视频图像的注意度是不同的，相对于低频分量，对于高 频分量失真人眼更不容易察觉。错误掩盖方法就是根据视频图像的平滑性以及人眼的视 觉感知特性，利用近似原始视频图像的数据来掩盖受损的错误视频图像数据，减缓错误 时间和空间上的扩散和蔓延，从而提高视频解码图像质量。错误掩盖方法通常在解码端 使用，不会引入延迟，不需要额外的带宽。 视频码流出错后，视频解码器通常采用基于像素插值和运动补偿的错误掩盖方 法，以减小码流出错对解码视频图像质量的影响。这种错误掩盖方法利用视频图像在空 间域和时间域上的平滑特性，根据相邻宏块信息来重建当前出错宏块。这些相邻宏块包 括正确解码的宏块和经过错误掩盖而重建的宏块。因此，在使用相邻宏块对错误宏块进 行重建时，这些相邻宏块应该被赋予不同的可靠性权重值。 而且，当视频码流由于丢包或误码而出错时，当前的错误掩盖方法只是简单的 利用视频图像的平滑特性，没有考虑视频编码图像的内容，因此在视频图像细节和主观 质量上的效果较差。
技术实现思路
本专利技术提供了一种，主要是利 用当前信道状态信息和以边信息形式传输的视觉感知权重图，计算相邻宏块的可靠性权 重和重建权重，对不同编码类型的错误视频图像分别进行空间域和时间域上的错误掩盖 处理，提高易错传输条件下的视频解码图像质量。 —种，从网络接收视频码流和 边信息数据后，对视频编码类型为帧内编码或帧间编码的含有出错宏块的错误图像进行 处理，包括以下步骤 (l)根据当前信道状态信息中的丢包率计算出错宏块的相邻宏块的可靠性权重 值； 由于所述的视频码流和边信息均是从网络接收，那么当前网络的状态也在一定 程度上影响所读入数据的准确性，必须同时获取当前网络的状态信息，才能实现本专利技术 错误掩盖方法。所述的当前信道状态信息就是指当前网络的状态信息。 其中所述的宏块是指长与宽相等的正方形像素区域块；利用现有技术对读取的 视频码流进行解码后可以查找判断出错宏块，接下来以该出错宏块作为当前宏块进行错 所述相邻宏块是指当前宏块上、下、左、右四个方向上边界相邻的宏块。重建 宏块的失真与其可靠性是成反比的，失真越大，可靠性越小，反之亦然。而视频解码图 像中由于丢包或误码而造成的失真可以用丢包率来预测，因此重建宏块的可靠性也可用 丢包率来描述。另一方面，错误掩盖方法需要采用相邻宏块数据来重建出错的宏块，因 此重建宏块的可靠性与相邻宏块的可靠性相关。 所述的根据当前信道状态信息中的丢包率计算相邻宏块的可靠性权重值，其计 算式为Wreliablllty = avg{Wreliablllty(dir)}(l-P)， dir e {top, left, bo加m， right} (1) 式中，Wr^b一表示宏块的可靠性权重值，dir表示上、下、左、右四个相邻宏 块，P表示当前信道的丢包率。 式中求出上、下、左、右四个相邻宏块可靠性权重值的平均值，再乘以(1-P)， 得到宏块的可靠性权重值。 就任意一个相邻宏块而言，其可靠性权重值确定方法如下 a)若宏块数据正确接收(可以通过解码器来判断)，则其可靠性权重值为1 ; b)若宏块数据出错且没有对其进行过错误掩盖，则其可靠性权重值为0 ; c)若宏块数据出错，但是已经对其进行过错误掩盖，则其可靠性权重值通过式(l)来计算得到，这里要说明是这是一个迭代计算的过程，由于本专利技术方法中是对读入的宏块依次进行处理，只要首个宏块数据可以正确接收，那么随后的出错宏块均可以通过式(1)的迭代计算得到其可靠性权重值。 (2)选择参与重建的相邻宏块； 错误掩盖方法需要足够的相邻宏块的边界像素数据。首先，判断相邻宏块中正 确解码宏块是否满足条件。若满足条件，则仅用正确解码的邻宏块进行错误宏块的恢 复；若不满足条件，则还要选择相邻宏块中已经经过错误掩盖的宏块进行错误宏块的恢 复。 一旦相邻宏块的可靠性权重值Wr^b一累加超过阈值AreliabllltyW，表明参与重建错误 宏块的相邻宏块已经足够，不需要再增加其他的相邻宏块。 该过程可用式(2)描述 Z ^^reliability (^&)》Areliability (2)￡&e{top,icfi'l)oll(.)m,rig〖il} Awity值越高，尽管错误掩盖效果好，但计算量越大， 一般情况A^ab一值可 设为2。 本步骤在选择参与重建的相邻宏块时，按照步骤(l)中从网络接收视频码流时的 顺序，优先考虑先读入的宏块。 (3)从边信息中提出视觉感知权重图。所述的视觉感知权重图是指以宏块为单位 的视觉感知权重矩阵。 所述的从边信息中提出视觉感知权重图时，以边信息中的每一个字节的数据作5为一个视觉感知权重值，对所有的视觉感知权重值进行组合得到视觉感知权重图，其中 每一个视觉感知权重值对应视觉感知权重矩阵中的一个宏块。 (4)根据视觉感知权重图计算相邻宏块的重建权重值；所述的重建权重值是指错 误掩盖中相邻宏块参与错误宏块重建的权重值。 各个相邻宏块的视觉感知权重与当前错误宏块的视觉感知权重可能是不同的， 也就是说，各个相邻宏块与当前出错宏块在主观质量上的相关性可能是不同的。因此， 当根据视频图像信号的平滑性作错误掩盖时，应该按相邻宏块与当前出错宏块的视觉感 知权重相关性计算其在错误掩盖方法中的重建权重值。当相邻宏块与当前出错宏块的视 觉感知权重值相差较小时，相邻宏块在错误掩盖方法中的重建权重值较大；反之，相邻 宏块与当前出错宏块的视觉感知权重值相差较大时，相邻宏块在错误掩盖方法中的重建 权重值较小。 (5)对视频码流进行解析并获取错误图像的视频编码类型，如帧内编码或帧间编 码类型； (6)若错误图像类型为帧内编码，采用像素加权插值的空间域错误掩盖方法； 利用视频图像数据空间域上的冗余，选择合适的相邻宏块，以像素为单位，根 据相邻宏块重建权重值以及与距离权重值，采用插值方法实现空间域的错误掩盖方法。 若错误图像类型为帧间编码，采用基于边界失真匹配的时间域错误掩盖方法； 利用视频图像数据时间域上的冗余，根据参考帧的视频图像数据重建当前帧的 错误视频图像数据，从参与重建的相邻宏块的运动矢量中选择最合适的运动矢量作为错 误宏块的运动矢量，选择准则是使亮度分量的边界匹配失真最小。 本专利技术根据当前传输视频码流的信道状态信息和视频编码图像内容，选择参与 重建错误图像的相邻宏块数据并调整其权重值，因此能够准确的重建错误宏块，提高错 误掩盖效果。附图说明 图1为本专利技术错误掩盖方法的流程图； 具体实施例方式下面结合附图，对本专利技术进行 详细说明。 参见图l，从网络接收视频码流和边信息数据，从边信息中获取视觉感知图，根 据视觉感知权重图计算相邻宏块的重建权重值本文档来自技高网...

【技术保护点】
一种基于信道状态和视觉感知边信息的错误掩盖方法，从网络接收视频码流和边信息数据后，对视频编码类型为帧内编码或帧间编码的含有出错宏块的错误图像进行处理，其特征在于，包括以下步骤：　　（１）根据当前信道状态信息中的丢包率计算出错宏块的相邻宏块的可靠性权重值；　　（２）根据可靠性权重，选择参与重建的相邻宏块；　　（３）从边信息中提出视觉感知权重图；　　（４）根据视觉感知权重图计算相邻宏块的重建权重值；　　（５）解析视频码流并从中获取错误图像的视频编码类型；　　若错误图像的视频编码类型为帧内编码，结合相邻宏块的重建权重值，采用像素加权插值的空间域错误掩盖方法；　　若错误图像的视频编码类型为帧间编码，结合相邻宏块的重建权重值，采用基于边界失真匹配的时间域错误掩盖方法。

【技术特征摘要】
一种基于信道状态和视觉感知边信息的错误掩盖方法，从网络接收视频码流和边信息数据后，对视频编码类型为帧内编码或帧间编码的含有出错宏块的错误图像进行处理，其特征在于，包括以下步骤(1)根据当前信道状态信息中的丢包率计算出错宏块的相邻宏块的可靠性权重值；(2)根据可靠性权重，选择参与重建的相邻宏块；(3)从边信息中提出视觉感知权重图；(4)根据视觉感知权重图计算相邻宏块的重建权重值；(5)解析视频码流并从中获取错误图像的视频编码类型；若错误图像的视频编码类型为帧内编码，结合相邻宏块的重建权重值，采用像素加权插值的空间域错误掩盖方法；若错误图像的视频编码类型为帧间编码，结合相邻宏块的重建权重值，采用基于边界失真匹配的时间域错误掩盖方法。2. 如权利要求1所述的错误掩盖方法，其特征在于步骤(1)所述的根据当前信道状 态信息中的丢包率计算相邻宏块的可靠性权重值，其计算公式为Wreliablllty = avg{Wreliablllty(dir)} . (l-P)， dir e {top, left, bottom, right}(1)式中，Wwnty表示宏块的可靠性权重值，dir表示上、下、左、右四个相邻宏块，P 表示当前信道的丢包率。3. 如权利要求1所述的错误掩盖方法，其特征在于根据步骤(2)中所述的可靠性权 重，选取参与重建的相邻宏块，其计算方法为设置可靠性权重值累加阈值Areliabmty，当相邻宏块的可靠性权重值累加超过Areliabmty 时，停止选取参与重建的相邻宏块。4. 如权利要求1所述的错误掩盖方法，其特征在于步骤(4)中所述的从边信息中提 出视觉感知权重图时，以边信息中的每一个字节的数据作为一个视觉感知权重值，对所 有的视觉感知权重值进行组合得到视觉感知权重图。5. 如权利要求1所述的错误掩盖方法，其特征在于根据步骤(4)中所述的视觉感知权重图计算相邻宏块的重建权重值，其计算式为<formula>formula see original document page 2</formula>式中Wrec。nstmcted为重建权重值； dir表示参与重建的...

【专利技术属性】
技术研发人员：马汉杰，陈耀武，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]