一种自适应阈值的视频流多纹理方向错误隐藏方法技术

一种自适应阈值的视频流多纹理方向错误隐藏方法，其特征是基于改进的自适应阈值的Sobel边缘检测算法，通过检测出错误宏块的相邻块可能的边缘方向，结合边界像素差值成本函数自适应地确定错误宏块中每个像素点的插值方向，然后对错误宏块中的每个像素点进行方向插值来恢复错误宏块，能够更精确的提取出边缘信息及自适应的恢复丢失宏块，保证了恢复后视频图像的平滑性。本发明专利技术与H.264标准的错误隐藏算法相比，其视频图像隐藏效果在主观视觉判断和客观数值计算上都有一定的提高。

【技术实现步骤摘要】
一种自适应阈值的视频流多纹理方向错误隐藏方法
本专利技术属于视频图像处理领域，涉及到一种H.264解码视频图像中对错误信息块的近似恢复或错误隐藏方法。
技术介绍
H.264视频压缩编码标准是由国际电信联盟（ITU-T）的视频编码专家组（VCEG）和国际标准化组织（ISO/IEC）的运动专家组（MPEG）共同制定的新一代视频压缩编码标准。H.264带来高压缩比和良好网络亲和性的同时，由于接收端接收到的信息量变少，图像序列间的冗余度降低，使得编码后的码流对错误更加敏感，从而使得任何一个比特的丢失或错误，都可能导致误码扩散，容易降低接收到的视频图像质量。错误隐藏技术即是一个图像采样或一块采样在传输中由于错误而丢失，解码器仍能基于周围的已经收到的采样点，利用空间和时间相邻的采样点的内在相关性进行估计，从而实现错误隐藏，用估算数据恢复。该技术并不追求将原始数据完整还原，而是利用已经接收到的数据来尽量增强视频图像质量，因此，它无需增加额外的码率，也不需要改变编码器。常见的错误隐藏算法分两种：时域错误隐藏和空域错误隐藏。时域错误隐藏主要是利用视频序列的相邻帧之间的较强时间相关性，通过相邻帧经过运动补偿后的正确图形数据来对错误宏块内容进行恢复。这种方法只适合于运动不太复杂的视频信号，对于场景变换的情况则往往不太适用。空域错误隐藏主要是使用同一帧图像中的空间相关性对丢失的内容进行修复，因此对于场景变换的情况可以利用帧内信息对错误宏块进行掩盖。现有技术中，使用的普遍的是H.264双线性内插算法。双线性内插算法是H.264标准的空域错误隐藏算法。通过上下左右4个相邻像素块的边缘像素进行线性插值来恢复错误数据。这种算法是根据像素距离越近，其相关性越大的原理，因此权值设定为丢失像素与相邻像素的反向距离，图1为双线性内插算法示意图。现有的Sobel边缘检测算法：（1）计算梯度的幅值和方向Sobel算子是在图像空间利用x和y两个方向模板与图像中的每个像素点进行邻域卷积来完成的。对于f(i,j)为图像中像素点灰度值（i,j为像素点的坐标），x和y方向的模板见图2。水平梯度Gx(i,j)为：Gx(i,j)＝f(i-1,j-1)+2f(i-1,j)+f(i-1,j+1)-f(i+1,j-1)-2f(i+1,j)-f(i+1,j+1)垂直梯度Gy(i,j)为：Gy(i,j)＝f(i-1,j+1)+2f(i,j+1)+f(i+1,j+1)-f(i-1,j-1)-2f(i,j-1)-f(i+1,j-1)令图像中每个像素点的梯度幅值和方向分别为G(i,j)和θ(i,j)，则：（2）边缘检测阈值设定边缘检测是通过检测图像灰度变化确定图像边缘的过程，图像边缘是图像灰度变化最显著的区域或边界，因此梯度幅值较大的一些像素点才能体现真正的边缘信息。Sobel边缘检测算法中的阈值取决于整个图像像素灰度级信息，阈值设置过小，易产生伪边缘；阈值设置过大，易使边缘间断。设待进行边缘检测视频图像的尺寸大小为M×N，所以进行边缘检测的视频图像需要剔除边界点，因此其尺寸大小为(M-2）×（N-2)。Sobel算子常规设定阈值Th的方法通常是通过待测像素点的梯度幅值G(i,j)与整个M×N视频图像的平均梯度幅值MG1和梯度标准差SD1的比较，来判定该待测像素点是否为边缘像素点，并通过多次实验测试经验来进行判断：其中：令Th＝MG1+SD1，如果G(i,j)＞Th，则判定该像素点为图像边缘点，否则，不是图像边缘点。
技术实现思路
本专利技术基于改进的自适应阈值的Sobel边缘检测算法，通过检测出错误宏块的相邻块可能的边缘方向，结合边界像素差值成本函数自适应地确定错误宏块中每个像素点的插值方向，然后对错误宏块中的每个像素点进行方向插值来恢复错误宏块，能够更精确的提取出边缘信息及自适应的恢复丢失宏块，保证了恢复后视频图像的平滑性。本专利技术是通过以下技术方案实现的。（S1）用改进的Sobel算法对错误宏块的相邻块进行边缘检测用改进的Sobel算法分别对BT、BB、BL、BR中的像素点进行边缘检测。经边缘检测后，上、下、左、右4个相邻块中的每个候选边缘像素点(i,j)都有梯度幅值G*(i,j)和梯度方向θ*(i,j)。（S2）对错误宏块的相邻块的边缘方向分类将边缘划分为8个方向，即θ1～θ8。其中：θ1＝(0°,22.5°]，θ2＝(22.5°,45°]，θ3＝(45°,67.5°]，θ4＝(67.5°,90°]，θ5＝(90°,112.5°]，θ6＝(112.5°,135°]，θ7＝(135°,157.5°]，θ8＝(157.5°,180°]。梯度方向θ*(i,j)的值在哪个范围之内，该候选边缘像素点的方向就对应该方向。（S3）确定错误宏块的相邻块边缘方向错误宏块的边缘信息取决于相邻块的边缘方向，确定相邻块边缘方向的具体步骤如下：步骤（1）：根据改进的Sobel边缘检测算法判定出来的候选边缘像素点，可能有一部分像素点在其梯度方向上延伸后不能通过错误宏块，因此这一部分边缘像素点是伪边缘点。通过此步骤可以进一步剔除一些非边缘点或噪声点。设错误宏块大小为N×N，则可通过相邻块中的候选边缘像素点在其梯度方向上延伸后与错误宏块边缘的交点坐标值的取值范围0～（N-1)来进行判断，如果交点坐标值在0～（N-1)范围内，则可判定为边缘像素点。比如：假设错误宏块大小为16×16，则可通过相邻块中的候选边缘像素点在其梯度方向上延伸后与错误宏块边缘的交点坐标值的取值范围0～15来进行判断，如果交点坐标值在0～15范围内，则可判定为边缘像素点。步骤（2）：根据公式（1）计算相邻块中边缘像素点在（S2）的8个边缘方向的幅值总和：记上、下、左、右相邻块在8个边缘方向的幅值总和分别为DT(k)、DB(k)、DL(k)、DR(k)，其中k＝1～8分别代表θ1～θ8这8个边缘方向。步骤（3）：分别取步骤（2）中DT(k)、DB(k)、DL(k)、DR(k)4个相邻块幅值总和中的最大值，记为DTM(dirT)、DBM(dirB)、DLM(dirL)、DRM(dirR)。其中上、下、左、右4个相邻块幅值总和最大值对应的方向依次为dirT、dirB、dirL、dirR，其分别表示各相邻块中可能的边缘方向。（S4）确定错误宏块中每个像素点的插值方向依据边界像素差值越小，边界像素间的相关性越大的原理，本专利技术提出了边界像素差值成本函数Cost(i,j)，然后根据（S3）中分别得到的错误宏块上、下、左、右4个相邻块中的可能的边缘方向，自适应地确定错误宏块中每个像素点的插值方向。具体步骤如下：1）：根据公式（2）分别计算出沿着4个可能的边缘方向的边界像素差值：其中：f(i,j)为错误宏块中的像素点灰度值，f'(i,j)为经过错误宏块的像素点沿着可能的边缘方向与相邻块交点的像素点灰度值，PN为经过错误宏块的像素点沿着可能的边缘方向与相邻块交点的集合。记上、下、左、右相邻块的边界像素差值分别为CostT(i,j)、CostB(i,j)、CostL(i,j)、CostR(i,j)。2）：取CostT(i,j)、CostB(i,j)、CostL(i,j)、CostR(i,j)4个值中的最小值所对应相邻块的边缘方向为错误宏块中像素点(i本文档来自技高网...

【技术保护点】
一种自适应阈值的视频流多纹理方向错误隐藏方法，其特征是包括以下步骤： 步骤（1）：判断接收端收到的视频图像的宏块是否发生错误，如果是，则转到步骤（2）；否则转到步骤（6）； 步骤（2）：对错误宏块的相邻块进行改进的Sobel边缘检测算法，依次确定各个相邻块的边缘方向； 步骤（3）：根据边缘像素差值成本函数自适应确定错误宏块中每个像素点的插值方向； 步骤（4）：对错误宏块中的每个像素点依据其插值方向计算方向插值，并恢复错误宏块； 步骤（5）：判断错误宏块是否全部被错误隐藏，如果是，则转到步骤（6）；否则转到步骤（2）； 步骤（6）：输出接收到的视频图像； 所述的改进的Sobel边缘检测算法如下： （1）计算梯度的幅值和方向 水平梯度Jx(i,j)为： Jx(i,j)＝Gx2(i,j)+Gy2(i,j) 垂直梯度Jy(i,j)为： Jy(i,j)＝2Gx(i,j)Gy(i,j) 令图像中每个像素点的梯度幅值和方向分别为G*(i,j)和θ*(i,j)，则： （2）自适应阈值设定 设待进行边缘检测视频图像的尺寸大小为M×N，进行边缘检测的图像需要剔除边界点，因此其尺寸大小为(M‑2）×（N‑2)；基于自适应阈值进行边缘检测的步骤如下： 1）：分别根据以下两个公式计算待进行边缘检测图像的平均梯度幅值MG1和梯度标准差SD1： 2）：令自适应阈值Ath1＝MG1+k1×SD1，其中k1为阈值因子；如果G*(i,j)＞Ath1，则 初步判定该像素点为待定边缘点； 3）：分别根据以下两个公式计算以待测像素点为中心的3×3邻域窗中像素的平均梯度幅值MG2和梯度标准差SD2： 4）：令自适应阈值Ath2＝MG2+k2×SD2，其中k2为阈值因子；如果G*(i,j)＞Ath2，则可判定该像素点为边缘点。...

【技术特征摘要】
1.一种自适应阈值的视频流多纹理方向错误隐藏方法，其特征是包括以下步骤：步骤(1)：判断接收端收到的视频图像的宏块是否发生错误，如果是，则转到步骤(2)；否则转到步骤(6)；步骤(2)：对错误宏块的相邻块进行改进的Sobel边缘检测算法，依次确定各个相邻块的边缘方向；步骤(3)：根据边缘像素差值成本函数自适应确定错误宏块中每个像素点的插值方向，边界像素差值成本函数为；其中：f(i,j)为错误宏块中的像素点灰度值，f'(i,j)为经过错误宏块的像素点沿着可能的边缘方向与相邻块交点的像素点灰度值，PN为经过错误宏块的像素点沿着可能的边缘方向与相邻块交点的集合；步骤(4)：对错误宏块中的每个像素点依据其插值方向计算方向插值，并恢复错误宏块；步骤(5)：判断错误宏块是否全部被错误隐藏，如果是，则转到步骤(6)；否则转到步骤(2)；步骤(6)：输出接收到的视频图像；所述的改进的Sobel边缘检测算法如下：(1)计算梯度的幅值和方向水平梯度Jx(i,j)为：Jx(i,j)＝Gx2(i,j)+Gy2(i,j)垂直梯度Jy(i,j)为：Jy(i,j)＝2Gx(i,j)Gy(i,j)其中Gx(i,j)和Gy(i,j)分别是传统的Sobel边缘检测算法中的水平梯度和垂直梯度；令图像中每个像素点的梯度幅值和方向分别为G*(i,j)和θ*(i,j)，则：(2)自适应阈值设定设待进行边缘检测视频图像的尺寸大小为M×N，进行边缘检测的图像需要剔除边界点，因此其尺寸大小为(M-2)×(N-2)；基于自适应阈值进行边缘检测的步骤如下：1)：分别根据以下两个公式计算待进行边缘检测图像的平均梯度幅值MG1和梯度标准差SD1：2)：令自适应阈值Ath1＝MG1+k1×SD1，其中k1为阈值因子；如果G*(i,j)＞Ath1，则初步判定该像素点为待定边缘点；3)：分别根据以下两个公式计算以待测像素点为中心的3×3邻域窗中像素的平均梯度幅值MG2和梯度标准差SD2：4)：令自适应阈值Ath2＝MG2+k2×SD2，其中k2为阈值因子；如果G*(i,j)＞Ath2，则可判定该像素点为边缘点。2.根据权利要求1所述的自适应阈值的视频流多纹理方向错误隐藏方法，其特征是所述的步骤(2)按以下步骤：(S1)用改进的Sobel算法对错误宏块的相邻块进行边缘检测用改进的Sobel算法分别对BT、BB、BL、BR中的像素点进行边缘检测；经边缘检测后，上、下、左、右4个相邻块中的每个候选边缘像素点(i,j)都有梯度幅值G*(i,j)和梯度方向θ*(i,j)；...

【专利技术属性】
技术研发人员：张小红，胡婷，钟小勇，
申请(专利权)人：江西理工大学，
类型：发明
国别省市：江西;36