一种去除视频抖动的方法和系统技术方案

本发明专利技术提供了一种去除视频抖动的方法和系统，所述方法包括：步骤一：将视频中当前图像帧相对于其邻近图像帧进行配准；步骤二：将配准中产生的抖动的轨迹信息进行累计，并平滑抖动产生的运动轨迹，对当前图像帧进行与运动轨迹相反方向的校正；步骤三：用与当前图像帧邻近的图像帧来填充平滑抖动时在当前图像帧边缘处产生的空白区域；步骤四：跳转到当前图像帧的下一图像帧，返回步骤一，直至视频中的所有图像帧处理完毕。通过本发明专利技术的方法和系统，处理速度更快，且与图像的对比度无关，具有相对更高的配准精度，并保证了填充后图像在边缘处具有很好的连续性和一致性，减少了人工处理的痕迹。

【技术实现步骤摘要】

本专利技术属于图像处理领域，特别地，涉及去除视频抖动的技术。
技术介绍
摄像设备固定在建筑物或柱子上时，当有风时就会出现晃动；在机器(如车、飞 机、船等)、加热通风设备、空调、PTZ云台等有震动的场合中也输出抖动的不稳定的视频 图像，尤其是在使用高倍放大的镜头情况下，视频抖动的程度更加严重，严重影响了视觉效 果。针对于摄像装置输出的视频，目前的视频去除抖动方法处理的速度往往不能达到实时 的要求，或降低处理后视频的分辨率。 视频去除抖动的首要工作为相邻帧图像间的配准，配准的精确程度将直接影响视 频去抖动的效果。常用于图像配准的方法有光流法、基于形状内容的方法、角点检测与匹 配的方法等。光流法的运算复杂度较高，很难做到视频的实时处理。基于形状内容的方法 适合于图像间的内容匹配和检索。角点检测与匹配的方法主要包括SIFT角点检测与匹配 方法，Harris角点检测方法，SUSAN角点检测方法等。其中，SIFT角点检测与匹配方法具有尺度和旋转不变性，能较准确的对图像进行配准，但运算复杂度较高，难以做到实时处理。 Harris和SUSAN角点检测算法相对较快，且能较准确的检测出图像中的角点，但当图像的 对比度较低或图像偏移尺度较大时，配准精度较低，边缘的连续性和一致性较差。
技术实现思路
本专利技术的目的在于提供一种去除视频抖动的方法和系统，能够对视频帧中的原图像进行配准后产生的抖动的轨迹信息进行平滑，并对产生的空白区域进行填充。该方法包括如下步骤 步骤一 将视频中当前图像帧相对于其邻近图像帧进行配准； 步骤二 将配准中产生的抖动的轨迹信息进行累计，并平滑抖动产生的运动轨迹， 对当前图像帧进行与运动轨迹相反方向的校正； 步骤三用与当前图像帧邻近的图像帧来填充平滑抖动时在当前图像帧边缘处产 生的空白区域； 步骤四跳转到当前图像帧的下一图像帧，返回步骤一，直至视频中的所有图像帧 处理完毕。所述步骤一包括如下步骤 步骤a、计算当前图像帧的最大下采样尺度，根据最大下采样尺度对原图像进行下 采样，生成下采样图像； 步骤b、在下采样图像中计算每个像素的纹理特征； 步骤c、根据各像素的纹理特征计算两图像帧的下采样图像的代价函数，从而得到 下采样图像的运动方向； 步骤d、根据运动方向对原图像进行校正，得到原图像在行方向和列方向上的轨迹信息；度为0。度。 所示素点(x， 步骤e、縮小下采样尺度，对校正后的图像进行下采样，返回步骤b，直至下采样尺所述步骤a中，最大下采样尺度为t ， t = max{i-y W《min(H， W}}其中，i表示临界下采样尺度，y为相对参数，H表示图像的高度，W表示图像的宽 所述步骤b中，纹理特征用图像的灰度、水平和竖直梯度三维向量来表示，如下式J(w) L ()，().其中，I(x,y)为图像在像素点(x， y)处的灰度值，I(x,/ y)处的水平和竖直梯度。 所述步骤c中，代价函数为1H W ,} 2 、2和I(x,y)表示图像在像c,、= 其中，u为水平方向的像素偏移，v为竖直方向的像素偏移，u和v的取值范围均是 {-1，0，1} ;C(u,v)为两帧图像间按(u，v)方向运动时的代价值，H表示图像的高度，W表示图像的宽度。f(w/表示图像在像素点(x，y)处的纹理特征值，f(x+u， y+v)表示邻帧图像在像素点(x+u， y+v)处的纹理特征值 所述步骤c中，图像的运动方向的计算公式为 , (，v) min(C(—l,ve{-1,0,1}}S-L(O,O) c紐 其中，小为判定阈值，(u' ， v')为相邻两帧间的运动方向。 所述步骤e中，对校正后的图像进行下采样时，采用金字塔模型进行下采样。 所述步骤二中，将配准中产生的抖动的轨迹信息进行累计时，首先计算当前帧在 行方向需移动的像素数目S^和当前帧在行方向需移动的像素数目S。y1 々=p0r<formula>formula see original document page 6</formula> 其中，Pk为运动轨迹中与当前图像帧相邻i帧的图像在行方向的累积位移，Pjc为 运动轨迹中与当前图像帧相邻j帧的图像在列方向的累积位移，a为滤除抖动采用的视频 帧宽度，P。r表示当前图像帧在行方向的积累位移，P。。表示当前图像帧在列方向的积累位 移，i、j为自然数；根据S^和S。。反方向移动当前图像帧来平滑抖动产生的运动轨迹。 所述步骤三中，计算当前图像帧和与当前图像帧邻近的图像帧之间的共享边缘约 束值，当共享边缘的约束值小于既定阈值时，用与当前图像帧邻近的图像帧的对应区域填 充平滑抖动时当前图像帧中的空白区域，否则用与当前图像帧邻近的图像帧的下一帧进行 阈值匹配，直至当前图像帧中的空白区域填充完毕。 所述步骤三中，共享边缘约束值Sk (x。， y。)为 Sk(x。， y。) = S。k(x。， y。)+Sk。(x。， y0) 其中， S。k(X。， y。)为当前图像帧相对于邻近的第k帧图像在(x。， y。)处的共享边缘约束；sk。(X。，y。)为邻近的第k帧图像相对于当前图像帧在(x。，y。)处的共享边缘约束；(x。，y。)为当前图像帧在与第k帧图像共享边缘上像素点的坐标。 本专利技术还提供了一种去除视频抖动的系统，包括 配准装置，用于将视频中当前图像帧相对于其邻近图像帧进行配准； 校正装置，用于将配准中当前图像帧产生的抖动的轨迹信息进行累计，并平滑抖动产生的运动轨迹，对当前图像帧进行与运动轨迹相反方向的校正； 填充装置，用于使用与当前图像帧邻近的图像帧来填充平滑抖动时在当前图像帧边缘处产生的空白区域。所述配准装置包括 下采样单元，用于计算当前图像帧的最大下采样尺度，根据最大下采样尺度对原 图像进行下采样，生成下采样图像；以及縮小下采样尺度，对运动方向校正装置校正后的图 像进行下采样以生成下采样图像，直至下采样尺度为0 ; 计算单元，用于在下采样图像中计算每个像素的纹理特征； 运动方向确定单元，用于根据各像素的纹理特征计算两图像帧的下采样图像的代 价函数，从而得到下采样图像的运动方向； 运动方向校正单元，用于根据运动方向对原图像进行校正，得到原图像在行方向 和列方向上的轨迹信息。 与现有技术相比，本专利技术去除视频抖动的方法和系统利用多种采样尺度对图像帧 进行配准，并计算纹理特征，处理速度较快，且与图像的对比度无关，仅取决于图像的尺寸， 采用代价函数来对图像的运动方向进行判定，并在此基础上对图像的运动方向进行校正， 保证了图像的对比度较低或图像偏移尺度较大时的配准精度。利用邻近的图像帧来对当前 帧进行填充，保证了填充后在当前帧的边缘处具有良好的连续性和一致性，减少了人工处 理的痕迹，输出的视频与原始视频具有相同的分辨率，且保持了图像的清晰度和连续性。附图说明 图1是本专利技术去除视频抖动的方法的流程图； 图2是本专利技术去除视频抖动的方法的图像帧的配准流程图； 图3是本专利技术去除视频抖动的方法的金字塔模型示意图； 图4是本专利技术去除视频抖动的系统的示意性框图； 图5a是本专利技术去除视频抖动的方法的视频在行方向的运动轨迹以及不同程度平 滑后视频的运动轨迹示意图； 图5b是本专利技术去除视频抖动的方法的视频本文档来自技高网...

【技术保护点】
一种去除视频抖动的方法，其特征在于，包括：步骤一：将视频中当前图像帧相对于其邻近图像帧进行配准；步骤二：将配准中当前图像帧产生的抖动的轨迹信息进行累计，并平滑抖动产生的运动轨迹，对当前图像帧进行与运动轨迹相反方向的校正；步骤三：用与当前图像帧邻近的图像帧来填充平滑抖动时在当前图像帧边缘处产生的空白区域；步骤四：跳转到当前图像帧的下一图像帧，返回步骤一，直至视频中的所有图像帧处理完毕。

【技术特征摘要】
一种去除视频抖动的方法，其特征在于，包括步骤一将视频中当前图像帧相对于其邻近图像帧进行配准；步骤二将配准中当前图像帧产生的抖动的轨迹信息进行累计，并平滑抖动产生的运动轨迹，对当前图像帧进行与运动轨迹相反方向的校正；步骤三用与当前图像帧邻近的图像帧来填充平滑抖动时在当前图像帧边缘处产生的空白区域；步骤四跳转到当前图像帧的下一图像帧，返回步骤一，直至视频中的所有图像帧处理完毕。2. 根据权利要求1所述的方法，其特征在于，所述步骤一包括如下步骤 步骤a、计算当前图像帧的最大下采样尺度，根据最大下采样尺度对原图像进行下采样，生成下采样图像；步骤b、在下采样图像中计算每个像素的纹理特征；步骤c、根据各像素的纹理特征计算两图像帧的下采样图像的代价函数，从而得到下采 样图像的运动方向；步骤d、根据运动方向对原图像进行校正，得到原图像在行方向和列方向上的轨迹信息；步骤e、縮小下采样尺度，对校正后的图像进行下采样，返回步骤b，直至下采样尺度为0。3. 根据权利要求2所述的方法，其特征在于，所述步骤a中，最大下采样尺度为t， t = max{i-y 《min(H， W}}其中，i表示临界下采样尺度，Y为相对参数，H表示图像的高度，W表示图像的宽度。4. 根据权利要求2所述的方法，其特征在于，所述步骤b中，纹理特征用图像的灰度、水 平和竖直梯度三维向量来表示，如下式所示力w)=其中，l(x,y)为图像在像素点(X， W处的灰度值，l(X,/'和iky)表示图像在像素点(x，y)处的水平和竖直梯度。5. 根据权利要求2所述的方法，其特征在于，所述步骤c中，代价函数为<formula>formula see original document page 2</formula>其中，u为水平方向的像素偏移，v为竖直方向的像素偏移，u和v的取值范围均是{-1， 0，1} ;C(u,v)为两帧图像间按(u， v)方向运动时的代价值，H表示图像的高度，W表示图像的 宽度。f(〃/表示图像在像素点(x， y)处的纹理特征值，f(自,y+v)2表示邻帧图像在像素点 (x+u， y+v)处的纹理特征值。6. 根据权利要求5所述的方法，其特征在于，所述步骤c中，图像的运动方向的计算公 式为<formula>formula see original document page 2</formula>其中，小为判定阈值，(u' ，v')为相邻两帧间的运动方向，7. 根据权利要求2所述的方法，其特征在于，所述步骤e中，对校正后的图像进行下采 样时，采用金字塔模型...

【专利技术属性】
技术研发人员：黄磊，刘昌平，姚波，
申请(专利权)人：汉王科技股份有限公司，
类型：发明
国别省市：11[中国|北京]