基于改进的块匹配算法的数字视频稳像方法技术

本发明专利技术涉及数字视频稳像方法，针对现有视频稳像中块匹配算法会有累计误差、对于运动模糊等情况处理不好的缺点，本发明专利技术旨在提出一种基于改进的块匹配算法的数字视频稳像方法，步骤如下：(1)选取特征丰富的匹配块；(2)运行KCF目标跟踪算法，判断画面变化大小；(3)根据第(2)步得到的结果，计算当前帧中所有匹配块左上角坐标与参考帧中对应匹配块左上角坐标的差值；(4)重复步骤(2)和(3)，直到视频结束。本发明专利技术主要应用于数字视频稳像。

【技术实现步骤摘要】

本专利技术涉及数字视频稳像方法，更具体地说，涉及一种基于改进的块匹配算法的数字视频稳像方法。
技术介绍
数字视频稳像，是指利用相关算法，对视频采集设备得到的原始视频进行处理，除去其中的抖动。视频稳像的目的，一方面是为了让人眼观察舒服，有利于人工观测、判别等；另一方面也作为诸多其他后续处理的预处理阶段，如检测、跟踪和压缩。典型的数字稳像的实现包括运动估计模块和运动补偿模块。运动估计模块中，传统的运动估计算法包括块匹配算法、灰度投影法和特征点匹配等算法。块匹配算法具有精度高的特点，因此是稳像系统中最常用的算法之一。但是传统的块匹配算法会随着视频序列推移，匹配结果会慢慢产生偏移，此外，匹配块的变化(运动模糊等因素造成)也会使匹配结果产生误差，这两个因素导致运动估计的误差慢慢累计。
技术实现思路
为克服现有技术的不足，针对现有视频稳像中块匹配算法会有累计误差、对于运动模糊等情况处理不好的缺点，本专利技术旨在提出一种基于改进的块匹配算法的数字稳像方法。本专利技术采用的技术方案是，基于改进的块匹配算法的数字视频稳像方法，步骤如下：(1)在第一帧同时也是参考帧中，在图像中心区域的不同位置，选取特征丰富的匹配块，同时，用于后续跟踪的核相关滤波KCF(KernelizedCorrelationFilters)算法提取出这些匹配块的特征，用于跟踪；(2)对于第二帧，使用块匹配算法计算出上一帧中匹配块在当前帧的新的位置；接下来运行KCF目标跟踪算法，将KCF的跟踪区域更新为之前块匹配算法得到的新位置，然后在该新位置上进行跟踪计算，如果跟踪算法得到的位置与参考帧同一个匹配块位置偏差较大，则说明当前帧与参考帧差别比较大，也就是画面变化较大；(3)根据第(2)步得到的结果，计算当前帧中所有匹配块左上角坐标与参考帧中对应匹配块左上角坐标的差值，公式如下：表示当前帧匹配块左上角的坐标值，表示参考帧匹配块左上角的坐标值，表示当前帧与参考帧对于匹配块左上角坐标的差值，然后对这些差值的求平均值，公式如下：表示x方向和y方向当前帧与参考帧对于匹配块左上角坐标的差值的平均值，N表示匹配块的数量；采用稳像后裁剪的方式，故设置裁剪方式为上下左右各裁剪T个像素，当差值和的绝对值均小于T像素时，采用直接完全补偿方式，即将当前帧在x方向和y方向反向移动和距离，然后将该图像上下左右各裁掉T像素，形成稳像画面；当或者的绝对值大于T时，说明画面变化较大，则在当前帧重新提取特征丰富的匹配块，用于下一帧块匹配搜索，同时，将当前帧设置为参考帧，补偿方式变为只反向补偿T像素，超出部分不再补偿；(4)重复步骤(2)和(3)，直到视频结束。块匹配算法计算出上一帧中匹配块在当前帧的新的位置，具体步骤是，设匹配块的长宽为M和N，由于视频帧序列之间存在相对运动，导致随后一系列视频中的匹配块与前一帧的匹配块的位置发生偏移，假设x，y方向上最大偏移量分别为dx与dy，则在视频当前帧中围绕匹配块选定一个(M+2dx)*(N+2dy)搜索区域，根据最小总绝对误差准则在搜索区域中进行最小匹配搜索，得到最佳匹配块，然后计算上一帧中匹配块与当前帧帧中匹配结果的坐标差，对每一个匹配块均进行匹配搜索一次，得到每个匹配块的新位置。步骤(1)中，图像中心区域定义为：距离边框四分之一长宽内部，选取特征丰富的匹配块，匹配块大小一般是16*16像素。本专利技术的特点及有益效果是：本专利技术采用块匹配算法结合KCF跟踪算法，可以非常精确的计算出帧间的偏移，对有助于稳像，并取得最终稳定的图像效果。附图说明：图1：抖动视频中目标跟踪框架图。图2：中心区域定义图。图3：块搜索匹配算法图。具体实施方式本专利技术针对现有视频稳像中块匹配算法会有累计误差、对于运动模糊等情况处理不好的缺点，提出一种基于改进的块匹配算法的数字稳像方法。算法的基本思路就是引入KCF目标跟踪算法，即在块匹配算法运行之后，再运行KCF目标跟踪算法，得到更加精确的结果。接下来便跟普通算法一致，运动滤波和运动补偿，最后输出稳像后的视频。由于本专利技术主要在块匹配算法的改进上，故对块匹配算法与KCF目标跟踪的结合进行详细介绍，其他步骤比如运动滤波与运动补偿采用普通常见的方法，此处采用简单的容易实现的方法进行说明。本专利技术算法整体框架如图1所示，主要步骤如下：(1)在第一帧(同时也是参考帧)中，在图像中心区域(此处定义为：距离边框四分之一长宽内部，如图2)的不同位置，选取特征丰富的匹配块，匹配块大小一般是16*16(可以根据速度与精度的权衡适当调整大小)。同时，用于后续跟踪的KCF算法提取出这些匹配块的特征，用于跟踪。(2)对于第二帧，使用块匹配算法计算出上一帧中匹配块在当前帧的新的位置。块匹配算法原理如图3。设匹配块的长宽为M和N。由于视频帧序列之间存在相对运动，导致随后一系列视频中的匹配块与前一帧的匹配块的位置发生偏移，假设x，y方向上最大偏移量分别为dx与dy。则在视频当前帧中围绕匹配块选定一个(M+2dx)*(N+2dy)搜索区域，根据最小总绝对误差准则在搜索区域中进行最小匹配搜索，得到最佳匹配块，然后计算上一帧中匹配块与当前帧帧中匹配结果的坐标差。对每一个匹配块均进行匹配搜索一次，得到每个匹配块的新位置。接下来运行KCF目标跟踪算法。KCF算法是基于相关滤波的跟踪算法，该算法具有跟踪精度高、速度快等特点。将KCF的跟踪区域更新为之前块匹配算法得到的新位置，然后在该新位置上进行跟踪计算，KCF跟踪算法对目标的轻微变化也能很好的识别，鲁棒性强，因此可以得到精确的位置。如果跟踪算法得到的位置与参考帧同一个匹配块位置偏差较大，则说明当前帧与参考帧差别比较大，也就是画面变化较大，(3)根据第(2)步得到的结果，计算当前帧中所有匹配块左上角坐标与参考帧中对应匹配块左上角坐标的差值。公式如下：表示当前帧匹配块左上角的坐标值，表示参考帧匹配块左上角的坐标值，表示当前帧与参考帧对于匹配块左上角坐标的差值。然后对这些差值的求平均值，公式如下：表示x方向和y方向当前帧与参考帧对于匹配块左上角坐标的差值的平均值，N表示匹配块的数量。本方法采用稳像后裁剪的方式，故设置裁剪方式为上下左右各裁剪T个像素(裁剪像素T的大小可以根据实际应用做出相应的改变)。当差值和的绝对值均小于T像素时，采用直接完全补偿方式，即将当前帧在x方向和y方向反向移动和距离，然后将该图像上下左右各裁掉T像素，形成稳像画面。当或者的绝对值大于T时，说明画面变化较大，则在当前帧重新提取特征丰富的匹配块，用于下一帧块匹配搜索，同时，将当前帧设置为参考帧。补偿方式变为只反向补偿T像素，超出部分不再补偿。(4)重复步骤(2)和(3)，直到视频结束。本专利技术提出一种基于改进的块匹配算法的数字稳像方法，下面结合具体实施方式对本专利技术作进一步的详细说明。首先，对于第一帧，在图像中心区域(定义见图2)的不同位置选取一定数量的匹配块，匹配块的大小一般设置为16*16像素，具体匹配块的数量和大小可以根据需要的速度和精度的权衡，进行适当调整。同时，初始化KCF跟踪算法，并且让KCF跟踪算法分别提取这些匹配块的特征(此处提取HOG特征)，用于后面的精确跟踪。对于第二帧，分别对每个匹配块使用块匹配算法计算出当前帧匹配块所在的新的位置。块匹配算法原本文档来自技高网...

【技术保护点】
一种基于改进的块匹配算法的数字视频稳像方法，其特征是，步骤如下：(1)在第一帧同时也是参考帧中，在图像中心区域的不同位置，选取特征丰富的匹配块，同时，用于后续跟踪的核相关滤波KCF(Kernelized Correlation Filters)算法提取出这些匹配块的特征，用于跟踪；(2)对于第二帧，使用块匹配算法计算出上一帧中匹配块在当前帧的新的位置；接下来运行KCF目标跟踪算法，将KCF的跟踪区域更新为之前块匹配算法得到的新位置，然后在该新位置上进行跟踪计算，如果跟踪算法得到的位置与参考帧同一个匹配块位置偏差较大，则说明当前帧与参考帧差别比较大，也就是画面变化较大；(3)根据第(2)步得到的结果，计算当前帧中所有匹配块左上角坐标与参考帧中对应匹配块左上角坐标的差值，公式如下：ΔXiΔYi=curxicuryi-refxirefyi]]>表示当前帧匹配块左上角的坐标值，表示参考帧匹配块左上角的坐标值，表示当前帧与参考帧对于匹配块左上角坐标的差值，然后对这些差值的求平均值，公式如下：x‾y‾=1NΣiΔXΣiΔYi]]>表示x方向和y方向当前帧与参考帧对于匹配块左上角坐标的差值的平均值，N表示匹配块的数量；采用稳像后裁剪的方式，故设置裁剪方式为上下左右各裁剪T个像素，当差值和的绝对值均小于T像素时，采用直接完全补偿方式，即将当前帧在x方向和y方向反向移动和距离，然后将该图像上下左右各裁掉T像素，形成稳像画面；当或者的绝对值大于T时，说明画面变化较大，则在当前帧重新提取特征丰富的匹配块，用于下一帧块匹配搜索，同时，将当前帧设置为参考帧，补偿方式变为只反向补偿T像素，超出部分不再补偿；(4)重复步骤(2)和(3)，直到视频结束。...

【技术特征摘要】
1.一种基于改进的块匹配算法的数字视频稳像方法，其特征是，步骤如下：(1)在第一帧同时也是参考帧中，在图像中心区域的不同位置，选取特征丰富的匹配块，同时，用于后续跟踪的核相关滤波KCF(KernelizedCorrelationFilters)算法提取出这些匹配块的特征，用于跟踪；(2)对于第二帧，使用块匹配算法计算出上一帧中匹配块在当前帧的新的位置；接下来运行KCF目标跟踪算法，将KCF的跟踪区域更新为之前块匹配算法得到的新位置，然后在该新位置上进行跟踪计算，如果跟踪算法得到的位置与参考帧同一个匹配块位置偏差较大，则说明当前帧与参考帧差别比较大，也就是画面变化较大；(3)根据第(2)步得到的结果，计算当前帧中所有匹配块左上角坐标与参考帧中对应匹配块左上角坐标的差值，公式如下：ΔXiΔYi=curxicuryi-refxirefyi]]>表示当前帧匹配块左上角的坐标值，表示参考帧匹配块左上角的坐标值，表示当前帧与参考帧对于匹配块左上角坐标的差值，然后对这些差值的求平均值，公式如下：x‾y‾=1NΣiΔXΣiΔYi]]>表示x方向和y方向当前帧与参考帧对于匹配块左上角坐标的差值的平均值，N表示匹配块的数量；采用稳像后裁剪的...

【专利技术属性】
技术研发人员：操晓春，何军林，郑继龙，李雪威，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12