一种基于投影梯度的稳像方法技术

本发明专利技术公开了一种基于投影梯度的稳像方法。针对室内拍摄的高帧频视频中帧间亮度不均以及高噪声的情况，引入图像投影梯度，并利用阈值判别函数作为灰度位移函数和梯度位移函数的权重函数，其中判别函数的输入为参考帧与当前帧总灰度值的相对灰度差，最后获得加权图像位移矢量。通过使用投影梯度以及阈值判断，本发明专利技术提出的方法能很好地解决灰度投影在帧间亮度不均以及图像高噪声时误检问题，从而得到更好的稳像效果。

【技术实现步骤摘要】

本专利技术属于图像处理领域，尤其涉及。
技术介绍
灰度投影算法常用于视频稳像以及图像匹配，相较于其它算法，灰度投影的优势 在于算法简单、时间复杂度低，具有很好的实时性。以灰度投影为基础，之后出现了分区灰 度投影、多方向投影等一系列改进型灰度投影算法，进一步增强了算法的实时性和鲁棒性。 通常情况下，用于图像匹配和稳像的视频序列为自然光下拍摄的视频或低帧频 (30Hz)的视频。由于自然光无闪烁，室内照明灯闪烁频率一般为50-70HZ，因此此时拍摄的 视频中各帧图像亮度恒定，或亮度变化很小。然而现实情况中，有时会遇到需要拍摄室内照 明或夜间灯光照明下的高速视频，这种情况随着摄影设备的轻型化和高速化越发普遍，比 如如今市场上的主流手机都具备300Hz以上的高速摄影能力。对于闪烁灯光下的高速摄影， 视频图像各帧之间会产生亮度不均的问题，如附图1所示，并且该问题会随着拍摄帧频与照 明闪烁频率差异变大而更加明显。此外，视频帧频的增加也会导致图像噪声增大。 传统的稳像与匹配算法均无法解决帧间亮度不均以及噪声大带来的配准误差:基 于灰度投影的算法依赖于图像灰度，亮度不均会导致参考帧与当前帧的灰度投影存在y方 向（灰度方向）上的位移，如附图2(a)所示，而亮度归一化处理也会因为大噪声的存在效果 受到影响，通常位移矢量误差在0.5个像素左右，如附图2(b)所示;基于光流的匹配算法由 于光流方程建立在亮度恒定的基础上，所以无法处理亮度非恒定的视频图像;而基于特征 的匹配算法，尽管对亮度和噪声不敏感，但相对高昂的时间和计算复杂度限制了算法的实 时性。 梯度作为信号的基本特征之一，反应了信号的变化率，具有与信号本身大小无关 的特性，可解决信号幅值平移的匹配问题。对于图像来说，图像梯度反映了图像的边缘信 息，即高频信息。但图像梯度在突出边缘信息的同时，也丢失了低频信息，这使得梯度投影 曲线相较于灰度投影曲线波动剧烈，如附图3所示，因而更易产生匹配误差。此外，计算图像 梯度也增加了算法的时间，降低了算法的实时性。
技术实现思路
本专利技术的目的是在视频图像的匹配和稳像中，针对室内拍摄的高帧频视频中帧间 亮度不均以及高噪声图像，提出，利用图像投影梯度，通过相 对灰度差的判别函数对灰度投影位移函数和梯度位移函数进行加权，获得加权位移量。 本专利技术的目的是通过以下技术方案来实现的：，该 方法包括以下步骤： (1)图像分块，具体是： (1.1)将参考图像与当前图像分为对应的K个大小为N X N的图像块。 (2)计算图像块的灰度投影曲线，具体是： (2.1)水平方向上的灰度投影为所有行的像素值在列方向上的累积;垂直方向上 的灰度投影为所有列像素值在行方向上的累积； (2.2)去除方差小于方差阈值的图像块的灰度投影曲线。 (3)将灰度投影曲线中的第n+1项减第n-1项，得到投影梯度曲线； (4)互相关运算，具体是： (4.1)利用互相关公式对参考帧与当前帧对应图像块的水平灰度投影曲线和垂直 投影曲线分别做互相关计算，得到互相关曲线，根据互相关曲线的谷值确定当前帧相对于 参考帧的灰度位移矢量Mk P; (4.2)利用互相关公式对参考帧与当前帧对应图像块的水平投影梯度曲线和垂直 投影梯度曲线分别做互相关计算，得到互相关曲线，根据互相关曲线的谷值确定当前帧相 对于参考帧的梯度位移矢量Mk g。 (5)计算判别函数，具体是： (5.1)计算参考帧与当前帧对应图像块总灰度的相对灰度差rk; 其中，Ikji, j)为当前帧的第k个图像块第i行第j列的灰度值，Ikr(i，j)为参考帧 的第k个图像块第i行第j列的的灰度值； (5.2)将步骤(5.1)中计算所得rk作为判别函数λ(Γ)的输入：其中，α为坡度参数，β为阈值参数。 (6)计算位移矢量Mk，公式如下： Mk= (1-λ(τ) )Mkp+^(r)Mkg (3) 去除图像块位移矢量Mk中由于步骤2.2中的误差和局部运动造成的偏差位移矢 量，将剩余位移矢量求平均得到当前帧与参考帧的位移矢量M。其中，h为偏差位移矢量的个数，12为步骤2.2中方差小于方差阈值的图像块个数。 (7)将当前帧向参考帧移动-M，实现当前帧的稳像。 进一步地，步骤1.1中，所述图像块大小N为128。 进一步地，步骤5.2中，所述α = 250，β=10。 本专利技术的有益效果:本专利技术针对室内拍摄的高帧频视频中帧间亮度不均以及高噪 声的情况，提出了。首先，本专利技术引入图像投影梯度用于处理 亮度不等的问题，使用投影梯度而非梯度投影的优势在于投影梯度不需要对二维图像求梯 度，而只需对一维的灰度投影曲线求梯度，因此不会增加额外的计算量，保证了算法的实时 性。其次，针对梯度曲线波动大、对噪声敏感的问题，采用分块处理的方式，从而减少了曲线 波动带来的相关运算误差。最后，利用相对灰度差的判别函数来判断当前帧和参考帧图像 是否存在亮度不等的问题，判别函数为一平滑函数，并以权重的形式对灰度位移矢量和梯 度位移矢量加权求和，从而降低了位移矢量的绝对误差。本专利技术提出的方法在不增加算法 计算时间的前提下能很好地解决灰度投影在帧间亮度不均以及图像高噪声时误检问题，从 而得到更好的稳像效果。【附图说明】 图1 (a)为室内照明条件下的高速视频参考帧。 图1(b)为室内照明条件下的高速视频当前帧。 图2(a)为图1(a)所示图像垂直方向灰度投影曲线。 图2(b)为图1(a)所示图像亮度归一化后垂直方向灰度投影曲线。图3为图1(a)所示图像的垂直梯度投影曲线。图4为本专利技术方法流程图。图5(a)为参考图像块。 图5(b)为当前图像块。 图6(a)为图5所示图像块垂直方向灰度投影曲线。 图6(b)为图5所示图像块垂直方向投影梯度曲线。 图7(a)为图5所示图像块垂直方向灰度投影曲线的SAD曲线。 图7(b)为图5所示图像块垂直方向投影梯度曲线的SAD曲线。 图8为判别函数。【具体实施方式】 以下结合附图对本专利技术作进一步说明。 如图4所示，本专利技术提供的，主要包括图像分块、计 算投影曲线、互相关运算、阈值计算和位移矢量计算等几个步骤。 步骤1.图像分块 1-1为了减小互相关运算时投影梯度曲线波动带来的估计误差，将参考图像与当 前图像分为对应的K个不重叠图像块，图像块大小为NXN，如附当前第1页1 2 本文档来自技高网...

【技术保护点】
一种基于投影梯度的稳像方法，其特征在于，该方法包括以下步骤：(1)图像分块，具体是：(1.1)将参考图像与当前图像分为对应的K个大小为N×N的图像块。(2)计算图像块的灰度投影曲线，具体是：(2.1)水平方向上的灰度投影为所有行的像素值在列方向上的累积；垂直方向上的灰度投影为所有列像素值在行方向上的累积；(2.2)去除方差小于方差阈值的图像块的灰度投影曲线。(3)将灰度投影曲线中的第n+1项减第n‑1项，得到投影梯度曲线；(4)互相关运算，具体是：(4.1)利用互相关公式对参考帧与当前帧对应图像块的水平灰度投影曲线和垂直投影曲线分别做互相关计算，得到互相关曲线，根据互相关曲线的谷值确定当前帧相对于参考帧的灰度位移矢量Mkp；(4.2)利用互相关公式对参考帧与当前帧对应图像块的水平投影梯度曲线和垂直投影梯度曲线分别做互相关计算，得到互相关曲线，根据互相关曲线的谷值确定当前帧相对于参考帧的梯度位移矢量Mkg。(5)计算判别函数，具体是：(5.1)计算参考帧与当前帧对应图像块总灰度的相对灰度差rk；rk=|Σi,jIkc(i,j)-Σi,jIkr(i,j)Σi,jIkr(i,j)|---(1)]]>其中，Ikc(i,j)为当前帧的第k个图像块第i行第j列的灰度值，Ikr(i,j)为参考帧的第k个图像块第i行第j列的的灰度值；(5.2)将步骤(5.1)中计算所得rk作为判别函数λ(r)的输入：λ(r)=11+exp(β-αr)---(2)]]>其中，α为坡度参数，β为阈值参数。(6)计算位移矢量Mk，公式如下：Mk＝(1‑λ(r))Mkp+λ(r)Mkg  (3)去除图像块位移矢量Mk中由于步骤2.2中的误差和局部运动造成的偏差位移矢量，将剩余位移矢量求平均得到当前帧与参考帧的位移矢量M。M=1K-l1-l2ΣkK-l1-l2Mk---(4)]]>其中，l1为偏差位移矢量的个数，l2为步骤2.2中方差小于方差阈值的图像块个数。(7)将当前帧向参考帧移动‑M，实现当前帧的稳像。...

【技术特征摘要】

【专利技术属性】
技术研发人员：陈跃庭，唐超影，徐之海，李奇，冯华君，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33