基于块匹配的电子稳像方法及系统技术方案

技术编号:27491310 阅读:16 留言:0更新日期:2021-03-02 18:10
基于块匹配的电子稳像方法与系统,方法包括:(1)逐帧输入图像序列;(2)判断当前帧是否为图像序列的第一帧,若是,则将此帧标记为上一帧,并读取下一帧;若不是,则以上一帧为参考帧,此帧标记为当前帧;(3)运用块匹配方法进行平移运动估计,取上一帧的图像块作为待匹配块,在当前帧中寻找最为匹配的图像块,找到后计算其平移运动矩阵;(4)旋转运动估计,取上一帧的待匹配块,对其以不同的角度进行旋转,生成若干新的待匹配块,并在当前帧中逐一寻找与其最匹配的图像块,生成旋转矩阵;(5)利用平移矩阵和旋转矩阵计算出当前帧最终的运动矩阵,并进行运动补偿;(6)循环进行步骤(2)

【技术实现步骤摘要】
基于块匹配的电子稳像方法及系统


[0001]本专利技术涉及视频处理的
,尤其涉及一种基于块匹配的电子稳像方法,以及一种基于块匹配的电子稳像系统,其可以有效地处理视频中单一场景下的平移及旋转变化。

技术介绍

[0002]电子稳像技术是计算机视觉中的一个热门课题。在日常生活中,常常需要对摄像机拍摄的影像进行一些处理,例如目标检测、目标跟踪等等。然而剧烈的抖动往往会影响视频处理的效果。以无人机为例,在运用无人机进行航拍的作业中,可能会遇到各种外界因素的干扰,例如大风、降雨等。这些因素都会导致无人机拍摄的画面伴随一定的抖动,最终影响拍摄效果。尽管当前许多已上市的无人机已具备一定的减震功能,但由于无人机自身可能存在过小过轻的或减震效果不足等问题,无人机的抗风性还是无法达到要求。因此,对无人机拍摄的画面运用数字图像处理相关的技术进行后期的电子稳像处理是很有必要的。
[0003]在电子稳像方法中,块匹配法是最常用的方法之一。原因在于其原理简单,便于实现,同时精确度高,稳像效果好。然而,块匹配法只能处理简单的平移运动,并且其运行速度慢,达不到实时性要求。

技术实现思路

[0004]为克服现有技术的缺陷,本专利技术要解决的技术问题是提供了一种基于块匹配的电子稳像方法,其能够处理较为复杂的平移运动和旋转运动,并可以满足实时性要求。
[0005]本专利技术的技术方案是:这种基于块匹配的电子稳像方法,其包括以下步骤:
[0006](1)逐帧输入图像序列;
[0007](2)判断当前帧是否为图像序列的第一帧,若是,则将此帧标记为上一帧,并读取下一帧;若不是,则以上一帧为参考帧,此帧标记为当前帧;
[0008](3)运用块匹配方法进行平移运动估计,取上一帧的图像块作为待匹配块,在当前帧中寻找最为匹配的图像块,找到后计算其平移运动矩阵;
[0009](4)旋转运动估计,取上一帧的待匹配块,对其以不同的角度进行旋转,生成若干新的待匹配块,并在当前帧中逐一寻找与其最匹配的图像块,生成旋转矩阵;
[0010](5)利用平移矩阵和旋转矩阵计算出当前帧最终的运动矩阵,并进行运动补偿;
[0011](6)循环进行步骤(2)-(5),直到图像序列中所有帧都读取完。
[0012]本专利技术将旋转估计模块加入到传统的块匹配算法中,即通过生成不同旋转角度的待匹配块,寻找与上一帧最为匹配的旋转角度,结合之前的平移运动估计,求得最终的运动矩阵,并利用CUDA编程技术,使该方法能够处理较为复杂的平移运动和旋转运动,并可以满足实时性要求。
[0013]还提供了基于块匹配的电子稳像系统,该系统采用OpenCV的CUDA加速模块,该系统包括:
[0014]输入模块,其配置来逐帧输入图像序列;
[0015]判断模块,其配置来判断当前帧是否为图像序列的第一帧,若是,则将此帧标记为上一帧,并读取下一帧;若不是,则以上一帧为参考帧,此帧标记为当前帧;
[0016]平移运动估计模块,其配置来运用块匹配方法进行平移运动估计,取上一帧的图像块作为待匹配块,在当前帧中寻找最为匹配的图像块,找到后计算其平移运动矩阵;
[0017]旋转运动估计模块,其配置来旋转运动估计,取上一帧的待匹配块,对其以不同的角度进行旋转,生成若干新的待匹配块,并在当前帧中逐一寻找与其最匹配的图像块,生成旋转矩阵;
[0018]运动补偿模块,其配置来利用平移矩阵和旋转矩阵计算出当前帧最终的运动矩阵,并进行运动补偿。
附图说明
[0019]图1是根据本专利技术的基于块匹配的电子稳像方法的流程图。
[0020]图2是平移运动估计原理图。
[0021]图3是旋转运动估计原理图。
具体实施方式
[0022]如图1所示,这种基于块匹配的电子稳像方法,其包括以下步骤:
[0023](1)逐帧输入图像序列;
[0024](2)判断当前帧是否为图像序列的第一帧,若是,则将此帧标记为上一帧,并读取下一帧;若不是,则以上一帧为参考帧,此帧标记为当前帧;
[0025](3)运用块匹配方法进行平移运动估计,取上一帧的图像块作为待匹配块,在当前帧中寻找最为匹配的图像块,找到后计算其平移运动矩阵;
[0026](4)旋转运动估计,取上一帧的待匹配块,对其以不同的角度进行旋转,生成若干新的待匹配块,并在当前帧中逐一寻找与其最匹配的图像块,生成旋转矩阵;
[0027](5)利用平移矩阵和旋转矩阵计算出当前帧最终的运动矩阵,并进行运动补偿;
[0028](6)循环进行步骤(2)-(5),直到图像序列中所有帧都读取完。
[0029]本专利技术提取出尺度变化后的图像块,进行FHOG特征提取,计算互相关矩阵以及最大响应值,如果处理所有尺度下的图像块,计算出所有尺度下的最大响应值,进行FHOG特征提取、计算自相关矩阵、更新跟踪模型的参数,使得改进后的方法可以适应尺度发生变化的目标跟踪场景。
[0030]优选地,如图2所示,所述步骤(3)中,首先在参考帧中选取一个区域作为待匹配块,设该待匹配块的中心点为A,其像素的坐标为A(x,y),在当前帧中找到具有相同坐标值的点B(x,y),以B点为中心点,分别在x轴的正反方向上各扩展d
x
个像素单位,同时沿y轴的正反方向各扩展d
y
个像素单位形成一个新的矩形搜索域Z,该搜索域的大小为(2d
x
+1)
×
(2d
y
+1),假设搜索域Z中的任何一点都可以生成一个以该点为中心,且大小与待匹配块相等的子块,通过搜索路径计算在搜索域Z中与待匹配块匹配性最强的子块,设求得的最匹配块的中心像素坐标为A

(x

,y

),求出最匹配块与待匹配块的偏差量v。
[0031]优选地,如图3所示,所述步骤(4)中,规定逆时针为正方向,顺时针为负方向,设当
前帧相对于参考帧偏转的角度为最大不超过45
°
,以原始待匹配块C为基准,分别将其以
±5°
,
±
10
°
,
±
15
°
,
…±
45
°
的偏转角度生成18个新的匹配块,分别记为C1,C2,C3,

C
i
,

C
18
,其中C默认为偏转0
°
,将这些新模板分别作为待匹配块与当前帧搜索域中的候选子块利用匹配性准则进行计算,找出最为匹配的待匹配块C
i
,记录下它的偏转角度,其为当前帧旋转估计偏转角。
[0032]优选地,所述步骤(5)中的运动补偿,设当前帧中的最匹配块需要由待匹配块进行一次运动矢量为(Δx,Δy)的平移后,并以(x,y)为轴心逆时针旋转角度θ而得到的,则得到仿射变换公式为公式(本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.基于块匹配的电子稳像方法,其特征在于:其采用OpenCV的CUDA加速方法,其包括以下步骤:(1)逐帧输入图像序列;(2)判断当前帧是否为图像序列的第一帧,若是,则将此帧标记为上一帧,并读取下一帧;若不是,则以上一帧为参考帧,此帧标记为当前帧;(3)运用块匹配方法进行平移运动估计,取上一帧的图像块作为待匹配块,在当前帧中寻找最为匹配的图像块,找到后计算其平移运动矩阵;(4)旋转运动估计,取上一帧的待匹配块,对其以不同的角度进行旋转,生成若干新的待匹配块,并在当前帧中逐一寻找与其最匹配的图像块,生成旋转矩阵;(5)利用平移矩阵和旋转矩阵计算出当前帧最终的运动矩阵,并进行运动补偿;(6)循环进行步骤(2)-(5),直到图像序列中所有帧都读取完。2.根据权利要求1所述的基于块匹配的电子稳像方法,其特征在于:所述步骤(3)中,首先在参考帧中选取一个区域作为待匹配块,设该待匹配块的中心点为A,其像素的坐标为A(x,y),在当前帧中找到具有相同坐标值的点B(x,y),以B点为中心点,分别在x轴的正反方向上各扩展d
x
个像素单位,同时沿y轴的正反方向各扩展d
y
个像素单位形成一个新的矩形搜索域Z,该搜索域的大小为(2d
x
+1)
×
(2d
y
+1),假设搜索域Z中的任何一点都可以生成一个以该点为中心,且大小与待匹配块相等的子块,通过搜索路径计算在搜索域Z中与待匹配块匹配性最强的子块,设求得的最匹配块的中心像素坐标为A

(x

,y

),求出最匹配块与待匹配块的偏差量v。3.根据权利要求2所述的基于块匹配的电子稳像方法,其特征在于:所述步骤(4)中,规定逆时针为正方向,顺时针为负方向,设当前帧相对于参考帧偏转的角度为最大不超过45
°
,以原始待匹配块C为基准,分别将其以
±5°
,
±
10
°
,
±
15
°
,...
±
45
°
的偏转角度生成18个新的匹配块,分别记为C1,C2,C3,...C
i
,...C
18
,其中C默认为偏转0
°
,将这些新模板分别作为待匹配块与当前帧搜索域中的候选子块利用匹配性准则进行计算,找出最为匹配的待匹配块C
i
,记录下它的偏转角度,其为当前帧旋转估计偏转角。4.根据权利要求3所述的基于块匹配的电子稳像方法,其特征在于:所述步骤(5)中的运动补偿,设当前帧中的最匹配块需要由待匹配块进行一次运动矢量为(Δx,Δy)的平移后,并以(x,y)为轴心逆时针旋转角度θ而得到的,则得到仿射变换公式为公式(1):新坐标(x

,y

)为运动补偿后得到的新坐标,从而完成运动补偿。5.基于块匹配的电子稳像系统,其特征在于:该系统采用OpenCV的CUDA加速模块,该系统包括:输...

【专利技术属性】
技术研发人员:江雪双刘杨鸿
申请(专利权)人:慧视江山科技北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1