本发明专利技术公开了一种基于光流法消除运动模糊的方法，涉及视频图像处理领域。本发明专利技术首先对采集的视频数据进行离散化转为连续图像、对每张图像进行灰度处理并依据灰度值提取特征点；之后在计算机内存中构建图像数据缓存器存储图像数据；之后在数据缓存器中采用光流法估计图像的连续运动变化，计算光流矢量，构建运动误差矩阵；最后获取下一帧图像上各像素点的预测坐标信息与观测坐标信息，计算卡尔曼增益系数，消除运动模糊，实现图像复原。本发明专利技术可以有效去除图像运动模糊，在满足图像修复质量的前提下，提高了图像修复效率。
【技术实现步骤摘要】
本专利技术涉及视频图像处理领域，特别是指一种基于光流法消除运动模糊的方法。
技术介绍
1、图像运动模糊的消除方法是视频图像处理领域中的重要内容之一。图像运动模糊是由于曝光期间相机与拍摄场景存在相对运动造成的。存在运动模糊的图像观看体验感差，容易导致观看者产生眩晕感；存在运动模糊的图像，会对后续的目标识别、目标跟踪带来困难。因此，对于图像的运动模糊消除的研究意义重大。
2、图像消除运动模糊的方法，依据先验知识是否充足，可以分为基于模型去运动模糊技术和盲去运动模糊技术。
3、基于模型去运动模糊技术，通过建立图像退化模型，然后借助优化方程求解逆过程，去除运动模糊，此类方法难点在于，在退化模型建立的过程中，相机与拍摄场景之间相对运动存在随机性，往往建立的退化模型不能满足图像修复的需求。
4、盲去运动模糊的方法，是在缺乏相机与场景之间的相对运动模型的条件下，恢复模糊图像，改善图像治理的方法。此类方法，假设图像上的邻近像素是高度相关的，为了减少噪声的干扰，采用最小均方误差估计方法。此类方法的本质是通过迭代算法进行图像优化，计算量通常非常大。
5、现有的方法在退化模型建立和图像修复效率存在不足，针对复杂运动条件下，现有图像修复方法无论在修复的效果还是在修复质量上均有较大提升空间。
技术实现思路
1、有鉴于此，本专利技术提出了一种基于光流法消除运动模糊的方法，本专利技术可以有效去除图像运动模糊，在满足图像修复质量的前提下，实现了提高图像修复的效率。</p>2、为了实现上述目的，本专利技术采用的技术方案为：
3、一种基于光流法消除运动模糊的方法，包括以下步骤：
4、(1)从相机中获取视频流数据，根据相机的刷新率，将视频流数据通过离散化处理转为连续的图像数据；
5、(2)对每张图像均进行灰度处理，针对每张图像，采用fast角点提取法，提取多个特征点；
6、(3)将图像依次存储在图像缓存循环队列内，相邻两帧图像之间，将所有特征点根据灰度值不同划分为多组数据，组与组之间的特征点灰度值间隔大于每组数据内的各个特征点之间的灰度值间隔；每组数据中包括当前灰度值范围内相邻两帧图像之间所有特征点的坐标与灰度值；在每组数据中选择相邻两帧图像上马氏距离最小的两个特征点作为一组匹配特征点；
7、(4)将相邻两帧图像上的多组匹配特征点数据代入光流方程中，根据最小二乘算法求解光流矢量，计算当前图像缓存循环队列中所有光流矢量的方差，根据得到的方差构建实时运动误差矩阵；
8、(5)根据当前图像各像素点的坐标信息以及当前图像与下一帧图像之间的光流矢量，计算下一帧图像上各像素点的预测坐标信息；观测获取下一帧图像上各像素点的观测坐标信息，根据预测坐标信息与观测坐标信息得到观测增益矩阵与观测误差矩阵；由观测增益矩阵、观测误差矩阵与实时运动误差矩阵计算卡尔曼增益系数；
9、(6)根据卡尔曼增益系数得到当前图像上各像素点坐标信息的加权系数与下一帧图像上各像素点预测坐标信息的加权系数，将当前图像上各像素点的坐标信息与下一帧图像上各像素点的预测坐标信息各自乘以各自的加权系数后相加，得到当前图像的修复图像的各像素点坐标；
10、完成基于光流法的运动模糊消除。
11、进一步地，步骤(2)中针对每张图像，采用fast角点提取法，提取多个特征点的方法具体如下：
12、针对t时刻的图像，采用fast角点提取法，设定邻域范围与灰度阈值，遍历t时刻图像上的每个像素点，在t时刻的图像上，坐标为(x,y)处的像素点的灰度值为i(x,y,t)，若该像素点的灰度值与其邻域范围内所有像素点的灰度值做差，所得数值均大于所述灰度阈值，则选取当前像素点作为t时刻的图像上的其中一个特征点。
13、进一步地，步骤(1)中相机的刷新率为f，步骤(3)中图像缓存循环队列的长度为n+1，n与f的数值相等，相邻两帧图像之间的时间间隔步骤(3)的方法具体如下：
14、将图像依次存储在图像缓存循环队列内，依据如下公式选取相邻两帧图像上的匹配特征点：
15、
16、其中，i(x+δx,y+δy,t+δt)为t+δt时刻图像上的某一特征点的灰度值；第一个公式表示选取相邻两帧图像之间，灰度值相近的特征点，由此将相邻两帧图像之间所有特征点划分为多组数据，且组与组之间的特征点灰度值间隔大于每组数据内的各个特征点之间的灰度值间隔；
17、zt为t时刻图像上某一个特征点的坐标，zt+δt为下一帧图像上与该特征点位于同一组数据中的特征点的坐标；dt,t+δt为两特征点之间的马氏距离；由第二个公式计算出在第一个公式所选取的每组数据中，相邻两帧图像上两两特征点之间的马氏距离，选取马氏距离最小的两个特征点作为一组匹配特征点。
18、进一步地，步骤(4)中将相邻两帧图像上的多组匹配特征点数据代入光流方程中，根据最小二乘算法求解光流矢量的方法具体如下：
19、ixu+iyv+it＝0
20、其中，ix与iy分别为两匹配特征点的灰度值沿着x和y方向变化的速度，it为两匹配特征点间的灰度值在相邻两帧图像之间的变化速度；u和v分别为两匹配特征点坐标之间沿着x和y方向运动的速度，即求解的光流矢量，具体如下：
21、
22、其中，表示相邻两帧图像之间的匹配特征点的灰度值沿x,y方向的变化协方差矩阵，表示相邻两帧图像之间的匹配特征点的灰度值沿x,y方向的方差矢量，m表示相邻两帧图像之间有m对匹配特征点；
23、在当前图像缓存循环队列中，实时得到最新的n-1个光流矢量，步骤(4)中计算当前图像缓存循环队列中所有光流矢量的方差，根据得到的方差构建的实时运动误差矩阵p具体如下：
24、
25、其中，
26、
27、
28、为当前n帧图像沿x方向速度变化方差；
29、
30、
31、为当前n帧图像沿y方向速度变化方差。
32、进一步地，步骤(5)中根据当前图像各像素点的坐标信息以及当前图像与下一帧图像之间的光流矢量，计算下一帧图像上各像素点的预测坐标信息的方法具体如下：
33、xt+δt＝axt+d
34、其中，xt为t时刻图像的各像素点坐标，xt+δt为预测下一帧图像的各像素点坐标，a为转移矩阵,d为控制矩阵,
35、步骤(5)中观测获取下一帧图像上各像素点的观测坐标信息，根据预测坐标信息与观测坐标信息得到观测增益矩阵与观测误差矩阵具体如下：
36、x't+δt＝hxt+δt+r
37、其中，x't+δt为观测t+δt时刻图像的各像素点坐标，h为观测增益矩阵、r为观测误差矩阵，此处认为观测值和预测结果近似相同，则h为单位矩阵，r为零矩阵；
38、步骤(5)中由观测增益矩阵h、观测误差矩阵r与实时运动本文档来自技高网
...
【技术保护点】
1.一种基于光流法消除运动模糊的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于光流法消除运动模糊的方法，其特征在于，步骤(2)中针对每张图像，采用Fast角点提取法，提取多个特征点的方法具体如下：
3.根据权利要求2所述一种基于光流法消除运动模糊的方法，其特征在于，步骤(1)中相机的刷新率为f，步骤(3)中图像缓存循环队列的长度为n+1，n与f的数值相等，相邻两帧图像之间的时间间隔步骤(3)的方法具体如下：
4.根据权利要求3所述一种基于光流法消除运动模糊的方法，其特征在于，步骤(4)中将相邻两帧图像上的多组匹配特征点数据代入光流方程中，根据最小二乘算法求解光流矢量的方法具体如下：
5.根据权利要求4所述一种基于光流法消除运动模糊的方法，其特征在于，步骤(5)中根据当前图像各像素点的坐标信息以及当前图像与下一帧图像之间的光流矢量，计算下一帧图像上各像素点的预测坐标信息的方法具体如下：
6.根据权利要求5所述一种基于光流法消除运动模糊的方法，其特征在于，步骤(6)的方法具体如下：
【技术特征摘要】
1.一种基于光流法消除运动模糊的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于光流法消除运动模糊的方法，其特征在于，步骤(2)中针对每张图像，采用fast角点提取法，提取多个特征点的方法具体如下：
3.根据权利要求2所述一种基于光流法消除运动模糊的方法，其特征在于，步骤(1)中相机的刷新率为f，步骤(3)中图像缓存循环队列的长度为n+1，n与f的数值相等，相邻两帧图像之间的时间间隔步骤(3)的方法具体如下：
4.根据权利要求3...
【专利技术属性】
技术研发人员：孔志飞，张睿，韩博，关珍博，张伟正，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。