基于图像网格光流滤波的无人机视频稳像方法及系统技术方案

本发明专利技术提供一种基于图像网格光流滤波的无人机视频稳像方法及系统，对输入的视频进行网格划分，将网格的顶点设置为光流跟踪点，求解每一帧图像与前一帧图像在网格顶点处的光流；对网格光流进行初次时域分析，去除高频成分，然后比较滤波前后，筛选出变化大的点作为外点；对外点的光流进行滤波处理，使其与周围网格顶点的光流在空间上连续；对优化后的光流进行时域滤波，并通过网格顶点限制使输出视频不发生较大的形变，得到网格顶点的运动补偿矢量；根据运动补偿矢量进行网格变换，得到输出稳像视频。本发明专利技术采取由粗到细的方法，对不连续光流进行滤波处理，再进行受网格约束的运动补偿，从而减少了形变以及运动物体带来的影响，提高了稳像质量。

【技术实现步骤摘要】
基于图像网格光流滤波的无人机视频稳像方法及系统
本专利技术属于视频处理领域，尤其涉及基于图像网格光流滤波的无人机视频稳像技术方案。
技术介绍
视频稳像技术是对视频设备采集的原始视频序列进行处理去除其中高频抖动的视频处理技术。视频稳像是视频处理领域中一个重要的研究方向，一方面是为了让人眼观感舒适，有利于人工观测、判别等，另一方面也作为诸多其他后续处理的预处理阶段，如检测、跟踪和压缩等。虽然视频稳像技术取得了很好的发展，尤其是一些新兴的方法出现，但仍然存在一些问题。方法的普适性不够，不能适用于各种场景。有的方法依赖于特征点的分布，有的方法要求场景是静态的。对于前景复杂、景深变化、有运动物体的场景，很少有统一的方法能解决。其次，效率与效果二者不可兼得，复杂的场景往往需要复杂的方法，增加了计算成本，而简单的方法效果又不够好，所以实时稳像仍然是一大难题。再者，尚未统一评价视频稳像效果好坏的标准，常用的峰值信噪比等评价指标不一定符合人眼主观感受，而纯靠人工评价既耗时又有很大的不确定性。尤其是当前无人机航拍应用日益广泛，而针对无人机拍摄视频的稳像技术尚未有有本文档来自技高网...

【技术保护点】
1.一种基于图像网格光流滤波的无人机视频稳像方法，其特征在于，包括以下步骤：/n步骤1，对输入的视频进行网格划分，将网格的顶点设置为光流跟踪点，求解每一帧图像与前一帧图像在网格顶点处的光流；/n步骤2，对网格光流进行初次时域分析，去除高频成分，然后比较滤波前后的大小变化，筛选出变化大的点作为外点；/n步骤3，对步骤2中的外点的光流进行滤波处理，使其与周围网格顶点的光流在空间上连续；/n步骤4，对优化后的光流进行时域滤波，并通过网格顶点限制输出视频的形变，得到每个网格顶点的运动补偿矢量；/n步骤5，根据运动补偿矢量进行网格变换，得到输出稳像视频。/n

【技术特征摘要】
1.一种基于图像网格光流滤波的无人机视频稳像方法，其特征在于，包括以下步骤：
步骤1，对输入的视频进行网格划分，将网格的顶点设置为光流跟踪点，求解每一帧图像与前一帧图像在网格顶点处的光流；
步骤2，对网格光流进行初次时域分析，去除高频成分，然后比较滤波前后的大小变化，筛选出变化大的点作为外点；
步骤3，对步骤2中的外点的光流进行滤波处理，使其与周围网格顶点的光流在空间上连续；
步骤4，对优化后的光流进行时域滤波，并通过网格顶点限制输出视频的形变，得到每个网格顶点的运动补偿矢量；
步骤5，根据运动补偿矢量进行网格变换，得到输出稳像视频。


2.根据权利要求1所述基于图像网格光流滤波的无人机视频稳像方法，其特征在于：步骤1中，对每个网格顶点根据lk光流法进行光流跟踪，得到网格顶点的光流矢量。


3.根据权利要求1所述基于图像网格光流滤波的无人机视频稳像方法，其特征在于：步骤2中，对原始光流进行连续性检测，在时域进行卡尔曼滤波，然后比较判断光流是否发生突变，实现如下，
假设相机的抖动服从高斯分布，通过前一帧的光流累计值Rt-1，预测当前帧的光流服从高斯分布而当前帧求得的原始光流服从高斯分布N(Rt,Qt)；
其中，t用于标识当前帧，Pt、Qt分别为高斯分布N(Rt,Qt)的协方差矩阵，上标T表示矩阵的转置；
若相机稳定运动，则t时刻的转换矩阵Ht为3×3的单位矩阵I，得到卡尔曼增益K为：



则当前帧光流最佳估计值R′t为
R′t＝Rt-1+K(Rt-Rt-1)
根据前一帧的协方差矩阵Pt-1可得到当前帧的协方差矩阵Pt为
Pt＝Pt-1-KPt-1
比较R′t和Rt，如果二者相差大于预设阈值ε，则相应点记为外点，标...

【专利技术属性】
技术研发人员：何楚，李勇超，林明远，田玲，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42