一种基于SIFT特征匹配和VFC算法的电子稳像方法及系统技术方案

本发明专利技术公开了一种基于SIFT特征匹配和VFC算法的电子稳像方法及系统，该方法包括以下步骤：S1、从抖动视频中提取n张连帧图像，并对其进行预处理；S2、对预处理后的连帧图像，提取SIFT特征点，并根据SIFT算法对特征点进行帧间匹配，得到连帧图像中的关键特征点；S3、根据连帧图像的关键特征点，使用VFC算法，得到n张帧图像之间关键特征点的平移轨迹；S4、根据平移轨迹计算运动补偿向量，并根据运动补偿向量对每一帧图像的相对位置进行校正，最终输出经过校正后的稳定视频。本发明专利技术进行视频图像校正的处理精度高，并且在保证高精度的前提下提高了处理的速度。

【技术实现步骤摘要】

本专利技术涉及图像处理技术，尤其涉及一种基于SIFT特征匹配和VFC算法的电子稳 像方法及系统。
技术介绍
近年来，稳像技术得到广泛的应用，无论是航空、车载、船舰上，为了获得清晰不晃 动的视频，稳像技术都可以用来消除载体不稳定所引起的视频抖动。电子稳像技术大体分 为三步：运动估计、运动滤波、和运动补偿，本技术大部分工作集中于运动估计中。处理运动 估计有基于灰度和基于特征的方法：基于灰度的方法可以得到精确的结果，但要处理所有 的像素点而耗时太多；提取图像特征的方法处理速度快，然而精度又得不到保证。 传统的稳像技术一般分为三种：机械稳像、光学稳像和电子稳像，从各方面的考 虑，包括体积小、操作方便、可移植性强、实时性等，电子稳像技术得到更多普及。在保证 高精度和低耗时方面，本专利技术提供一种基于SIFT特征匹配和VFC算法的电子稳像技术， 其中，VFC(vectorfieldconsensus)算法是向量场一致性算法；SIFT(Scale-invariant featuretransform)算法是尺度不变特征变换算法。
技术实现思路
本专利技术要解决的技术问题在于针对现有技术中电子稳像技术无法兼顾处理速度 和处理进度的缺陷，提供一种处理速度快，并且处理精度高的基于SIFT特征匹配和VFC算 法的电子稳像方法及系统。 本专利技术解决其技术问题所采用的技术方案是： 本专利技术提供一种基于SIFT特征匹配和VFC算法的电子稳像方法，包括以下步 骤：S1、从抖动视频中提取η张连帧图像，并对其进行预处理； S2、对预处理后的连帧图像，提取SIFT特征点，并根据SIFT算法对特征点进行帧 间匹配，得到连帧图像中的关键特征点； S3、根据连帧图像的关键特征点，使用VFC算法，得到η张帧图像之间关键特征点 的平移轨迹； S4、根据平移轨迹计算运动补偿向量，并根据运动补偿向量对每一帧图像的相对 位置进行校正，最终输出经过校正后的稳定视频。 步骤S2中SIFT算法的具体步骤为： S21、对提取的连帧图像构建高斯差分尺度空间； S22、构建图像在不同尺度空间下的图像金字塔，即对一副二维图像建立它在不同 尺度空间下的图像，第一幅图像为原始图像大小，后面的各个子八度则依次对前一个子八 度进行降采样； S23、检测不同尺度空间和所在二维图像中的极值点，将其作为连帧图像的关键特 征点。 步骤S3中VFC算法的具体步骤为： 通过向量场的学习将异常点从正常点中区分开来，得到相邻两帧图像中的平移轨 迹。 本专利技术还提供一种基于SIFT特征匹配和VFC算法的电子稳像系统，包括以下部 分： 视频图像预处理单元，用于从抖动视频中提取η张连帧图像，并对其进行预处理； 特征点提取单元，用于对预处理后的连帧图像，提取SIFT特征点，并根据SIFT算 法对特征点进行帧间匹配，得到连帧图像中的关键特征点； 平移轨迹计算单元，用于根据连帧图像的关键特征点，使用VFC算法，得到η张帧 图像之间关键特征点的平移轨迹； 校正视频输出单元，用于根据平移轨迹计算运动补偿向量，并根据运动补偿向量 对每一帧图像的相对位置进行校正，最终输出经过校正后的稳定视频。 所述特征点提取单元具体包括： 尺度空间构建单元，用于对提取的连帧图像构建高斯差分尺度空间； 图像金字塔构建单元，用于构建图像在不同尺度空间下的图像金字塔，即对一副 二维图像建立它在不同尺度空间下的图像，第一幅图像为原始图像大小，后面的各个子八 度则依次对前一个子八度进行降采样； 极值点检测单元，用于检测不同尺度空间和所在二维图像中的极值点，将其作为 连帧图像的关键特征点。 本专利技术产生的有益效果是：本专利技术的基于SIFT特征匹配和VFC算法的电子稳像方 法通过SIFT算法提取连帧图像的关键特征点，并通过VFC算法计算得到关键特征点的平移 轨迹，进而计算出补偿向量，对视频图像进行位置校正；本方法进行视频图像校正的处理精 度高，并且在保证高精度的前提下提高了处理的速度。【附图说明】 下面将结合附图及实施例对本专利技术作进一步说明，附图中： 图1是本专利技术实施例的基于SIFT特征匹配和VFC算法的电子稳像方法的流程图； 图2是本专利技术实施例的基于SIFT特征匹配和VFC算法的电子稳像方法的处理过 程； 图3是本专利技术实施例的基于SIFT特征匹配和VFC算法的电子稳像方法的抖动图 像中的连帧图像； 图4是本专利技术实施例的基于SIFT特征匹配和VFC算法的电子稳像方法的处理后 连续两帧图像的匹配图像； 图5是本专利技术实施例的基于SIFT特征匹配和VFC算法的电子稳像方法的稳像后 的输出视频帧图像； 图6是本专利技术是实力的基于SIFT特征匹配和VFC算法的电子稳像系统的结构框 图。【具体实施方式】 为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不 用于限定本专利技术。 如图1所示，本专利技术实施例的基于SIFT特征匹配和VFC算法的电子稳像方法，包 括以下步骤： S1、从抖动视频中提取η张连帧图像，并对其进行预处理；S2、对预处理后的连帧图像，提取SIFT特征点，并根据SIFT算法对特征点进行帧 间匹配，得到连帧图像中的关键特征点；S21、对提取的连帧图像构建高斯差分尺度空间； S22、构建图像在不同尺度空间下的图像金字塔，即对一副二维图像建立它在不同 尺度空间下的图像，第一幅图像为原始图像大小，后面的各个子八度则依次对前一个子八 度进行降采样；S23、检测不同尺度空间和所在二维图像中的极值点，将其作为连帧图像的关键特 征点； S3、根据连帧图像的关键特征点，使用VFC算法，得到η张帧图像之间关键特征点 的平移轨迹； S4、根据平移轨迹计算运动补偿向量，并根据运动补偿向量对每一帧图像的相对 位置进行校正，最终输出经过校正后的稳定视频。 如图2所示，是本专利技术的另一个实施例的流程图，包括以下步骤： 一、从一段抖动视频中提取部分连帧图像，这里选取了前两帧，如图3所示。 二、在运动估计阶段，对所选取的图像帧通过SIFT算法进行帧间匹配，包括以下 步骤： 1、构建高斯差分尺度空间。尺度空间的构建在整个匹配算法中相当于是初始化的 过程，尺度空间理论表明尺度空间模拟的是图像的多尺度特征，并提出高斯核实唯一实现 尺度变换的线性核，所以对一幅图像的尺度空间进行定义，如下公式所表示：L(x，y，〇)= G(x,y,σ)XI(χ,y) 其中G是高斯卷积函数，σ是度量尺度的因子。L则代表了图像的尺度空间，I为 二维图像。尺度因子σ表征的是图像的平滑程度，σ越大表明图像的概貌特征越明显，SP 图像越模糊，对应低的分辨率；σ越小表明图像的细节特征越明显，也就是图像对应高的 分辨率，图像的细节就越展现出来，对应精确的尺度。 由于仅依靠尺度空间对极值点进行检测，容易提取出不稳定的、性能差的边缘点， 为了得到稳定的性能优良的极值点作为关键点，可以使用高斯差分尺度空间，利用不同尺 度因子下的高斯差分卷积核与图像进行计算，即实现对不同尺度下的图像卷积运算，高斯 差分尺度空间的构造公式如下所示：D(x，y, 〇) = (G(x，y，k〇)-G(x，y, 〇))*I(x，y) =L(本文档来自技高网...

【技术保护点】
一种基于SIFT特征匹配和VFC算法的电子稳像方法，其特征在于，包括以下步骤：S1、从抖动视频中提取n张连帧图像，并对其进行预处理；S2、对预处理后的连帧图像，提取SIFT特征点，并根据SIFT算法对特征点进行帧间匹配，得到连帧图像中的关键特征点；S3、根据连帧图像的关键特征点，使用VFC算法，得到n张帧图像之间关键特征点的平移轨迹；S4、根据平移轨迹计算运动补偿向量，并根据运动补偿向量对每一帧图像的相对位置进行校正，最终输出经过校正后的稳定视频。

【技术特征摘要】

【专利技术属性】
技术研发人员：姜哲颖，金国祥，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：湖北;42