一种视频图像稳定方法及装置制造方法及图纸

本发明专利技术公开了一种视频图像的稳像方法及装置，该方法包括如下步骤：使用SURF特征点检测算法提取第n-1帧和第n帧图像的特征点。将第n帧图像的特征点与第n-1帧图像的特征点进行匹配，形成多对匹配点对，确定第n帧图像与第n-1帧之间的仿射关系，通过匹配特征点解出仿射矩阵；将前n-1个仿射矩阵参考第1帧进行参数级联，通过滤波器对级联后的仿射参数进行kalman滤波，得到滤波后的级联仿射矩阵参数；根据所述滤波后的仿射参数对第n帧图像进行补偿得到滤波后的第n帧图像。本发明专利技术获得的图像的滤波效果较好，有效消除视频抖动噪声。

【技术实现步骤摘要】
一种视频图像稳定方法及装置
本专利技术涉及视频图像数字处理领域，具体涉及一种视频图像稳定方法及装置。
技术介绍
由于拍摄者或者载体的振动与抖动导致最后获取的视频源质量下降，主要表现为获取视频振动厉害，给观测人员以及视频的后续处理带来很大的麻烦，视频稳像技术就是去除引入的噪声抖动或者振动。稳向技术经历了机械式稳像、光学式稳像到目前研究比较多的电子稳像。其中电子稳像又可以根据不同的全局运动估计方法分为：块匹配法、灰度投影法、相位相关法、特征跟踪法等不同的类型。块匹配法计算量太大影响处理速度。灰度投影法适用于图像信息丰富的场景否则效果不好。相位相关法对发生平移的场景有很好的性能但是对旋转和缩放无能为力。特征跟踪法对不同的特征采用不同的特征提取算法，如轮廓、直线、边缘或者特征点等。传统的机械系统多是基于陀螺传感器和伺服系统，虽然可以达到一定的稳像精度，但由于伺服系统体积庞大、造价高、消耗功率大等缺点，在一定的场合下满足不了进一步发展的需要。光学稳像控制比较复杂而且维护很复杂，成本相对电子稳像较高。电子稳像相对传统的稳像方法有控制简单、容易集成小型化和成本低等优势，航空领域都有着广阔的应用前景。目前的电子稳像技术存在着稳像质量不高的问题。
技术实现思路
为了克服现有技术的不足，本专利技术提供了一种视频图像稳定方法及装置，以提高处理后的视频的质量。一种视频图像的稳像方法，包括如下步骤：S10，利用SURF特征点检测算法提取第一帧图像至第n帧图像的特征点；S20，将第n帧图像的特征点与相邻的第n-1帧图像的特征点进行匹配，形成多组匹配的特征点对；S30，分别确定第n帧图像之前的相邻的第m帧图像与第m-1帧图像之间的仿射参数，得到n-1组仿射参数，然后对n-1组仿射参数进行级联，得到第n帧图像与第一帧图像之间的级联参数；其中，m是大于等于2且小于等于n的自然数；S40，对第n帧图像与第一帧图像之间的级联参数进行卡尔曼滤波，得到滤波后的级联参数；S50，根据所述滤波后的级联参数对第n帧图像参考第一帧图像进行补偿得到滤波后的第n帧图像；在所述步骤S30中：通过如下式子确定第n帧图像与第一帧图像之间的级联参数：其中，n≥2；其中，对于n≥0，其中，In(x)表示第n帧图像，an-1，bn-1，cn-1，dn-1，en-1，fn-1表示第n帧图像与第n-1帧图像之间的仿射参数，An-1和Bn-1表示第n帧图像与第n-1帧图像之间的仿射参数矩阵，和表示第n帧图像与第一帧图像之间的级联参数矩阵，I1(x)表示第一帧图像，Pn表示第n帧图像的一个特征点，Pn-1表示第n-1帧图像的与所述第n帧图像的一个特征点匹配的特征点；在所述步骤S40中，对和进行卡尔曼滤波分别得到和且在所述步骤S50中，通过如下式子对第n帧图像参考第一帧图像进行补偿：其中，表示补偿后的第n帧图像。在优选的实施例中，还包括如下步骤，通过如下卡尔滤波模型对所述级联参数进行滤波：利用第k-1帧图像与第一帧图像的级联参数Yk-1的最终滤波结果Xk-1得到第k帧图像的级联参数初始预测结果利用第k-1帧时刻的误差方差值Pk-1得到第k帧时刻的误差方差估计值计算第k帧时刻的卡尔曼增益参数Kk，计算第k帧时刻的仿射参数最终滤波结果Xk：计算第k帧时刻的误差方差最终值Pk：其中，Qk-1为第k-1帧时刻的输入参数噪声矩阵，Ck为第k帧图像的观测矩阵，Rk为第k帧时刻的测量噪声矩阵，为第k帧时刻的状态矩阵，Qk-1，Ck，Rk和在计算过程中设置为常量且与k无关，I为单位矩阵；k＝n，Yk-1表示和中的参数。在优选的实施例中，本专利技术还提供一种视频图像的稳定装置，包括：第一处理单元，利用SURF特征点检测算法提取第一帧图像至第n帧图像的特征点；第二处理单元，将第n帧图像的特征点与相邻的第n-1帧图像的特征点进行匹配，形成多组匹配的特征点对；第三处理单元，用于分别确定第n帧图像之前的相邻的第m帧图像与第m-1帧图像之间的仿射参数，得到n-1组仿射参数，然后对n-1组仿射参数进行级联，得到第n帧图像与第一帧图像之间的级联参数；其中，m是大于等于2且小于等于n的自然数；第四处理单元，用于对第n帧图像与第一帧图像之间的级联参数进行卡尔曼滤波，得到滤波后的级联参数；第五处理单元，用于根据所述滤波后的级联参数对第n帧图像参考第一帧图像进行补偿得到滤波后的第n帧图像；所述第三处理单元通过如下式子确定第n帧图像与第一帧图像之间的级联参数：其中，n≥2；其中，对于n≥0，其中，In(x)表示第n帧图像，an-1，bn-1，cn-1，dn-1，en-1，fn-1表示第n帧图像与第n-1帧图像之间的仿射参数，An-1和Bn-1表示第n帧图像与第n-1帧图像之间的仿射参数矩阵，和表示第n帧图像与第一帧图像之间的级联参数矩阵，I1(x)表示第一帧图像，Pn表示第n帧图像的一个特征点，Pn-1表示第n-1帧图像的与所述第n帧图像的一个特征点匹配的特征点；所述第四处理单元对和进行卡尔曼滤波分别得到和且所述第五处理单元通过如下式子对第n帧图像参考第一帧图像进行补偿：其中，表示补偿后的第n帧图像。在优选的实施例中，还包括第六处理单元，用于通过如下卡尔滤波模型对所述级联参数进行滤波：利用第k-1帧图像与第一帧图像的级联参数Yk-1的最终滤波结果Xk-1得到第k帧图像的级联参数初始预测结果利用第k-1帧时刻的误差方差值Pk-1得到第k帧时刻的误差方差估计值计算第k帧时刻的卡尔曼增益参数Kk，计算第k帧时刻的仿射参数最终滤波结果Xk：计算第k帧时刻的误差方差最终值Pk：其中，Qk-1为第k-1帧时刻的输入参数噪声矩阵，Ck为第k帧图像的观测矩阵，Rk为第k帧时刻的测量噪声矩阵，为第k帧时刻的状态矩阵，Qk-1，Ck，Rk和在计算过程中设置为常量且与k无关，I为单位矩阵；k＝n，Yk-1表示和中的参数。在优选的实施例中，通过采用卡尔曼滤波模型对级联后的级联参数进行滤波充分考虑摄像机摄制视频时的平移、旋转以及缩放三种情况，使得获得的图像的滤波效果较好，有效消除视频抖动噪声。另外，选取初始帧作为参考帧保证后续处理结果连续性较好，否则，如果选择中间的某一帧作为参考帧，很容易出现跳帧的现象(即一段稳定突然出现突变然后又稳定一段时间，反复出现这个过程)。【附图说明】图1是本专利技术一种实施例的视频图像的稳像方法的原理框图；图2是本专利技术一种实施例的视频图像的稳像方法的某一尺度的X方向的方框滤波器；图3是本专利技术一种实施例的视频图像的稳像方法的与图2同一尺度的Y方向的方框滤波器；图4是本专利技术一种实施例的视频图像的稳像方法的图2同一尺度的XY方向的方框滤波器；图5是本专利技术一种实施例的视频图像的稳像方法的最小尺度的某一方向的方框滤波器；图6是本专利技术一种实施例的视频图像的稳像方法的较大尺度的与图5同一方向的方框滤波器；图7是本专利技术一种实施例的视频图像的稳像方法的较大尺度的与图5同一方向的方框滤波器；图8是本专利技术一种实施例的视频图像的稳像方法的某一点与在不同尺度层的点之间的关系示意图；图9是本专利技术一种实施例中经过视频图像的稳像方法处理前的相邻三帧图像的示意图；图10是本专利技术一种实施例中经过视频图像的稳像方法处理后的相邻三帧图像的示意图；图本文档来自技高网...

【技术保护点】
一种视频图像的稳像方法，其特征是，包括如下步骤：S10，利用SURF特征点检测算法提取第一帧图像至第n帧图像的特征点；S20，将第n帧图像的特征点与相邻的第n‑1帧图像的特征点进行匹配，形成多组匹配的特征点对；S30，分别确定第n帧图像之前的相邻的第m帧图像与第m‑1帧图像之间的仿射参数，得到n‑1组仿射参数，然后对n‑1组仿射参数进行级联，得到第n帧图像与第一帧图像之间的级联参数；其中，m是大于等于2且小于等于n的自然数；S40，对第n帧图像与第一帧图像之间的级联参数进行卡尔曼滤波，得到滤波后的级联参数；S50，根据所述滤波后的仿射参数对第n帧图像参考第一帧图像进行补偿得到滤波后的第n帧图像。

【技术特征摘要】
1.一种视频图像的稳定方法，其特征是，包括如下步骤：S10，利用SURF特征点检测算法提取第一帧图像至第n帧图像的特征点；S20，将第n帧图像的特征点与相邻的第n-1帧图像的特征点进行匹配，形成多组匹配的特征点对；S30，分别确定第n帧图像之前的相邻的第m帧图像与第m-1帧图像之间的仿射参数，得到n-1组仿射参数，然后对n-1组仿射参数进行级联，得到第n帧图像与第一帧图像之间的级联参数；其中，m是大于等于2且小于等于n的自然数；S40，对第n帧图像与第一帧图像之间的级联参数进行卡尔曼滤波，得到滤波后的级联参数；S50，根据所述滤波后的级联参数对第n帧图像参考第一帧图像进行补偿得到滤波后的第n帧图像；在所述步骤S30中：通过如下式子确定第n帧图像与第一帧图像之间的级联参数：其中，n≥2；其中，对于n≥0，其中，In(x)表示第n帧图像，an-1，bn-1，cn-1，dn-1，en-1，fn-1表示第n帧图像与第n-1帧图像之间的仿射参数，An-1和Bn-1表示第n帧图像与第n-1帧图像之间的仿射参数矩阵，和表示第n帧图像与第一帧图像之间的级联参数矩阵，I1(x)表示第一帧图像，Pn表示第n帧图像的一个特征点，Pn-1表示第n-1帧图像的与所述第n帧图像的一个特征点匹配的特征点；在所述步骤S40中，对和进行卡尔曼滤波分别得到和且在所述步骤S50中，通过如下式子对第n帧图像参考第一帧图像进行补偿：其中，表示补偿后的第n帧图像。2.如权利要求1所述的视频图像的稳定方法，其特征是，还包括如下步骤，通过如下卡尔滤波模型对所述级联参数进行滤波：利用第k-1帧图像与第一帧图像的级联参数Yk-1的最终滤波结果Xk-1得到第k帧图像的级联参数初始预测结果利用第k-1帧时刻的误差方差值Pk-1得到第k帧时刻的误差方差估计值计算第k帧时刻的卡尔曼增益参数Kk，计算第k帧时刻的仿射参数最终滤波结果Xk：计算第k帧时刻的误差方差最终值Pk：其中，Qk-1为第k-1帧时刻的输入参数噪声矩阵，Ck为第k帧图像的观测矩阵，Rk为第k帧时刻的测量噪声矩阵，为第k帧时刻的状态矩阵，Qk-1，Ck，Rk和在计算过程中设置为常量且与k无关，I为单位矩阵；k＝n，Yk-1表示和中的参数。3.如权利要求2所述的视频图像的稳定方法，其特征是，4.一种视频图...

【专利技术属性】
技术研发人员：程雪岷，郝群，解梦迪，吴宗昊，陈阳，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东;44