一种基于特征匹配与运动补偿的视频稳像方法及系统技术方案

本发明专利技术公开了一种基于特征匹配与运动补偿的视频稳像方法及系统，方法包括：选取视频帧图像的局部特征匹配区域；在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征点描述符；采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配；根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿。本发明专利技术将局部特征匹配与运动补偿相结合，有效加快了算法的处理速度，增设了采用权值筛选法、双向匹配法以及K‑近邻算法筛选出最终的匹配点过程，提高了特征匹配的正确率。本发明专利技术可广泛应用于图像处理领域。

【技术实现步骤摘要】

本专利技术涉及图像处理领域，尤其是一种基于特征匹配与运动补偿的视频稳像方法及系统。
技术介绍
视频作为一种重要的载体，里面包含有丰富的信息，在很多场合被加以广泛运用，发挥着越来越重要的作用。为了能够提取有效的区域信息，获取的视频需要具有一定的稳定性和清晰度。伴随着摄像设备的广泛应用，摄像平台也越来越多样化，其可主要划分为固定平台和移动平台这两种。摄像平台中各种手持摄像设备、航拍器、车载摄像系统等由于受姿态变化和摄像机抖动等因素的影响，使得视频信息发生旋转或平移等随机运动，造成同一背景下存在有多种运动矢量和相邻帧间图像的坐标系不一致，使得输出的图像没有很好的稳定性，容易导致摄像平台因输出图像不稳定所带来的误差而无法提取有效正确的信息。因此，如何将这些抖动模糊的视频信号转化为稳定清晰的视频信号，就显得尤为重要。目前国内外防抖方法主要包括机械稳像法、光学稳像法以及电子防抖法等。光学稳像法存在成本高、结构较为精密复杂等缺点。而机械稳像法的精度较低，同时其对一些较为明显的噪声处理效果不佳。电子稳像法能直接从视频序列中消除设想载体带来的抖动，不依赖与任何支撑体系。相比前两种方法而言，电子防抖技术具有成本低、灵活精确、能耗小等优点，具有广阔的应用前景，逐渐取代机械稳像法和光学稳像法成为防抖技术的主流。近年来，针对电子防抖算法的研究有很多，其中既有基于Harris角点、SUSAN角点进行运动估计的方法，也有基于尺度不变性(如SIFT算法、SURF算法)的征匹配方法。Harris角点和SUSAN角点对较为稳定视频图像进行匹配的效果好，但该算法的特征检测和匹配速度较慢。SIFT算法具有尺度不变性，能够适应图像的多种变化情况，因此得到了广泛的使用，但该算法的计算量大，处理速度慢，不适用于实时处理。SURF算法，是一种对SIFT改进的算法，其性能超过了SIFT且在处理速度上有了提高，但它同样存在计算量大，不适用于实时处理的缺点，而且其进行特征匹配的正确率不高，需要进行进一步改进。
技术实现思路
为解决上述技术问题，本专利技术的目的在于：提供一种处理速度快和正确率高的，基于特征匹配与运动补偿的视频稳像方法。本专利技术的另一目的在于：提供一种处理速度快和正确率高的，基于特征匹配与运动补偿的视频稳像系统。本专利技术所采取的技术方案是：一种基于特征匹配与运动补偿的视频稳像方法，包括以下步骤：选取视频帧图像的局部特征匹配区域，所述视频帧图像的局部特征匹配区域包括四个矩形框区域，所述四个矩形框区域由视频帧图像的四个边角区域分别向内缩进设定的距离得到；在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征点描述符；采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配，所述改进的快速近似最邻近匹配算法先训练好匹配器，再选取最优索引类型来为SURF特征点描述符构建索引树，最后根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点；根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿。进一步，所述在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征描述符这一步骤，其包括：为视频帧图像的局部特征匹配区域中的图像点构建海森矩阵；构造高斯金字塔尺度空间；在高斯金字塔尺度空间中根据设定的海森矩阵判别式采用非极大值抑制的方式初步确定视频帧图像特征点；构造视频帧图像的SURF特征描述符；选取视频帧图像特征点的主方向；根据SURF特征描述符和选取的主方向从初步确定的视频帧图像特征点中精确定位出极值点，并以定位出的极值点作为提取出的视频帧图像特征点。进一步，所述采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配这一步骤，其包括：根据视频帧图像特征点训练好相应的匹配器；根据视频帧图像特征点数据选取最优的索引类型随机KD-tree树和层次K-meanstree为SURF特征描述子建立索引树；根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点。进一步，所述根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点这一步骤，其包括：S1、从视频帧图像中选取基准帧图像和当前帧图像，并得到基准帧图像与当前帧图像的对应特征点，其中，当前帧图像为视频帧图像中除了基准帧图像外的任一帧图像；S2、计算基准帧图像与当前帧图像的对应特征点的欧氏距离和最小欧氏距离，然后根据计算的最小欧氏距离设定距离阈值，并将基准帧图像与当前帧图像的对应特征点中欧氏距离小于设定距离阈值的对应特征点作为匹配点对保留而将其余对应特征点剔除，其中，设定距离阈值为最小欧氏距离阈值的若干倍；S3、将基准帧图像与当前帧图像进行双向匹配，从而将基准帧图像与当前帧图像的对应特征点中不符合双向匹配原则的对应特征点从步骤S2保留的匹配点对中剔除；S4、采用K-近邻算法从步骤S3得到的匹配点对中筛选出最终的匹配点。进一步，所述步骤S4，其包括：S41、根据对应特征点的欧氏距离为当前帧图像的每个SURF特征描述子寻找最优匹配点和次最优匹配点，其中，最优匹配点是对应特征点的最小欧氏距离对应的点，次最优匹配点是对应特征点的次最小欧氏距离对应的点；S42、判断最优匹配点的欧氏距离与次最优匹配点的欧氏距离的比值是否趋于0，若是，则将对应特征点保留在步骤S3得到的匹配点对中，反之，则将对应特征点从步骤S3得到的匹配点对中剔除，从而得到最终的匹配点。进一步，所述基准帧图像的选取间隔为10帧。进一步，所述根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿这一步骤，其包括：根据仿射变换模型和视频帧图像中相邻两帧图像匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数；根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿。本专利技术解决其技术问题所采取的另一技术方案是：一种基于特征匹配与运动补偿的视频稳像系统，包括：局部特征匹配区域选取模块，用于选取视频帧图像的局部特征匹配区域，所述视频帧图像的局部特征匹配区域包括四个矩形框区域，所述四个矩形框区域由视频帧图像的四个边角区域分别向内缩进设定的距离得到；特征点提取模块，用于在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征点描述符；局部特征点匹配模块，用于采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配，所述改进的快速近似最邻近匹配算法先训练好匹配器，再选取最优索引类型来为SURF特征点描述符构建索引树，最后根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点；仿射变换与全局运动补偿模块，用于根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿。进一步，所述局部特征点匹配模块包括：训练单元，用于根据视频帧图像特征点训练好相应的匹配器；索引树建立单元，用于根据视频帧图像特征点数据选取最优的索引类型本文档来自技高网...

【技术保护点】
一种基于特征匹配与运动补偿的视频稳像方法，其特征在于：包括以下步骤：选取视频帧图像的局部特征匹配区域，所述视频帧图像的局部特征匹配区域包括四个矩形框区域，所述四个矩形框区域由视频帧图像的四个边角区域分别向内缩进设定的距离得到；在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征点描述符；采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配，所述改进的快速近似最邻近匹配算法先训练好匹配器，再选取最优索引类型来为SURF特征点描述符构建索引树，最后根据匹配器和索引树采用权值筛选法、双向匹配法以及K‑近邻算法筛选出最终的匹配点；根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿。

【技术特征摘要】
1.一种基于特征匹配与运动补偿的视频稳像方法，其特征在于：包括以下步骤：选取视频帧图像的局部特征匹配区域，所述视频帧图像的局部特征匹配区域包括四个矩形框区域，所述四个矩形框区域由视频帧图像的四个边角区域分别向内缩进设定的距离得到；在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征点描述符；采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配，所述改进的快速近似最邻近匹配算法先训练好匹配器，再选取最优索引类型来为SURF特征点描述符构建索引树，最后根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点；根据匹配的结果采用最小二乘法来求解视频帧图像的仿射变换参数，然后根据求解出的仿射变换参数采用双线性插值法对视频帧图像进行全局运动补偿。2.根据权利要求1所述的一种基于特征匹配与运动补偿的视频稳像方法，其特征在于：所述在视频帧图像的局部特征匹配区域中采用SURF算法提取视频帧图像特征点，并计算相应的SURF特征描述符这一步骤，其包括：为视频帧图像的局部特征匹配区域中的图像点构建海森矩阵；构造高斯金字塔尺度空间；在高斯金字塔尺度空间中根据设定的海森矩阵判别式采用非极大值抑制的方式初步确定视频帧图像特征点；构造视频帧图像的SURF特征描述符；选取视频帧图像特征点的主方向；根据SURF特征描述符和选取的主方向从初步确定的视频帧图像特征点中精确定位出极值点，并以定位出的极值点作为提取出的视频帧图像特征点。3.根据权利要求1所述的一种基于特征匹配与运动补偿的视频稳像方法，其特征在于：所述采用改进的快速近似最邻近匹配算法对视频帧图像进行局部特征点匹配这一步骤，其包括：根据视频帧图像特征点训练好相应的匹配器；根据视频帧图像特征点数据选取最优的索引类型随机KD-tree树和层次K-meanstree为SURF特征描述子建立索引树；根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点。4.根据权利要求3所述的一种基于特征匹配与运动补偿的视频稳像方法，其特征在于：所述根据匹配器和索引树采用权值筛选法、双向匹配法以及K-近邻算法筛选出最终的匹配点这一步骤，其包括：S1、从视频帧图像中选取基准帧图像和当前帧图像，并得到基准帧图像与当前帧图像的对应特征点，其中，当前帧图像为视频帧图像中除了基准帧图像外的任一帧图像；S2、计算基准帧图像与当前帧图像的对应特征点的欧氏距离和最小欧氏距离，然后根据计算的最小欧氏距离设定距离阈值，并将基准帧图像与当前帧图像的对应特征点中欧氏距离小于设定距离阈值的对应特征点作为匹配点对保留而将其余对应特征点剔除，其中，设定距离阈值为最小欧氏距离阈值的若干倍；S3、将基准帧图像与当前帧图像进行双向匹配，从而将基准帧图像与当前帧图像的对应特征点中不符合双向匹配原则的对应特征点从步骤S2保留的匹配点对中剔除；S4、采用K-近邻算法从步骤S3得到的匹配点对中筛选出最终的匹配点。5.根据权利要求4所述的一种基于特征匹配与运动补偿的视频稳像方法，其特征在于：所述步骤S4，其包括：S41、根据对应特征点的欧氏距离为当前帧图像的每个SURF特征描述子寻找最优匹配点和次最优匹配点，其中，最优匹配点是对应特征点的最小欧氏距离对应的点，次最优匹配点是对应特征点的次...

【专利技术属性】
技术研发人员：唐佳林，郑杰锋，李熙莹，苏秉华，
申请(专利权)人：北京理工大学珠海学院，
类型：发明
国别省市：广东;44