视频序列图像的实时配准方法、系统及拍摄终端技术方案

本发明专利技术公开了一种视频序列图像的实时配准方法、系统及拍摄终端，其对待处理的序列图像进行特征点检测并计算各个特征点的harris响应值，根据该harris响应值对所述的特征点进行堆排序和特征点筛选，得到关键特征点，根据所述的特征点属性得到所述的关键特征点的位置信息，并根据该位置信息构建所述的关键特征点邻域位置的蒙版图，然后根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子，最后根据所述的特征点描述子的相似性对所述的序列图像的进行配准，不仅大大的提高了特征点检测的实时性和鲁棒性，而且能够获得准确且快速的匹配结果，特别适用于一些对实时性要求较高的应用场景，例如实时防抖、场景匹配、抽帧算法中。

【技术实现步骤摘要】

本专利技术涉及图像处理
，特别是一种视频序列图像的实时配准方法及其应 用该方法的系统、拍摄终端。
技术介绍
人们在手持摄像设备过程中，不可避免会遇到因运动抖动而引起的视频画面抖动 问题，因此视频防抖技术使用得越来越广泛。对于各种防抖处理技术，其中需要解决的首要 问题是视频序列图像的配准问题。 现有的视频序列图像的配准算法一般分为两大类，一类是基于稠密点集的配准方 法，如光流法及其衍生的方法。另一类是基于稀疏特征点集的配准方法，如SIFT，SURF和 0RB等各类利用特征点配准的方法。其中基于稠密点集的屁配准方法，其对齐效果较好，然 而计算量大，实时性较差，一般很难应用一般手持设备处理中。基于稀疏特征点集的配准方 法具有实用性高的特点成为了今年来国内外的研究热点，其中快速特征点搜索更是一个重 点研究方向。当中0RB特征检测在特征点鲁棒性和计算量上有一个很好的折衷，但对于手 持设备的实时检测匹配处理仍没有一个比较好的解决方法。
技术实现思路
本专利技术为解决上述问题，提供了一种视频序列图像的实时配准方法、系统及拍摄 终端，其通过使用简化去噪和小根堆响应排序方法对传统的0RB特征点搜索方法进行改 进，大大提高了特征点检测的实时性和鲁棒性，适用范围更广。 为实现上述目的，本专利技术采用的技术方案为： 首先，本专利技术提供一种视频序列图像的实时配准方法，其特征在于，包括以下步 骤： 10.对待处理的序列图像进行特征点检测，得到特征点属性； 20.根据所述的特征点属性进行计算各个特征点的harris响应值，并根据该 harris响应值对所述的特征点进行堆排序； 30.根据所述的堆排序结果进行特征点筛选，得到关键特征点； 40.根据所述的特征点属性得到所述的关键特征点的位置信息，并根据该位置信 息构建所述的关键特征点邻域位置的蒙版图； 50.根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子； 60.根据所述的特征点描述子的相似性对所述的序列图像的进行配准。 优选的，所述的步骤10中，进一步包括： 11.对所述的序列图像进行灰度化处理，生成灰度图； 12.对灰度图像进行降采样，得到一组不同尺度下的灰度图，组成一个灰度图金字 塔； 13.对不同尺度的灰度图进行FAST特征点检测，得到特征点的位置属性和尺度属 性。 优选的，所述的步骤20中，根据harris响应值对所述的特征点进行堆排序，是通 过构建小根堆，并计算不同尺度灰度图中的对应特征点的harris响应值，在计算harris响 应值的过程的同时对小根堆进行更新。 优选的，所述的步骤30中根据所述的堆排序结果进行特征点筛选，是根据预设的 期望特征点的数量K，提取堆排序后的前K个harris响应值较大的特征点，得到关键特征 点。 优选的，所述的步骤40中，构建所述的关键特征点邻域位置的蒙版图，进一步包 括： 41 :设置特征点描述子的邻域检测尺寸的宽度W和高度Η; 42 :根据所述的关键特征点所在尺度空间下的尺度灰度图中的位置信息，换算出 对应在该尺度空间下的关键特征点的蒙版位置信息； 43:遍历所有的关键特征点，重复步骤42,形成最终一组不同尺度空间下的检测 蒙版图，组成相应的蒙版图金字塔。 优选的，所述的步骤50中，根据所述的蒙版图在所述序列图像中提取所述关键特 征点的特征点描述子，进一步包括： 51.根据所述的关键特征点的蒙版图对所述的序列图像进行局部的快速高斯模糊 处理，得到局部模糊图像； 52.根据灰度质心法计算出所述的关键特征点的响应主方向； 53.根据所述的关键特征点的响应主方向在所述的局部模糊图像中提取该关键特 征点所对应的特征点描述子。 优选的，所述的步骤60中，根据所述的特征点描述子的相似性对所述的序列图像 的进行配准，是通过计算所述的序列图像中对应的关键特征点的特征点描述子之间的汉明 距离或者欧式距离，并对该距离与预设阈值进行比较计算来判断所述的特征点描述子的相 似程度。 并且，本专利技术还根据以上方法相应的提供了一种视频序列图像的实时配准系统， 其包括： 特征点检测模块，用于对待处理的序列图像进行特征点检测，得到特征点属性； 特征点排序模块，其根据所述的特征点属性进行计算各个特征点的harris响应 值，并根据该harris响应值对所述的特征点进行堆排序； 特征点筛选模块，其根据所述的堆排序结果进行特征点筛选，得到关键特征点； 蒙版图构建模块，根据所述的特征点属性得到所述的关键特征点的位置信息，并 根据该位置信息构建所述的关键特征点邻域位置的蒙版图； 描述子提取模块，其根据所述的蒙版图在所述序列图像中提取所述关键特征点的 特征点描述子；图像配准模块，其根据所述的特征点描述子的相似性对所述的序列图像的进行配 准。 优选的，所述的描述子提取模块进一步包括： 模糊处理单元，其根据所述的关键特征点的蒙版图对所述的序列图像进行局部的 快速高斯模糊处理，得到局部模糊图像； 响应方向计算单元，其根据灰度质心法计算出所述的关键特征点的响应主方向； 描述子提取单元，其根据所述的关键特征点的响应主方向在所述的局部模糊图像 中提取该关键特征点所对应的特征点描述子。另外，本专利技术还提供了一种拍摄终端，其包括上述任一项所述的视频序列图像的 实时配准系统。 本专利技术的有益效果是： 本专利技术的一种视频序列图像的实时配准方法、系统及拍摄终端，其通过对待处理 的序列图像进行特征点检测并计算各个特征点的harris响应值，根据该harris响应值对 所述的特征点进行堆排序和特征点筛选，得到关键特征点，根据所述的特征点属性得到所 述的关键特征点的位置信息，并根据该位置信息构建所述的关键特征点邻域位置的蒙版 图，然后根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子，最后 根据所述的特征点描述子的相似性对所述的序列图像的进行配准，不仅大大的提高了特征 点检测的实时性和鲁棒性，而且能够获得准确且快速的匹配结果，特别适用于一些对实时 性要求较高的应用场景，例如实时防抖、场景匹配、抽帧算法中。【附图说明】 此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本发 明的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中： 图1为本专利技术视频序列图像的实时配准方法的流程简图；图2为本专利技术视频序列图像的实时配准系统的结构不意图； 图3为本专利技术拍摄终端的结构示意图。【具体实施方式】 为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例 中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本专利技术一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解 释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有作出 创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。 如图1所示，本专利技术的一种视频序列图像的实时配准方法，其包括以下步骤： 10.对待处理的序列图像进行特征点检测，得到特征点属性；[00当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种视频序列图像的实时配准方法，其特征在于，包括以下步骤：10.对待处理的序列图像进行特征点检测，得到特征点属性；20.根据所述的特征点属性进行计算各个特征点的harris响应值，并根据该harris响应值对所述的特征点进行堆排序；30.根据所述的堆排序结果进行特征点筛选，得到关键特征点；40.根据所述的特征点属性得到所述的关键特征点的位置信息，并根据该位置信息构建所述的关键特征点邻域位置的蒙版图；50.根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子；60.根据所述的特征点描述子的相似性对所述的序列图像的进行配准。

【技术特征摘要】

【专利技术属性】
技术研发人员：张伟，李骈臻，张长定，傅松林，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建;35