一种基于图像全局特征和局部特征的图像匹配方法组成比例

本发明专利技术公开了一种基于图像全局特征和局部特征的图像匹配方法。该方法基于图像尺度空间对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征，并利用深度学习的图像分类方法，创造性的设计了局部特征压缩算法和索引算法，成功的将局部特征集成到CBIR框架中，形成了基于图像和视频内容识别的指纹技术，应用于图片和视频匹配。与现有技术相比，具有抗干扰能力强、通用性强，处理速度快、匹配准确率高的优点。

An Image Matching Method Based on Global and Local Features of Image

The invention discloses an image matching method based on global and local features of an image. This method is based on the image local features which keep invariant to image scaling, rotation and even affine transformation in the image scale space, and creatively designs the local feature compression algorithm and index algorithm by using the image classification method of depth learning. The local features are successfully integrated into the CBIR framework, and the fingerprint technology based on image and video content recognition is formed, which is applied to images and videos. Video matching. Compared with the existing technology, it has the advantages of strong anti-interference ability, strong versatility, fast processing speed and high matching accuracy.

【技术实现步骤摘要】
一种基于图像全局特征和局部特征的图像匹配方法
本专利技术涉及计算机视觉领域，尤其涉及图像匹配

技术介绍
图像匹配在近几十年来一直是人们研究的热点和难点，它是在变换空间中寻找一种或多种变换，使来自不同时间、不同传感器或者不同视角的同一场景的两幅或多幅图像在空间上一致，目前已经应用于许多领域。图像匹配分以灰度为基础的匹配和以特征为基础的匹配，但是利用灰度信息匹配方法的计算量太大，这些方法很少被使用，而基于图像特征的匹配在实际中的应用越来越广泛。在特征匹配中分全局特征匹配与局部特征匹配，全局特征主要提取的是边缘和颜色信息来描述一幅图像的内容，或用一个字符串或是数组作为一幅图像的hash值，对于那些前景背景分明、颜色区别度高的图像有较好的匹配结果；局部特征是主要检测图像中的局部细节信息,对于存在旋转遮挡等具有局部不变性的图像有好的匹配结果。局部特征相对全局特征，图像匹配精度高、匹配正确率高和抗干扰性强(翻转、翻拍、颜色变换、背景干扰等)，基本可以满足正常目标匹配需求，但是在需要在千万甚至上亿级别的图像数据库中检索图像时，局部特征的时间开销和空间开销变得无法接受。
技术实现思路
本专利技术所要解决的技术问题在于克服现有技术的不足，提供一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征，并利用深度学习的图像分类方法，该方法创造性的设计了局部特征压缩算法和索引算法，成功的将局部特征集成到CBIR框架中，形成了基于图像和视频内容识别的指纹技术，应用于图片和视频匹配。本专利技术为了解决以上技术问题，采用以下技术手段：一种基于图像全局特征和局部特征的图像匹配方法，通过求一幅图中的特征点及其有关scale和orientation的描述子得到特征并进行图像特征点匹配，特征匹配包括2个阶段：图像指纹的生成和图像指纹的匹配，其中：A、图像指纹的生成具体步骤如下：步骤（1）、通过图像局部特征相关算法提取局部特征点；步骤（2）、根据特征点的分布和重要性进行筛选，保留固定数据的特征点；步骤（3）、为特征点分配方向值；步骤（4）、生成局部特征描述子，即特征向量；步骤（5）、对局部特征描述子进行压缩，利用算数编码对描述子进行编码，从128维的浮点数组转化为二进制值数组；步骤（6）、利用fishervector生成全局描述子，在执行点集到点集匹配之前进行过滤；B、特征向量的匹配具体步骤如下：步骤（7）、基于视觉和图像不变特性，采用关键点特征向量的欧式距离来作为关键点的相似性判定度量；步骤（8）、取图像1的某个关键点，遍历寻找图像2中的距离最近的两个关键点，这两个关键点如果次近距离除以最近距离小于预设阙值，则判定为一对匹配点；步骤（9）、建立数据库索引，利用全局描述子快速筛选出可能相似的图像；步骤（10）、利用局部描述子进一步计算对比图像的相似度，将结果根据相似度从高到低返回。进一步的，本专利技术所提出的图像匹配方法，所述步骤（1）中，是采用SIFT算法、SURF算法提取局部特征点；在提取特征点时，使用基于不同高斯分布的关键点检测和每个关键点的SIFT特征描述，通过选择一个关键点子集并压缩结果特征及其坐标，生成压缩的本地描述符，最后生成一个紧凑的全局描述符，通过聚合的未压缩SIFT特性来描述整个图像。进一步的，本专利技术所提出的图像匹配方法，所述步骤（2）中，对于给定一幅图像，选择检测到的SIFT特征的子集来生成SCFV描述符，在每个操作点上为每张图像选择300个SIFT特征，当一个图像包含小于300个SIFT的特征时，选择所有的特征。进一步的，本专利技术所提出的图像匹配方法，所述步骤（3）中，从查询/参考图像的关键点选择阶段为每个选中的局部特征生成Fisher向量。进一步的，本专利技术所提出的图像匹配方法，所述步骤（4）中，以特征点为中心取16×16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，最后获得4×4×8的128维特征描述子。进一步的，本专利技术所提出的图像匹配方法，所述步骤（9）中，对于全局描述符的匹配，给定两个图像X和Y，相似度得分是它们的全局描述符之间的加权相关性，通过使用按位XOR和POPCNT计算汉明距离来快速计算，并且从一个小型查找表中读取权重，如果相似度得分超过阈值，则将此图像对确定为匹配，否则为非匹配。相比现有技术，本专利技术的具有以下有益效果：1、抗干扰能力强，能屏蔽翻转、翻拍、颜色变换、背景干扰、放大、缩小、扭曲等场景带来的干扰；2、通用性强，适应通过预设图片查找包含这些预设内容的图片及视频、相似的图像或视频在经过变化后的检索匹配、在图像库中搜索具有相同特征的特定物体等场景；3、本专利技术处理速度快，在千万级图像库中匹配图像速度小于1秒；4、本专利技术匹配准确率高，准确率可达99%。附图说明图1是图像指纹的生成示意图。图2是特征向量的匹配流程图。图3是全局描述子和局部描述子生成示意图。具体实施方式下面结合附图对本专利技术的技术方案进行详细说明：本
技术人员可以理解的是，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。本专利技术提出一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征并利用深度学习的图像分类方法，通过求一幅图中的特征点（interestpoints,orcornerpoints）及其有关scale和orientation的描述子得到特征并进行图像特征点匹配，特征匹配主要包括2个阶段：图像指纹的生成和图像指纹的匹配。如图1所示，图像指纹的生成具体步骤如下：步骤（1）、通过SIFT算法、SURF算法等图像局部特征相关算法提取局部特征点；步骤（2）、根据特征点的分布和重要性进行筛选，保留固定数据的特征点；步骤（3）、为特征点分配方向值；步骤（4）、生成局部特征描述子，即特征向量；步骤（5）、局部描述子压缩，利用算数编码对描述子进行编码，从128维的浮点数组转化为二进制值数组；步骤（6）、利用fishervector生成全局描述子，在执行点集到点集匹配之前进行过滤。参考图2所示，特征向量的匹配具体步骤如下：步骤（7）、基于视觉和图像不变特性，采用关键点特征向量的欧式距离来作为关键点的相似性判定度量；步骤（8）、取图像1的某个关键点，遍历寻找图像2中的距离最近的两个关键点。这两个关键点如果次近距离除以最近距离小于某个阙值，则判定为一对匹配点；步骤（9）、建立数据库索引，利用全局描述子快速筛选出可能相似的图像；步骤（10）、利用局部描述子进一步计算对比图像的相似度，将结果根据相似度从高到低返回。作为本专利技术的进一步优选方案，所述步骤（1）中，在提取特征点时，使用基于不同高斯分布（DoG）的关键点检测和每个关键点的SIFT特征描述，通过选择一个关键点子集并压缩结果特征及其坐标，生成压缩的本地描述符。最后生成一个紧凑的全局描述符，通过聚合的未压缩SIFT特性来描述整个图像。作为本专利技术的进一步优选方案，所述步骤（2）中，对于给定一幅图像本文档来自技高网...

【技术保护点】
1.一种基于图像全局特征和局部特征的图像匹配方法，其特征在于，通过求一幅图中的特征点及其有关scale 和 orientation 的描述子得到特征并进行图像特征点匹配，特征匹配包括2个阶段：图像指纹的生成和图像指纹的匹配，其中：A、图像指纹的生成具体步骤如下：步骤（1）、通过图像局部特征相关算法提取局部特征点；步骤（2）、根据特征点的分布和重要性进行筛选，保留固定数据的特征点；步骤（3）、为特征点分配方向值；步骤（4）、生成局部特征描述子，即特征向量；步骤（5）、对局部特征描述子进行压缩，利用算数编码对描述子进行编码，从128维的浮点数组转化为二进制值数组；步骤（6）、利用fisher vector生成全局描述子，在执行点集到点集匹配之前进行过滤；B、特征向量的匹配具体步骤如下：步骤（7）、基于视觉和图像不变特性，采用关键点特征向量的欧式距离来作为关键点的相似性判定度量；步骤（8）、取图像1的某个关键点，遍历寻找图像2中的距离最近的两个关键点，这两个关键点如果次近距离除以最近距离小于预设阙值，则判定为一对匹配点；步骤（9）、建立数据库索引，利用全局描述子快速筛选出可能相似的图像；步骤（10）、利用局部描述子进一步计算对比图像的相似度，将结果根据相似度从高到低返回。...

【技术特征摘要】
1.一种基于图像全局特征和局部特征的图像匹配方法，其特征在于，通过求一幅图中的特征点及其有关scale和orientation的描述子得到特征并进行图像特征点匹配，特征匹配包括2个阶段：图像指纹的生成和图像指纹的匹配，其中：A、图像指纹的生成具体步骤如下：步骤（1）、通过图像局部特征相关算法提取局部特征点；步骤（2）、根据特征点的分布和重要性进行筛选，保留固定数据的特征点；步骤（3）、为特征点分配方向值；步骤（4）、生成局部特征描述子，即特征向量；步骤（5）、对局部特征描述子进行压缩，利用算数编码对描述子进行编码，从128维的浮点数组转化为二进制值数组；步骤（6）、利用fishervector生成全局描述子，在执行点集到点集匹配之前进行过滤；B、特征向量的匹配具体步骤如下：步骤（7）、基于视觉和图像不变特性，采用关键点特征向量的欧式距离来作为关键点的相似性判定度量；步骤（8）、取图像1的某个关键点，遍历寻找图像2中的距离最近的两个关键点，这两个关键点如果次近距离除以最近距离小于预设阙值，则判定为一对匹配点；步骤（9）、建立数据库索引，利用全局描述子快速筛选出可能相似的图像；步骤（10）、利用局部描述子进一步计算对比图像的相似度，将结果根据相似度从高到低返回。2.根据权利要求1所述的图像匹配方法，其特征在于，所述步骤（1）中，是采用SIFT算法、SU...

【专利技术属性】
技术研发人员：田海，陆玉传，吴馨，吴沁，
申请(专利权)人：南京讯思雅信息科技有限公司，
类型：发明
国别省市：江苏,32