时序地标图像特征匹配方法、装置、电子设备及介质制造方法及图纸

本发明专利技术提供一种时序地标图像特征匹配方法、装置、电子设备及介质，该时序地标图像特征匹配方法包括：响应于特征匹配请求，获取历史图像，对历史图像执行数据增强及强化边缘检测，得到第一图像；对第一图像进行轮廓检测，得到候选四边形；根据候选四边形及其邻域属性，生成用于描述地标图像特征的描述符；通过描述符对第一图像执行特征提取，得到候选特征点，并对候选特征点执行优化处理，得到匹配结果，优化处理包括过滤、异常消除及剩余匹配中的至少一种。本发明专利技术的有益效果为：提高时序地标图像特征匹配的稳健性和准确率。像特征匹配的稳健性和准确率。像特征匹配的稳健性和准确率。

Time sequence landmark image feature matching method, device, electronic equipment and medium

【技术实现步骤摘要】
时序地标图像特征匹配方法、装置、电子设备及介质


[0001]本专利技术涉及数字图像处理领域和计算机视觉
，尤其涉及一种时序地标图像特征匹配方法、装置、电子设备及介质。

技术介绍

[0002]随着数字摄影的发展、万维网的指数级增长以及Flickr等照片共享网站的出现，摄影过程和照片集大小都发生了巨大变化。目前，无论是官方或个人都已拥有数量庞大且不断增长的世界各地地点、城市和地标的照片。匹配由不同的摄影师、不同的相机、在不同的天气条件下从不同角度拍摄的大量特定地标图像，对处理这些图像并提取和匹配它们的特征提出了挑战。这些特征对于图像配准和对齐很重要，匹配过程的准确性对图像配准技术的成功至关重要。
[0003]目前，待匹配的图像来自在不同的拍摄情境和不同时间点下从不同角度拍摄的特定地标建筑物，因此要处理使用各个时代的相机拍摄的历史照片，匹配现代图像与历史图像需要一些特定的方法。虽然有许多基于矢量或二进制的有效匹配技术可以在现代数字图像上有效执行，但它们在历史照片上并不准确，因为不同地标的照片是在不同光照、位置和天气条件下拍摄的广泛时间线上收集的。

技术实现思路

[0004]本专利技术实施例的主要目的在于提出一种时序地标图像特征匹配方法、装置、电子设备及介质，提高时序地标图像特征匹配的稳健性和准确率。
[0005]本专利技术的一方面提供了一种时序地标图像特征匹配方法，其特征在于，包括：响应于特征匹配请求，获取历史图像，对所述历史图像执行数据增强及强化边缘检测，得到第一图像；对所述第一图像进行轮廓检测，得到候选四边形；根据所述候选四边形及其邻域属性，生成用于描述地标图像特征的描述符；通过所述描述符对所述第一图像执行特征提取，得到候选特征点，并对所述候选特征点执行优化处理，得到匹配结果，所述优化处理包括过滤、异常消除及剩余匹配中的至少一种。
[0006]根据所述的时序地标图像特征匹配方法，其中响应于特征匹配请求，获取历史图像，对所述历史图像执行数据增强及强化边缘检测，得到第一图像，包括：
[0007]使用直方图均衡增强所述历史图像的对比度；
[0008]利用双边滤波器对均衡化后的所述历史图像进行过滤；
[0009]使用Canny边缘检测方法和自动Otsu阈值法在过滤后的图像中检测边缘；
[0010]以及，使用形态学闭操作增强所述检测边缘，得到所述第一图像。
[0011]根据所述的时序地标图像特征匹配方法，其中根据对所述第一图像进行轮廓检测，得到候选四边形，包括：
[0012]使用边界跟随算法对经过所述强化边缘检测后的所述历史图像执行检测，得到粗略轮廓；
[0013]通过道格拉斯
‑
普克算法采用四个点近似并显示和保留凸形的轮廓被保留，保存每个金字塔八度音阶中最大的多个所述四边形。
[0014]根据所述的时序地标图像特征匹配方法，其中根据所述候选四边形及其邻域属性，生成用于描述地标图像特征的描述符，包括：
[0015]获取每个检测到的所述四边形，通过八个不同的值描述每个四边形，计算所述四边形的质心,并根据所述质心之间的最小距离确定k
‑
最近邻；
[0016]计算质心连线与y负轴间夹角，将每个象限的击中相加并用进行k归一化，同时在轴两侧添加5
°
的区域；
[0017]基于投影不变性，分别计算面积比ROA、平行比ROP、纵横比比率ROAP 和豪斯多夫距离比ROHD，并进行k标准化；
[0018]根据象限、面积比ROA、平行比ROP、纵横比比率ROAP和豪斯多夫距离比ROHD的值，确定每个所述四边形的所述描述符。
[0019]根据所述的时序地标图像特征匹配方法，其中获取每个检测到的所述四边形，通过八个不同的值描述每个四边形，计算所述四边形的质心,并根据所述质心之间的最小距离确定k
‑
最近邻，包括：
[0020]检测负y轴与质心连线
[0021][0022]间的夹角
[0023]θ
j
，
[0024]其中，j∈[1,k]；
[0025]将每个象限A、B、C、D中的击中点相加并用k归一化，计算公式为：
[0026][0027]根据所述的时序地标图像特征匹配方法，其中基于投影不变性，分别计算面积比ROA、平行比ROP、纵横比比率ROAP和豪斯多夫距离比ROHD，并进行k标准化，包括：
[0028]所述面积比ROA、所述平行比ROP、所述纵横比比率ROAP和所述豪斯多夫距离比ROHD的计算方式依次为：
[0029][0030][0031][0032][0033]其中，HD为豪斯多夫距离，得到的所述描述符为
[0034][0035]根据所述的时序地标图像特征匹配方法，其中通过所述描述符对所述第一图像执行特征提取，得到候选特征点，并对所述候选特征点执行优化处理，得到匹配结果，包括：
[0036]通过所述描述符的四边形质心采用具有L2范数的Brute
‑
Force匹配法进行匹配，得到所述候选特征点；
[0037]通过对称性测试过滤所述候选特征点，只保留相互存在匹配关系的特征点对；
[0038]使用RANSAC方法消除异常值；
[0039]以及，对剩余匹配项处理，包括将不正确的匹配项返回。
[0040]本专利技术实施例的另一方面提供了一种时序地标图像特征匹配装置，包括：
[0041]数据增强模块，用于响应于特征匹配请求，获取历史图像，对所述历史图像执行数据增强及强化边缘检测，得到第一图像；
[0042]轮廓检测模块，用于对所述第一图像进行轮廓检测，得到候选四边形；
[0043]描述符模块，用于根据所述候选四边形及其邻域属性，生成用于描述地标图像特征的描述符；
[0044]优化模块，用于通过所述描述符对所述第一图像执行特征提取，得到候选特征点，并对所述候选特征点执行优化处理，得到匹配结果。
[0045]本专利技术实施例的另一方面提供了一种电子设备，包括处理器以及存储器；
[0046]所述存储器用于存储程序；
[0047]所述处理器执行所述程序实现如前文所描述的方法。
[0048]本专利技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前文所描述的方法。
[0049]本专利技术的有益效果为：本专利技术通过特征描述符、特征匹配，实现时序地标图像在模型中的完全/半自动定向与匹配，实现历史图像和平面图的可视化。根据历史建筑图像大都包含许多矩形作为特定结构的特点，在使用模板匹配检测几何四边形等鲁棒特征，进一步采用语义拓扑关系，并使用Douglas
‑
Peucker算法检测出候选四边形集，定义四本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时序地标图像特征匹配方法，其特征在于，包括：响应于特征匹配请求，获取历史图像，对所述历史图像执行数据增强及强化边缘检测，得到第一图像；对所述第一图像进行轮廓检测，得到候选四边形；根据所述候选四边形及其邻域属性，生成用于描述地标图像特征的描述符；通过所述描述符对所述第一图像执行特征提取，得到候选特征点，并对所述候选特征点执行优化处理，得到匹配结果，所述优化处理包括过滤、异常消除及剩余匹配中的至少一种。2.根据权利要求1所述的时序地标图像特征匹配方法，其特征在于，所述响应于特征匹配请求，获取历史图像，对所述历史图像执行数据增强及强化边缘检测，得到第一图像，包括：使用直方图均衡增强所述历史图像的对比度；利用双边滤波器对均衡化后的所述历史图像进行过滤；使用Canny边缘检测方法和自动Otsu阈值法在过滤后的图像中检测边缘；以及，使用形态学闭操作增强所述检测边缘，得到所述第一图像。3.根据权利要求1所述的时序地标图像特征匹配方法，其特征在于，所述根据对所述第一图像进行轮廓检测，得到候选四边形，包括：使用边界跟随算法对经过所述强化边缘检测后的所述历史图像执行检测，得到粗略轮廓；通过道格拉斯
‑
普克算法采用四个点近似并显示和保留凸形的轮廓被保留，保存每个金字塔八度音阶中最大的多个所述四边形。4.根据权利要求3所述的时序地标图像特征匹配方法，其特征在于，所述根据所述候选四边形及其邻域属性，生成用于描述地标图像特征的描述符，包括：获取每个检测到的所述四边形，通过八个不同的值描述每个四边形，计算所述四边形的质心,并根据所述质心之间的最小距离确定k
‑
最近邻；计算质心连线与y负轴间夹角，将每个象限的击中相加并用进行k归一化，同时在轴两侧添加5
°
的区域；基于投影不变性，分别计算面积比ROA、平行比ROP、纵横比比率ROAP和豪斯多夫距离比ROHD，并进行k标准化；根据象限、面积比ROA、平行比ROP、纵横比比率ROAP和豪斯多夫距离比ROHD的值，确定每个所述四边形的所述描述符。5.根据权利要求4所述的时序地标图像特征匹配方法，其特征在于，所述获取每个检测到的所述四边形，通过八个不同的值描述每个四边形，计算...

【专利技术属性】
技术研发人员：余君，
申请(专利权)人：广东科学技术职业学院，
类型：发明
国别省市：