基于局部稳定区域的鱼眼图像匹配方法组成比例

本发明专利技术公开了一种基于局部稳定区域的鱼眼图像匹配方法，首先根据鱼眼图像像素灰度值的梯度变化率得到图像的稳定区域，通过图像块内部特征点之间关系与图像块的颜色信息对稳定区域的图像块进行区域匹配；然后根据鱼眼成像模型与鱼眼图像畸变原理推导出适用于D‑nets算法的鱼眼立体系统半球模型；最后在推导出鱼眼模型的基础上对相似度高的图像块内部点使用D‑nets算法进行特征点匹配，得到图像的特征点匹配图。本发明专利技术算法使用局部网络状描述子对鱼眼图像上特征点进行匹配，在畸变严重区域具有匹配速度快、匹配精度高等优点。

Fisheye image matching method based on locally stable region

【技术实现步骤摘要】
基于局部稳定区域的鱼眼图像匹配方法
本专利技术涉及图像处理
，尤其是一种基于局部稳定区域的鱼眼图像匹配方法。
技术介绍
近年来鱼眼相机被广泛应用在全景图像摄影、机器视觉、虚拟现实等领域。其主要原因是鱼眼图像具有大广角特征，视角可以达到180°，甚至更大。在机器视觉领域对同一场景的不同图像上进行特征点匹配是极其重要任务，在传统的图像分类，目标检测，目标跟踪，三维重建等领域都需要特征点的正确匹配。目前，针对鱼眼图像的特征点匹配存在以下问题。单独使用SIFT、ORB等经典匹配算法并不能解决鱼眼图像畸变问题，对鱼眼图像匹配效果不佳；最常见的方法是事先通过插值方法对鱼眼图像进行校正，在校正后的图像上进行匹配，但是在插值过程中引入大量估计值，使得鱼眼图像上很多细节信息丢失，导致鱼眼图像匹配精度低；有的方法是通过在D-nets算法上加入鱼眼模型，通过构建特征点的网络结构使用全局特征点描述子代替特征点的局部描述子，这种方法极大的克制了鱼眼图像带来的畸变影响，但是这种算法需要给图像中每个特征点都建立网络结构，导致匹配速度缓慢。综上所述，现在鱼眼图像特征点匹配技术并没有一个切实可行，快速精准的解决方案。因此，期望提出一种既要保证匹配精度，又要保证匹配速度的鱼眼图像特征点匹配技术。
技术实现思路
本专利技术的目的在于提出一种基于局部稳定区域的鱼眼图像匹配方法，其为具有高精度、高鲁棒性、匹配速度快的鱼眼图像特征点匹配方法，其能够解决鱼眼图像在畸变情况下的特征点匹配精准度问题以及鲁棒性差的问题。通过引入局部稳定性区域匹配解决D-nets算法匹配速度慢问题；通过引入鱼眼半球模型解决鱼眼图像中径向畸变与偏心畸变问题。本专利技术的技术方案如下：一种基于局部稳定区域的鱼眼图像匹配方法，其具体包括如下步骤：步骤1，根据鱼眼图像像素灰度值的梯度变化率得到图像的稳定区域，通过稳定区域的图像块的内部特征点之间关系以及稳定区域的图像块的颜色信息共同对稳定区域的图像块进行区域匹配；步骤2，通过在鱼眼多项式畸变模型中引入偏心畸变与薄棱镜畸变，建立鱼眼成像模型，基于鱼眼图像畸变原理，从所述鱼眼成像模型中推导出适用于D-nets算法的鱼眼立体系统半球模型；以及步骤3，在所推导出的适用于D-nets算法的鱼眼立体系统半球模型的基础上，对匹配代价满足阈值的稳定区域内的图像块内部点使用D-nets算法进行匹配，得到图像稀疏点匹配图。优选地，所述步骤1的匹配方法为基于局部仿射不变性的鱼眼图像匹配方法，其具体步骤如下：在各个鱼眼图像中将所选定的物体与其周围物体进行区分，所选定的物体的灰度与其周围物体的灰度存在差异，将两张鱼眼图像中像素灰度值与周围像素有明显差异的联通区域提取出来作为各自的稳定区域，通过这些稳定区域内部所选定的特征点与稳定区域内部的其他特征点之间的关系，来判别两个稳定区域中是否存在同一物体，其计算函数如下：式中，m为m(·)函数，其是从两张图像中，找出代价最小的稳定区域；其中，U为左图内部稳定区域特征点集、V是右图内部稳定区域特征点集；c(Pi,Pj)为两目标特征点的匹配代价函数；{Pi,NPi}表示目标特征点Pi于其周围源特征点的几何关系；g(·)表示对稳定区域内部{Pi,NPi}与{Pj,NPj}的几何结构匹配代价函数；λ控制特征点代价与几何代价的相对权重；当上式m(·)的值越小时，两个稳定区域相似度越高，进而将各鱼眼图像中相应的稳定区域的颜色信息作为辅助条件，从而判断所选定的稳定区域是否匹配。优选地，所述步骤2的具体过程如下：在图像匹配过程中，将鱼眼图像投影在鱼眼立体系统半球模型上，通过稳定区域内部的特征点两两相连来构建网络，通过鱼眼立体系统半球模型对所构建的网络中每条弧线进行采样，具体采样过程为均分这条弧线，通过将均分后的弧线上的节点反投影回鱼眼图像上以构造描述子；鱼眼图像使用D-nets算法；所述鱼眼多项式畸变模型为第一畸变模型，第一畸变模型为高阶齐次多项式模型，即：r(θ)＝k1θ+k2θ3+k3θ5+k4θ7r(θ)是在鱼眼图像上点到世界坐标系原点的距离；k1、k2、k3、k4为鱼眼畸变参数；θ表示在鱼眼半球模型上投影点与z轴对应的角度；鱼眼镜头是由多组镜片相结合构成，其中引入鱼眼畸变模型，所述鱼眼畸变模型中包括偏心畸变与薄棱镜畸变，即：式中，Δr、Δt分别表示径向畸变与切向畸变；i1、i2、j1、j2、为畸变模型参数；表示在鱼眼半球模型上投影点与x轴对应的角度；根据偏心畸变的思想，提出鱼眼立体系统半球模型；所述鱼眼立体系统半球模型为第二畸变模型，通过鱼眼畸变模型将鱼眼图像上的点投影在半球模型上；使用θ、变量表示鱼眼图像上的物理坐标，得到：式中，xd、yd分别在鱼眼图像上的物理坐标；Δr、Δt分别表示径向畸变与切向畸变；表示在鱼眼半球模型上投影点与x轴对应的角度；θ表示在鱼眼半球模型上投影点与z轴对应的角度，其中鱼眼半球模型为鱼眼立体半球模型。优选地，所述步骤3中对相似度高的图像块内部点使用D-nets算法进行匹配，得到图像稀疏点匹配图，其具体步骤如下：S1：鱼眼图像局部使用D-nets算法：在稳定区域内部单独使用D-nets算法进行局部特征匹配，并且在需要匹配的这两张鱼眼图像上的所有对应的稳定区域内均可同时使用局部匹配的方法进行并行操作；S2：局部匹配结束后，统一剔除局部匹配中错误匹配的特征点对；S3：将稳定区域之外的特征点与误匹配特征点进行第二次D-nets匹配；以及S4：得到最终稀疏匹配图像。优选地，匹配的具体过程如下：首先将鱼眼图像上的特征点投影在半球模型上，使用两点之间最短弧线将半球模型上的投影点两两相连，任选两点与其均分弧线，得到均分后的采样点，并反投影到鱼眼图像上，根据反投影点的灰度值进行一维傅里叶变换与基于小波的采样量化，将这条量化后的一维字符串作为这两点的描述子；通过以上过程将稳定区域内所有特征点的描述子均存放在哈希表中，最后使用票决算法从哈希表中找到二维一致的对应关系，得到两幅图像上特征点的匹配。本专利技术的有益效果如下：1、在图像稳定区域内部进行局部D-nets算法匹配比传统插点去畸变匹配精度高，与直接使用D-nets算法相比，这种匹配方法速度快。2、在鱼眼畸变模型上加入径向畸变矫正与偏心畸变矫正，可以更精确的处理在边缘畸变严重区域的特征点匹配。附图说明通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。图1根据本专利技术的基于局部稳定区域的鱼眼图像匹配方法的流程图；图2是根据本专利技术的基于局部稳定区域的鱼眼图像匹配方法的实施例的视图组的左视图；图3是根据本专利技术的基于局部稳定区域的鱼眼图像匹配方法的实施例的视图组的右视图；图4是根据本专利技术的基于局部稳定区域的鱼眼图像匹配方法的鱼眼相机投影模型；图5是根据本专利技术的基于局部稳定区域的鱼眼图像匹配方法的鱼眼半球模型上特征点连线描述子；以及图6是根据本专利技术的基于局部稳定区域的鱼眼图像匹配方法的采用本专利技术算法应用于实施例的视图组中的特征点匹配图。具体实施方式以下将参照附图更详细地描述本公开的优选实施方式。结合图1，本专利技术的基于局部稳定区域的鱼眼图像匹配方法的步骤如下：步骤1，确定图像稳定区域，对稳定区域进行区域匹配。在图像中每个本文档来自技高网...

【技术保护点】
1.一种基于局部稳定区域的鱼眼图像匹配方法，其特征在于，其具体包括如下步骤：步骤1，根据鱼眼图像像素灰度值的梯度变化率得到图像的稳定区域，通过稳定区域的图像块的内部特征点之间关系以及稳定区域的图像块的颜色信息共同对稳定区域的图像块进行区域匹配；步骤2，通过在鱼眼多项式畸变模型中引入偏心畸变与薄棱镜畸变，建立鱼眼成像模型，基于鱼眼图像畸变原理，从所述鱼眼成像模型中推导出适用于D‑nets算法的鱼眼立体系统半球模型；以及步骤3，在所推导出的适用于D‑nets算法的鱼眼立体系统半球模型的基础上，对匹配代价满足阈值的稳定区域内的图像块内部点使用D‑nets算法进行匹配，得到图像稀疏点匹配图。

【技术特征摘要】
1.一种基于局部稳定区域的鱼眼图像匹配方法，其特征在于，其具体包括如下步骤：步骤1，根据鱼眼图像像素灰度值的梯度变化率得到图像的稳定区域，通过稳定区域的图像块的内部特征点之间关系以及稳定区域的图像块的颜色信息共同对稳定区域的图像块进行区域匹配；步骤2，通过在鱼眼多项式畸变模型中引入偏心畸变与薄棱镜畸变，建立鱼眼成像模型，基于鱼眼图像畸变原理，从所述鱼眼成像模型中推导出适用于D-nets算法的鱼眼立体系统半球模型；以及步骤3，在所推导出的适用于D-nets算法的鱼眼立体系统半球模型的基础上，对匹配代价满足阈值的稳定区域内的图像块内部点使用D-nets算法进行匹配，得到图像稀疏点匹配图。2.如权利要求1所述的基于局部稳定区域的鱼眼图像匹配方法，其特征在于，所述步骤1的匹配方法为基于局部仿射不变性的鱼眼图像匹配方法，其具体步骤如下：在各个鱼眼图像中将所选定的物体与其周围物体进行区分，所选定的物体的灰度与其周围物体的灰度存在差异，将两张鱼眼图像中像素灰度值与周围像素有明显差异的联通区域提取出来作为各自的稳定区域，通过这些稳定区域内部所选定的特征点与稳定区域内部的其他特征点之间的关系，来判别两个稳定区域中是否存在同一物体，其计算函数如下：式中，m为m(·)函数，其是从两张图像中，找出代价最小的稳定区域；其中，U为左图内部稳定区域特征点集、V是右图内部稳定区域特征点集；c(Pi,Pj)为两目标特征点的匹配代价函数；{Pi,NPi}表示目标特征点Pi于其周围源特征点的几何关系；g(·)表示对稳定区域内部{Pi,NPi}与{Pj,NPj}的几何结构匹配代价函数；λ控制特征点代价与几何代价的相对权重；当上式m(·)的值越小时，两个稳定区域相似度越高，进而将各鱼眼图像中相应的稳定区域的颜色信息作为辅助条件，从而判断所选定的稳定区域是否匹配。3.根据权利要求1所述的基于局部稳定区域的鱼眼图像匹配方法，其特征在于，所述步骤2的具体过程如下：在图像匹配过程中，将鱼眼图像投影在鱼眼立体系统半球模型上，通过稳定区域内部的特征点两两相连来构建网络，通过鱼眼立体系统半球模型对所构建的网络中每条弧线进行采样，具体采样过程为均分这条弧线，通过将均分后的弧线上的节点反投影回鱼眼图像上以构造描述子；鱼眼图像使用D...

【专利技术属性】
技术研发人员：李海滨，张宏升，张文明，张亚坤，范伟，
申请(专利权)人：燕山大学，
类型：发明
国别省市：河北,13