基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法技术

本发明专利技术公开一种基于旋转模型的准稠密对应点匹配扩散方法；该方法主要包括以下几个步骤：对于同一场景从不同位置拍摄的一对鱼眼图像，首先提取和匹配图像中的特征点，然后对这些特征点进行精确定位，并把这些特征点作为初始种子点；接着从最优种子点开始向其邻域进行准稠密对应点扩散，扩散的对应点作为新的种子点用于后续的继续扩散。在本发明专利技术中，对应点的视差约束采用旋转变换模型，相比已有的仿射变换模型而言，该模型计算简单，模型自由参数只有一个，因此整个扩散过程稳定可靠，并且可满足大多数的应用需求。另外，该方法是一种非约束的扩散方法，无需对摄像机的运动参数进行事先标定，具有较大的灵活性。实验结果也验证了该方法的可行性，具有很强的实用性。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，具体涉及两幅或多幅图像之间的对应点匹配方法。技术背景对应点匹配是计算机视觉及其相关领域中的一个基本问题。以前的相关研究大多 集中于普通透视图像，然而由于鱼眼图像具有较大的视场范围，在现实中具有重要的应用 价值，因此研究鱼眼图像对应点匹配问题具有重要的意义。准稠密匹配是介于稀疏匹配和稠密匹配之间的一类对应点匹配方法，为了满足三 维建模和基于图像的渲染等应用中所需大量对应点的需要，同时尽可能提高对应点匹配的 可靠性，这类方法的对应点匹配只在纹理丰富的区域进行，而对均质区域不进行对应点匹 配。这类方法的基本思想可概括为首先检测和匹配图像中的稀疏特征点，然后从这些稀疏 特征点开始，逐步向其邻域进行匹配扩散。在这类方法中，不同方法之间最主要的区别是匹配扩散过程中对应点视差限制 模型的选择问题。Lhuillier 等人[l]Lhuillier M and Quan L. Matchpropagation for image-based modeling and rendering. IEEE Transactions onPattern Analysis and Machine Intelligence, 2002, 24 (8) :1140_1146，所采用的视差模型是二维视差梯度约 束，该模型假设图像的局部变形近似为二维平移变换，这种假设只适用于短基线平行配置 的立体透视图像对；为了将这类方法拓展到宽基线透视图像，Karmala等人[2]Karmala J and Brandt S S.Quasi-dense wide baseline matching using match propagation. In Proceedingof Computer Vision and Pattern Recognition，2007，1-8，米用仿身寸模型来近 似局部视差；类似地，许等人[3]许振辉，张峰，孙凤梅，胡占义.基于邻域传递的鱼眼图像 的准稠密匹配.自动化学报，200935 (9) :1159-1167，也采用仿射模型来近似鱼眼图像对应 点的局部视差。但是，文献[1]采用的模型不适合鱼眼图像的局部变形，而仿射模型由于 自由度较多，在计算和更新仿射模型参数时，由于有效数据样本点较少，搜索空间较大等原 因，使得计算得到的模型很不稳定，导致最终的扩散结果不可靠。另外，文献[3]中的方法 只适用于摄像机已经标定的情况(即摄像机内外参数都已知)，这在某些应用中也是很不 方便的。
技术实现思路
本专利技术的目的是解决仿射模型不稳定而导致最终的扩散结果不可靠的问题，为 此，本专利技术提供一种。本专利技术所述的一种，步骤如 下Si:从不同位置拍摄两幅待匹配场景的鱼眼图像I，I'，并提取和匹配两幅图像 的特征点；S2 对匹配的特征点进行精确定位，并计算这些特征点的相似性大小和旋转变换3模型，然后将相似性大于某一阈值Ct的特征点作为后续准稠密对应点扩散的初始种子点， 并把这些种子点存入集合S ；S3 根据相似性大小从种子点集合S中选出相似性最大的种子点作为最优种子 点，同时从种子点集合中去除该种子点；然后从当前最优种子点开始，在其邻域实现无极几 何约束的准稠密对应点扩散；S4 将扩散的对应点作为新的种子点，保存到种子点集合S，并且计算这些新种子 点的旋转变换模型和相似性大小。S5 如果当前种子点集合S不为空，那么转步骤Sl ；S6:利用已得到的准稠密对应点估计极几何约束，然后利用此约束重新进行带极 几何约束的准稠密对应点扩散。在S3和S6的准稠密对应点扩散过程中，局部视差约束采用旋转变换模型，具体 讲，已知图像Ι，Γ中的一对种子点为χ，χ'，X和X'邻域象素点分别为N(X)和Ν(χ')， 假设将种子点设为对应邻域的局部坐标系原点，且种子点邻域对应的旋转矩阵为R，那么在 当前种子点邻域进行对应点扩散过程中，对任意一点P1 e N(X)，其在I'中可能的匹配点 视差限制条件为Ip2 =P2 e N(x')且I Ip2-Rp11 I彡ε }。本专利技术中，对应点的视差约束采用旋转变换模型，相比已有的仿射变换模型而言， 该模型计算简单，模型自由参数只有一个，因此整个扩散过程稳定可靠，并且可满足大多数 的应用需求。所述的的步骤S2中的精确定位的方法是S21 将I1, I2中以对应特征点为中心，邻域半径为r的子图像分别转换到极坐标 系，得到两个子图像Γ 1； I' 2；S22:对子图像Γ 1； I' 2，采用相位相关法，求得两子图像的相对旋转角度θ Q;S23 以对应特征点的初始对应坐标和S22计算得到的相对旋转角度θ ^为初值， 灰度相关性为代价函数，采用Levenberg-Marquat算法在原图像I1, I2中通过迭代优化，得 到对应特征点的精确对应位置和相对旋转角度的精确值θ，同时也可得到对应特征的相对 旋转变换矩阵R rcos0 -sin 没、 IvSin^ cos 没 j精确定位保证初始种子点尽可能定位精确，并且可以求得更准确的初始旋转模 型，使得后续扩散更准确，因为点的扩散是以种子点为基础的。稠密对应点扩散是在归一化的图像中进行的。归一化后可以直接用文献[1]中的 经典方法进行扩散，即采用基于二维视差梯度约束的方法进行扩散，使得扩散过程简单化。本专利技术的有益效果本专利技术提出的方法较好地解决了现有准稠密匹配方法中存在 的不足。由于二维旋转变换模型仅有一个自由度，即相对旋转角度，因此模型简单，计算结 果可靠，鲁棒性强；其次，对绝大多数应用来讲，局部变形采用旋转变换模型可以得到所要 求的精度；第三，本专利技术无需事先标定摄像机的外参数，因此，使用灵活。通过和已有的其他 方法相比，该专利技术是一种切实可行的准稠密匹配方法。附图说明图1是本专利技术的流程图2是本专利技术种子点邻域采用旋转变换模型的归一化示意图，图中W = 2，N = 1， X，X'为当前种子点图3是本专利技术实例中用到的两幅鱼眼图像；图4是本专利技术实例中的对应的初始种子点；图5是本专利技术准稠密对应点扩散结果的局部结果图6是现有技术基于仿射模型的对应点扩散局部结果图。具体实施方式下面将结合附图对本专利技术加以详细说明，应指出的是，所描述的实施例仅旨在便 于对本专利技术的理解，而对其不起任何限定作用。本专利技术假设摄像机首先从不同位置拍摄两幅鱼眼图像，然后通过以下步骤实现准 稠密对应点的匹配扩散，整个流程可参看图1。1、提取和匹配两幅图像的特征点在这一步，可采用文献中很多经典的方法来自动实现特征提取和匹配，如基于仿 射不变量的特征提取方法[4]Mikolajczyk K, Tuytelaars Τ, Schmid C, Zisserman A, Matas J, Schaffalitzky F, Kadir T and Van Gool L. A comparisonof affine region detectors. International Journal of Computer Vision, 2005,65 (1-2) :43-72,基于仿身寸 不变描述子的匹配方法[5]Mikolajczyk K andSchmid C. A performance evaluation o本文档来自技高网...

【技术保护点】
一种基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法，其特征在于步骤如下：Ｓ１：从不同位置拍摄两幅待匹配场景的鱼眼图像Ｉ，Ｉ′，并提取和匹配两幅图像的特征点；Ｓ２：对匹配的特征点进行精确定位，并计算这些特征点的相似性大小和旋转变换模型，然后将相似性大于某一阈值ＣＴ的特征点作为后续准稠密对应点扩散的初始种子点，并把这些种子点存入集合Ｓ；Ｓ３：根据相似性大小从种子点集合Ｓ中选出相似性最大的种子点作为最优种子点，同时从种子点集合中去除该种子点；然后从当前最优种子点开始，在其邻域实现无极几何约束的准稠密对应点扩散；Ｓ４：将扩散的对应点作为新的种子点，保存到种子点集合Ｓ，并且计算这些新种子点的旋转变换模型和相似性大小。Ｓ５：如果当前种子点集合Ｓ不为空，那么转步骤Ｓ１；Ｓ６：利用已得到的准稠密对应点估计极几何约束，然后利用此约束重新进行带极几何约束的准稠密对应点扩散。在Ｓ３和Ｓ６的准稠密对应点扩散过程中，局部视差约束采用旋转变换模型，具体讲，已知图像Ｉ，Ｉ′中的一对种子点为ｘ，ｘ′，ｘ和ｘ′邻域象素点分别为Ｎ（ｘ）和Ｎ（ｘ′），假设将种子点设为对应邻域的局部坐标系原点，且种子点邻域对应的旋转矩阵为Ｒ，那么在当前种子点邻域进行对应点扩散过程中，对任意一点ｐ↓［１］∈Ｎ（ｘ），其在Ｉ′中可能的匹配点视差限制条件为｛ｐ↓［２］：ｐ↓［２］∈Ｎ（ｘ′）且‖ｐ↓［２］－Ｒｐ↓［１］‖≤ε｝。...

【技术特征摘要】
1.一种基于旋转模型的鱼眼图像准稠密对应点匹配扩散方法，其特征在于步骤如下51从不同位置拍摄两幅待匹配场景的鱼眼图像I，I'，并提取和匹配两幅图像的特 iiE ；^^ ’52对匹配的特征点进行精确定位，并计算这些特征点的相似性大小和旋转变换模型， 然后将相似性大于某一阈值Ct的特征点作为后续准稠密对应点扩散的初始种子点，并把这 些种子点存入集合S ；53根据相似性大小从种子点集合S中选出相似性最大的种子点作为最优种子点，同 时从种子点集合中去除该种子点；然后从当前最优种子点开始，在其邻域实现无极几何约 束的准稠密对应点扩散；54将扩散的对应点作为新的种子点，保存到种子点集合S，并且计算这些新种子点的 旋转变换模型和相似性大小。55如果当前种子点集合S不为空，那么转步骤Sl ；56利用已得到的准稠密对应点估计极几何约束，然后利用此约束重新进行带极几何 约束的准稠密对应点扩散。在S3和S6的准稠密对应点扩散过程中，局部视差约束采用旋转变换模型，具体讲，已 知图像Ι，Γ中的一对种子点为χ，χ'，χ和χ'邻域象素点分别为N(X)和Ν(χ')，假设 将种子点设为对应邻域的局部坐标系原点，且...

【专利技术属性】
技术研发人员：李晓明，李婧，田亚平，
申请(专利权)人：山西大学，
类型：发明
国别省市：14[中国|山西]