当前位置: 首页 > 专利查询>南开大学专利>正文

基于全局单应矩阵的单目视觉测量方法技术

技术编号:11439528 阅读:367 留言:0更新日期:2015-05-13 08:59
一种基于全局单应矩阵的单目视觉测量方法。本发明专利技术提出了一种图像平面与所观测地面之间的全局单应矩阵标定方法,从而获得图像平面与整个场景平面之间的一一映射关系。首先,将标定板放置于地面不同位置处,获得多个标定板与对应图像平面直接的局部单应矩阵,然后将多个局部单应矩阵进行信息融合,从而得到全局意义上的映射关系,即全局单应矩阵。同时,本发明专利技术对关联高度信息的单应矩阵进行了标定,从而能够对任意已知高度的待测平面进行视觉测量。本发明专利技术无需摄像机内参数,且标定精度较高。标定结果成功地应用于室内移动机器人位姿测量。对比实验结果表明,在整个摄像机视野范围内,相比局部单应矩阵的标定方法,本发明专利技术具有更高的视觉测量精度。

【技术实现步骤摘要】
基于全局单应矩阵的单目视觉测量方法
本专利技术属于单目视觉测量与单应矩阵标定的
,特别是涉及一种基于全局单应矩阵的单目视觉测量方法。
技术介绍
作为典型的非接触式传感器,视觉传感器具有信息丰富、可靠性高等优点,从而得到了广泛的应用。为了测量物体的位姿,单目视觉和立体视觉通常被认为是比较有效的测量工具[1]。通常来说,单目视觉测量方法是利用目标点间固有的几何约束关系进行求解[2],而双目立体视觉测量方法,是通过对同一目标点在两台摄像机中的成像进行交会三角计算,从而得到目标点在测量坐标系下的三维坐标[3,4]。双目视觉测量设备受到视场范围的限制[5],只能测量两摄像机视野重叠的部分,测量范围小并且短。而单目视觉测量系统不受视场范围的限制,可以通过变换焦距,在所需测量范围以及测量距离内测量靶标的空间位置姿态[6]。此外,单目视觉测量具有结构简单、标定步骤少等优点。单目视觉测量方法可以利用多种特征点,例如点特征、线特征以及其他的高级几何特征[7]。相对而言,目前对基于点特征的单目视觉测量方法研究较多。点特征定位又称为PnP(Perspectiven-PointsProblem)问题,它是在1981年首先由Fischler和Bolles[8]提出的。给定n(n≥3)个三维参考点和它们相应的二维图像坐标,PnP问题的目标就是获得摄像机的位置和姿态[9][10]。在过去的十几年里,针对不同数目的特征点,很多学者对PnP问题进行了大量的研究工作(从至少3个点,到一般化的n个点)。文献[11]、文献[12]等对P3P问题进行了系统的研究,文献[13]对P4P和P5P问题也进行了研究,文献[14]、[15]、[16]等对于一般化的PnP(n≥4)问题提出了一些线性方法。在文献[17]、[18]中,消影点和平行直线被用于解决视觉测量问题,但是这些方法会受到场景的限制,因为很多场景中不包含足够多的平行直线。利用场景约束,文献[19,20]利用一幅未标定的图像进行三维场景的重建。在一些应用中,静止或者运动的被测目标点均位于特定高度的同一水平面上。在这种情况下,可以利用该平面约束,进行单应矩阵标定来解决视觉测量问题。文献[9]指出,单应矩阵表示两平面间的可逆齐次变换[21]。一旦该单应矩阵被标定,我们可以直接将一个平面上图像坐标映射到目标平面上的坐标。为了对图像平面与视野平面之间的单应矩阵进行标定,我们通常将一个标定板放置在摄像机视野范围内。文献[22]利用一个特定的模板来标定摄像机外参数,但是标定精度有待于提高。文献[23]虽然获得了较高的标定精度,但是它需要复杂的实验设备来保证标定性能。根据标定板与其在图像平面上的点的对应关系,通过线性估计和非线性优化[24],可以标定得到一个单应矩阵。为了保证标定精度,通常需要标定板足够大,最好能够覆盖整个摄像机视野范围。然而,在很多应用中,摄像机的视野范围远远大于标定板的大小。在这种情况下,由于缺乏整个视野范围内的标定数据,得到的单应矩阵仅仅在标定板放置的局部区域内标定精度高。而且,由于摄像机镜头的畸变,不同区域内,图像畸变情况不一样。通过以上分析,我们知道,如果我们只将标定板放在一个位置处标定得到一个单应矩阵,其在整个视野范围内的平均测量误差会比较大。
技术实现思路
本专利技术的目的是解决现有局部单应矩阵存在的上述不足,提供一种基于全局单应矩阵的单目视觉测量方法。为了减小整个视野范围内的测量误差,本专利技术提出了将多个局部单应矩阵进行信息融合与优化得到全局单应矩阵的方法。首先,我们将标定板放置在视野范围内的不同位置,并标定得到不同的局部单应矩阵。然后,通过分析各局部单应矩阵之间的关系,并将其进行融合、优化得到全局单应矩阵。在整个视野范围内,本专利技术提出的全局单应矩阵比单一的局部单应矩阵具有更高的测量精度。另外,为了得到具有一定高度平面上点的测量结果,我们定义并标定了一个关联高度信息的单应矩阵,它可以将任意已知高度平面上的点的图像坐标转换到相应零平面上的点的图像坐标。在此基础上,再根据全局单应矩阵得到被测点在待测平面上的二维世界坐标(第三维世界坐标为平面的高度)。大量实验结果验证了本专利技术的有效性。本专利技术提供的基于全局单应矩阵的单目视觉测量方法包括:第1,全局单应矩阵的标定定义“局部单应矩阵”为标定板在待测地面单个位置处,标定得到的与图像平面之间的单应矩阵。这里,采用“局部”,是因为标定板的尺寸比较小,只能覆盖整个视野范围内待测地面的小部分区域。相应地,我们定义“全局单应矩阵”,用来表示将标定板放置在不同位置得到多幅图像,并将这些位置的数据进行融合得到的单应矩阵。“局部单应矩阵”反映了图像平面和局部区域之间的映射关系,而“全局单应矩阵”,利用不同位置的数据,更准确地反映了图像平面和整个场景平面之间的映射关系。图1是一个单目视觉测量系统,将一个未标定的摄像机固定在某高度的金属杆顶端,将标定板放置在摄像机视野范围内待测地面(零平面)的不同位置处。以位置i处的标定板左下角为原点建立坐标系不失一般性,选择标定板在第一个位置处所建立的坐标系为参考世界坐标系。第1.1,建立各局部单应矩阵之间的关系用局部单应矩阵Hi建立特征点图像坐标与世界坐标之间的关系如下:pik=λikHiPik(3)其中,λik表示归一化比例因子,Pik=[xikyik1]T表示标定板上特征点在XwYw平面上的二维齐次世界坐标,pik=[uikvik1]T表示相应的齐次图像坐标,i=1,2,…,N;k=1,2,…,Np,N表示标定板的放置次数,Np表示标定板上特征点的个数。根据空间几何关系,推导出在参考坐标系处获得的局部单应矩阵H1与在其他位置处获得的局部单应矩阵Hi之间的关系为:其中,为坐标系在坐标系下的变换矩阵,1θi表示两坐标系之间的旋转角度,[1txi1tyi]T表示两坐标系之间的平移向量,表示归一化比例因子。这样,根据任意一个局部单应矩阵和参考坐标系处的单应矩阵,可以求出它们之间的变换矩阵1Mi,进而求出旋转与平移参数1θi、1txi和1tyi。然后我们通过变换矩阵1Mi,将坐标系下的坐标转换到坐标系下,从而可以建立多组约束方程:由于i=1,2,…,N;k=1,2,…,Np,根据式(8)可以得到N·Np组约束方程,构成约束方程组。第1.2,利用非线性最小二乘算法求解全局单应矩阵采用Levenberg-Marquardt(LM)非线性最小二乘方法进行数值最优化求解;利用至少1个局部单应矩阵最小化如下目标函数J,得到全局单应矩阵的解:其中其中,为归一化比例因子,为参数1θi,1txi,1tyi的估计量。非线性优化的初始值选择为:优化后,得到融合N个局部单应矩阵的全局单应矩阵第2,关联高度信息的单应矩阵的估计由第1步,得到了全局单应矩阵利用该全局单应矩阵,能够根据图像计算得到零平面(高度为0的待测地面)上特征点在参考世界坐标系中的世界坐标。然而,在很多实际应用中,被测量的特征点并不在零平面上,而是在某一特定高度的平面上。为进一步解决这个问题,我们估计出了关联高度信息的单应矩阵,该单应矩阵描述了位于零平面(平面0)上的点的图像坐标与位于高度为h的平面(平面h)上的点的图像坐标之间的关系,如图2所示。一旦该关联高度信息的单应矩阵本文档来自技高网
...
基于全局单应矩阵的单目视觉测量方法

【技术保护点】
一种基于全局单应矩阵的单目视觉测量方法,其特征在于该方法包括:第1,全局单应矩阵的标定定义“局部单应矩阵”为标定板在待测地面单个位置处,标定得到的与图像平面之间的单应矩阵;这里,采用“局部”,是因为标定板的尺寸比较小,只能覆盖整个视野范围内待测地面的小部分区域;相应地,我们定义“全局单应矩阵”,用来表示将标定板放置在不同位置得到多幅图像,并将这些位置的数据进行融合得到的单应矩阵;“局部单应矩阵”反映了图像平面和局部区域之间的映射关系,而“全局单应矩阵”,利用不同位置的数据,更准确地反映了图像平面和整个场景平面之间的映射关系;将单目视觉测量系统中的一个未标定的摄像机固定在某高度的金属杆顶端,将标定板放置在摄像机视野范围内待测地面即零平面的不同位置处;以位置i处的标定板左下角为原点建立坐标系,选择标定板在第一个位置处所建立的坐标系为参考世界坐标系;第1.1,建立各局部单应矩阵之间的关系用局部单应矩阵Hi建立特征点图像坐标与世界坐标之间的关系如下:pik=λikHiPik   (3)其中,λik表示归一化比例因子,Pik=[xik yik 1]T表示标定板上特征点在参考世界坐标系XwYw平面上的二维齐次世界坐标,pik=[uik vik 1]T表示相应的齐次图像坐标,i=1,2,…,N;k=1,2,…,Np,N表示标定板的放置次数,Np表示标定板上特征点的个数;根据空间几何关系,推导出在参考坐标系处获得的局部单应矩阵H1与在其他位置处获得的局部单应矩阵Hi之间的关系为:1=1λMiH1-1Hi---(9)]]>1=cos(θi1)-sin(θi1)txi1sin(θi1)cos(θi1)tyi1001]]>为坐标系在坐标系下的变换矩阵,1θi表示两坐标系之间的旋转角度,[1txi 1tyi]T表示两坐标系之间的平移向量,表示归一化比例因子;这样,根据任意一个局部单应矩阵和参考坐标系处的单应矩阵,可以求出它们之间的变换矩阵1Mi,进而求出旋转与平移参数1θi、1txi和1tyi;然后通过变换矩阵1Mi,将坐标系下的坐标转换到坐标系下,从而建立多组约束方程:1·Pik---(8)]]>由于i=1,2,…,N;k=1,2,…,Np,根据式(8)可以得到N·Np组约束方程,构成约束方程组;第1.2,利用非线性最小二乘算法求解全局单应矩阵采用Levenberg‑Marquardt(LM)非线性最小二乘方法进行数值最优化求解;利用至少1个局部单应矩阵最小化如下目标函数J,得到全局单应矩阵的解:1,t^xi1,t^yi1)=Σi=1NΣk=1Np(pik-sikH^g·Mi1(θ^i1,t^xi1,t^yi1)·Pik)2---(12)]]>其中1(θ^i1,t^xi1,t^yi1)=cos(θ^i1)-sin(θ^i1)t^xi1sin(θ^i1)cos(θ^i1)t^yi1001]]>其中,为归一化比例因子,为参数的估计量;非线性优化的初始值选择为:H^g=H1,θ^i1=θi1,t^xi1=txi1,t^yi1=tyi1;]]>优化后,得到融合N个局部单应矩阵的全局单应矩阵第2,关联高度信息的单应矩阵的估计由第1步,得到了全局单应矩阵利用该全局单应矩阵,能够根据图像计算得到零平面上特征点在参考世界坐标系中的世界坐标;然而,在很多实际应用中,被测量的特征点并不在零平面上,而是在某一特定高度的平面上;为进一步解决这个问题,应估计出关联高度信息的单应矩阵,该单应矩阵描述了位于零平面即平面0上的点的图像坐标与位于高度为h的平面即平面h上的点的图像坐标之间的关系;一旦该关联高度信息的单应矩阵被标定,给定高度h,就可以通过该单应矩阵将位于平面h上的点的图像坐标xhi转换到平面0上的点的图像坐标x0i,然后利用第1步得到的全局单应矩阵即可求得位于零平面上点的二维世界坐标;第2.1,建立关联高度信息的单应矩阵与高度的关系考虑静态场景中的Nh个特征点,X0i和Xhi分别表示平面0和平面h上对应点的齐次世界坐标:X0i=[xi yi 0 1]T,Xhi=[xi yi h 1]T   (13)相应的图像齐次坐标x0i和xhi为:x0i=[u0i v0i 1]T,xhi=[uhi vhi 1]T   (14)推导出平面0和平面h上的点的图像坐标之间的关系为:x0i=λ0iλhiG(h)xhi---(26)]]>其中G(h)=H^gHh′-1=c11c12c14c21c22c24c31c3...

【技术特征摘要】
1.一种基于全局单应矩阵的单目视觉测量方法,其特征在于该方法包括:第1,全局单应矩阵的标定定义“局部单应矩阵”为标定板在待测地面单个位置处,标定得到的与图像平面之间的单应矩阵;这里,采用“局部”,是因为标定板的尺寸比较小,只能覆盖整个视野范围内待测地面的小部分区域;相应地,我们定义“全局单应矩阵”,用来表示将标定板放置在不同位置得到多幅图像,并将这些位置的数据进行融合得到的单应矩阵;“局部单应矩阵”反映了图像平面和局部区域之间的映射关系,而“全局单应矩阵”,利用不同位置的数据,更准确地反映了图像平面和整个场景平面之间的映射关系;将单目视觉测量系统中的一个未标定的摄像机固定在某高度的金属杆顶端,将标定板放置在摄像机视野范围内待测地面即零平面的不同位置处;以位置i处的标定板左下角为原点建立坐标系选择标定板在第一个位置处所建立的坐标系为参考世界坐标系;第1.1,建立各局部单应矩阵之间的关系用局部单应矩阵Hi建立特征点图像坐标与世界坐标之间的关系如下:pik=λikHiPik其中,λik表示归一化比例因子,Pik=[xikyik1]T表示标定板上特征点在参考世界坐标系XwYw平面上的二维齐次世界坐标,pik=[uikvik1]T表示相应的齐次图像坐标,i=1,2,…,N;k=1,2,…,Np,N表示标定板的放置次数,Np表示标定板上特征点的个数;根据空间几何关系,推导出在参考坐标系处获得的局部单应矩阵H1与在其他位置处获得的局部单应矩阵Hi之间的关系为:其中,为坐标系在坐标系下的变换矩阵,1θi表示两坐标系之间的旋转角度,[1txi1tyi]T表示两坐标系之间的平移向量,表示归一化比例因子;这样,根据任意一个局部单应矩阵和参考坐标系处的单应矩阵,可以求出它们之间的变换矩阵1Mi,进而求出旋转与平移参数1θi、1txi和1tyi;然后通过变换矩阵1Mi,将坐标系下的坐标转换到坐标系下,从而建立多组约束方程:由于i=1,2,…,N;k=1,2,…,Np,根据式(8)可以得到N·Np组约束方程,构成约束方程组;第1.2,利用非线性最小二乘算法求解全局单应矩阵采用Levenberg-Marquardt(LM)非线性最小二乘方法进行数值最优化求解;利用至少1个局部单应矩阵最小化如下目标函数J,得到全局单应矩阵的解:其中

【专利技术属性】
技术研发人员:方勇纯张雪波王聪媛路晗
申请(专利权)人:南开大学
类型:发明
国别省市:天津;12

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1