单机分束双目被动立体视觉精确重构与细分拟合方法技术

技术编号:15641354 阅读:45 留言:0更新日期:2017-06-16 11:38
本发明专利技术公开了一种单机分束双目被动立体视觉精确重构与细分拟合方法,步骤包括:步骤1、建立相机的模型,建立相机的线性针孔模型,建立相机的非线性模型;步骤2、建立相机动态对焦内部参数模型,建立聚焦状态下的内部参数模型,建立离焦状态下的内部参数模型,设置标定靶,实施标定;步骤3、自适应面具的快速稠密立体匹配;步骤4、基于立体视觉的密集点云三维反求,对应点精确匹配与点云反求,重建三维曲面,重建基于神经网络的曲面,重建细分曲面,误差分析与加细。本发明专利技术方法计算量小,准确性高,便于推广。

【技术实现步骤摘要】
单机分束双目被动立体视觉精确重构与细分拟合方法
本专利技术属于反求图像控制
,涉及一种单机分束双目被动立体视觉精确重构与细分拟合方法。
技术介绍
随着产品竞争的全球化,产品快速与创新设计愈来愈显示出重要性。反求工程是实现产品再创新开发及快速设计的重要技术之一,反求工程的首要任务是获得对象表面的三维信息,在被动双目立体视觉中,为精确获得密集三维重构点云信息,通常首先需要搭建短基线的平行光轴系统来进行立体图像对采集,以满足共轭点周围小邻域可视为相互平移的假设。继而通过频域中的图像平移不变性等理论实现共轭点精确配准。然而,在实践中运用双机构建的平行双目系统会遇到以下三个问题:1)由于视差等因素,不能充分有效地利用像素资源;2)由于拍摄不精确同步所引起抖动或环境改变等因素导致的匹配困难;3)双机系统组装后的鲁棒性不高,又由于双机存在物理特性差异,因此需要进行自适应校正,从而导致系统结构和匹配等算法变得更为复杂。因此,通过一般的双目被动系统获得物体表面的密集三维点云信息变得十分困难,通常情况,只能重建出物体少数的三维特征点,然后用差值、变分等技术结合先验知识修改模型,因此难以达到自动建模的效果。而单机分束系统,仿照立体电影摄影系统,通过在单机物镜前加装分光偏转装置,将有视差的“立体图对”同时记录在相机CCD靶面上。然而,目前的系统均存在以下一种或几种不足:1)光线相互干扰造成像质下降;2)为获得较大的重叠视场而使模拟双目光轴形成一定角度,在基于图像对平移性假设的密集点云重构中,算法的鲁棒性得不到保证;3)由于大都运用单一的棱镜组进行分光,使得像差难以控制而造成像质下降。
技术实现思路
本专利技术提供了一种单机分束双目被动立体视觉精确重构与细分拟合方法,解决了现有技术中存在像质下降、算法的鲁棒性差、计算量大的问题。本专利技术的技术方案是,一种单机分束双目被动立体视觉精确重构与细分拟合方法,按照以下步骤实施:步骤1、建立相机的模型1.1)建立相机的线性针孔模型;1.2)建立相机的非线性模型;步骤2、建立相机动态对焦内部参数模型2.1)建立聚焦状态下的内部参数模型;2.2)建立离焦状态下的内部参数模型;2.3)设置标定靶;2.4)实施标定;步骤3、自适应面具的快速稠密立体匹配;步骤4、基于立体视觉的密集点云三维反求4.1)对应点精确匹配与点云反求;4.2)重建三维曲面;4.2.1)重建基于神经网络的曲面;4.2.2)重建细分曲面;4.2.2.1)重建细分曲面;4.2.2.2)误差分析与加细。本专利技术的有益效果是,从构建一种虚拟光轴严格平行并且基线长度可调的单机分束双目系统出发,涉及到虚拟基线长度的自适应驱动、双目系统基线与焦距可变的标定与校正、双目视觉基于特征与频域融合的自适应模板层次亚像素非特征密集点云配准,并将自适应平行双目被动立体视觉精确重构与拟合原型系统进行了应用验证。创新性主要包括以下几点:1)提出改进的POC算法对图像对实施密集匹配。考虑顺序匹配约束、连续性约束和相关性约束条件,通过函数波峰拟和与亚像素位移因子迭代,对图像进行多分辨区域匹配,获得对应点的亚像素级实时配准效果。2)构建一种自适应的双目被动立体视觉系统,可根据被测物体的采样距离与所需精度等参数通过单片机自适应地驱动基线长度。另外,为解决传统双相机精确同步采样困难的问题,构建了一种基于单相机的双目被动立体视觉系统。附图说明图1是本专利技术方法采集的脚型上下图对原图;图2是本专利技术方法脚型重建三维点云的示意图;图3是本专利技术方法对内套一及其反求结果示意图;图4是本专利技术方法对内套二及其反求结果示意图;图5是本专利技术方法对精密螺杆与反求结果示意图;图6是本专利技术方法对内套一曲面简化后的重建结果示意图;图7是本专利技术方法对内套二曲面简化后的重建结果示意图;图8是本专利技术方法对精密螺杆曲面简化后的重建结果示意图。具体实施方式本专利技术方法,基于立体视觉方法进行三维重构,是指由两幅或多幅图像恢复物体的三维几何形状,对于空间物体表面任意一点P,如果用C1相机观察,看到它在C1相机的图像点为P1,但无法由P1得知P的三维位置。但是,如果用C1相机和C2相机同时观察P点,并且如果能确定,在C1相机图像上的点P1与在C2相机图像上的点P2是空间同一点P的图像点(即P1与P2为对应点),那么空间点P即是O1P1与O2P2两条直线的交点,即它的三维位置是唯一确定的,此即为立体视觉的基本原理。本专利技术的单机分束双目被动立体视觉精确重构与细分拟合方法,具体按照以下步骤实施:步骤1、建立相机的模型1.1)建立相机的线性针孔模型针孔模型作为相机成像的理想简化,能够近似表示空间任何一点P在图像上的成像位置,即假设物体表面的反射光都经过一个小孔而投影到像平面上,即满足光的直线传播条件,此时物点、光心以及像点共线。针孔模型中三维点与其像的关系又称为中心射影或透视投影,由相似性可得:其中,(x,y)为投影点p的图像坐标,Xc,Yc,Zc分别为空间点P在相机坐标系下的坐标,f为成像平面到小孔的距离,用齐次坐标与矩阵表示上述透视投影关系是:相机坐标系与世界坐标系之间的关系可以用旋转矩阵R与平移向量t来描述,通过坐标变换,将相机坐标统一到世界坐标系中,则P点坐标与其投影点p的坐标(u,v)的关系是:其中,αx=f/dx,称为x方向的像素焦距;αy=f/dy,称为y方向的像素焦距;dx,dy则是一个像素在x轴与y轴方向上的物理尺寸;M为3×4矩阵,称为投影矩阵;M1完全由线性模型参数αx,αy,u0,v0决定,(u0,v0)称为主点;由于线性模型参数αx,αy,u0,v0只与相机内部结构有关,称这些参数为相机内部参数;M2完全由相机相对于世界坐标系的方位决定,称为相机外部参数,确定某一相机的内外参数,称为相机标定。在许多情况下,为便于计算,需要对投影关系进行归一化,使得相机焦距等于1,代入公式(2.1)与(2.2),则归一化后的坐标应为:而透视投影值应为:公式(2.2)另外变换成以下形式:(Xc,Yc,Zc)为空间点P在相机坐标系下的坐标,对(x,y)进行坐标变换:代入公式(2.6),得:将公式(2.8)与公式(2.5)进行比较,得到归一化图像齐次坐标(xn,yn,1):根据公式(2.9),当已知相机内部参数时,可将归一化坐标转换成实际的图像坐标。1.2)建立相机的非线性模型在实际成像系统中,存在各种几何畸变,如径向畸变、离心畸变、薄棱镜畸变等,因此,线性模型不能准确地描述成像的几何关系;为获得更高的重建精度,最早由Brown于1966年引入所谓"PlumbBob"的畸变模型,其定义如下:根据针孔成像模型,记其归一化图像坐标为令r2=x2+y2,由于考虑镜头几何畸变,新的归一化坐标xd被定义为:其中,dx为离心畸变,kc(1),kc(2),kc(3),kc(4),kc(5)均为非线性畸变参数,则有:根据公式(2.9),计算考虑镜头畸变后的实际像素点坐标为:此时线性模型参数αx,αy,u0,v0与非线性畸变参数kc(1),kc(2),kc(3),kc(4),kc(5)一起构成了非线性模型完整的相机内部参数;一般情况下,只考虑径向畸变就已能足够描述非线性畸变,Tsai曾指出,由于在考虑非线性畸变时对相机标定需要使用本文档来自技高网
...
单机分束双目被动立体视觉精确重构与细分拟合方法

【技术保护点】
一种单机分束双目被动立体视觉精确重构与细分拟合方法,其特征是,按照以下步骤实施:步骤1、建立相机的模型1.1)建立相机的线性针孔模型;1.2)建立相机的非线性模型;步骤2、建立相机动态对焦内部参数模型2.1)建立聚焦状态下的内部参数模型;2.2)建立离焦状态下的内部参数模型;2.3)设置标定靶;2.4)实施标定;步骤3、自适应面具的快速稠密立体匹配;步骤4、基于立体视觉的密集点云三维反求4.1)对应点精确匹配与点云反求;4.2)重建三维曲面;4.2.1)重建基于神经网络的曲面;4.2.2)重建细分曲面;4.2.2.1)重建细分曲面;4.2.2.2)误差分析与加细。

【技术特征摘要】
1.一种单机分束双目被动立体视觉精确重构与细分拟合方法,其特征是,按照以下步骤实施:步骤1、建立相机的模型1.1)建立相机的线性针孔模型;1.2)建立相机的非线性模型;步骤2、建立相机动态对焦内部参数模型2.1)建立聚焦状态下的内部参数模型;2.2)建立离焦状态下的内部参数模型;2.3)设置标定靶;2.4)实施标定;步骤3、自适应面具的快速稠密立体匹配;步骤4、基于立体视觉的密集点云三维反求4.1)对应点精确匹配与点云反求;4.2)重建三维曲面;4.2.1)重建基于神经网络的曲面;4.2.2)重建细分曲面;4.2.2.1)重建细分曲面;4.2.2.2)误差分析与加细。2.根据权利要求1所述的单机分束双目被动立体视觉精确重构与细分拟合方法,其特征是:所述的步骤1中,建立相机的模型具体过程是,1.1)建立相机的线性针孔模型针孔模型中三维点与其像的关系又称为中心射影或透视投影,由相似性可得:其中,(x,y)为投影点p的图像坐标,Xc,Yc,Zc分别为空间点P在相机坐标系下的坐标,f为成像平面到小孔的距离,用齐次坐标与矩阵表示上述透视投影关系是:相机坐标系与世界坐标系之间的关系用旋转矩阵R与平移向量t来描述,通过坐标变换,将相机坐标统一到世界坐标系中,则P点坐标与其投影点p的坐标(u,v)的关系是:其中,αx=f/dx,称为x方向的像素焦距;αy=f/dy,称为y方向的像素焦距;dx,dy则是一个像素在x轴与y轴方向上的物理尺寸;M为3×4矩阵,称为投影矩阵;M1完全由线性模型参数αx,αy,u0,v0决定,(u0,v0)称为主点;由于线性模型参数αx,αy,u0,v0只与相机内部结构有关,称这些参数为相机内部参数;M2完全由相机相对于世界坐标系的方位决定,称为相机外部参数,确定某一相机的内外参数,称为相机标定;对投影关系进行归一化,使得相机焦距等于1,代入公式(2.1)与(2.2),则归一化后的坐标应为:而透视投影值应为:公式(2.2)另外变换成以下形式:(Xc,Yc,Zc)为空间点P在相机坐标系下的坐标,对(x,y)进行坐标变换:代入公式(2.6),得:将公式(2.8)与公式(2.5)进行比较,得到归一化图像齐次坐标(xn,yn,1):根据公式(2.9),当已知相机内部参数时,即可将归一化坐标转换成实际的图像坐标;1.2)建立相机的非线性模型根据针孔成像模型,记其归一化图像坐标为令r2=x2+y2,由于考虑镜头几何畸变,新的归一化坐标xd被定义为:其中,dx为离心畸变,kc(1),kc(2),kc(3),kc(4),kc(5)均为非线性畸变参数,则有:根据公式(2.9),计算考虑镜头畸变后的实际像素点坐标为:此时线性模型参数αx,αy,u0,v0与非线性畸变参数kc(1),kc(2),kc(3),kc(4),kc(5)一起构成了非线性模型完整的相机内部参数。3.根据权利要求2所述的单机分束双目被动立体视觉精确重构与细分拟合方法,其特征是:所述的步骤2中,建立相机动态对焦内部参数模型的具体过程是,2.1)建立聚焦状态下的内部参数模型首先在对焦环上安装角度传感器,通过角度传感器来获取相机自动聚焦后对焦环所转过的角度θ,然后以该角度作为变量来驱动整个内部参数模型,通过整体平移镜头方式实现外对焦,像距与角度θ应满足线性关系:fx=A1+B1θ(3.1)fy=A2+B2θ(3.2)当对焦至无穷远时,成像平面位于焦平面上,记对焦环的旋转角度为0°,根据薄透镜公式则有:式中s为对焦距离即物距,Δx、Δy分别为x、y方向的单位像素尺寸,f为焦距,β为常数;根据Magill模型,对焦于物距s时的径向畸变系数为:其中,分别为对焦于物距s1、s2时的径向畸变系数,将公式(3.3)带入公式(3.5)得:由于公式(3.4)与(3.6)是线性的,因此kis与θ也是线性的,记作:kis=Ei+Fiθ;i=1,2,3;(3.7)2.2)建立离焦状态下的内部参数模型设物距为sp处的光线经过镜头发生径向畸变,最终成像到物距为s的对焦平面上时,由三角形相似和薄透镜公式得到离焦时的畸变系数为:其中因此,其径向畸变为:根据公式(3.8)可知,当对焦点的畸变系数为已知时,只需获得对焦点和其余像点的深度信息s与sp,再根据公式(3.3)、(3.7)计算每一点所对应的与kis,从而得到相应的畸变系数2.3)设置标定靶标定的过程即为对公式(3.1)、(3.2)、(3.3)、(3.7)、(3.8)中系数A1,B1,A2,B2,u0,v0,f,β,p1,p2,Ei,Fi;i=1,2,3的估计过程,由于一张平面标定板照片能够获得关于内部参数的两个约束条件:和假设H=[h1h2h3]为其相应的单应性矩阵,当对离焦状态下的内部参数模型进行标定时,每次拍摄都进行自动对焦,因此需要引入新的变量θ驱动的内部参数矩阵A(θ),设计互成角度的三平面立体标定靶:即把3张平面标定板拼接组合在一起,两两各成108°,能够通过对立体标定靶进行一次拍摄而获得关于相应对焦环旋转角度θ的全部内部参数解析解;2.4)实施标定具体标定过程,按照以下步骤实施:步骤1)对不同距离的立体标定靶进行自动对焦,确保对焦在标定靶上后进行拍摄采样,获取n张照片并记录相应的对焦环旋转角度θii=1,2,...,n;总共含有3n张平面标定板图,对该3n张平面标定板图进行固定参数的标定求解,获得标定结果步骤2)利用步骤1)的标定结果作为初值,分别求解这n张照片的...

【专利技术属性】
技术研发人员:杨丹
申请(专利权)人:遂昌县睿鼎科技服务有限公司
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1