基于立体视觉的隧道限界数据测量方法技术

本发明专利技术提供了一种基于立体视觉的隧道限界数据测量方法，设计铁路隧道检测车，相对坐标系建立与标定，通过激光带图像预处理，并进行立体矫正、光带匹配和三维计算后，将坐标系进行转换，通过车体位姿估计系统测量出来的旋转平移矩阵对结果进行修正，并利用插值得到标准限界数据。本发明专利技术能够在同一时间获取大范围密集的断面数据，具有效率高、探测范围广的优点，具有良好的环境鲁棒性；能够更加高效地获取同一隧道多个断面的数据，提高了最终限界结果的精度；大幅度减少了双目计算过程中立体匹配所需计算代价，进一步提高了限界数据计算结果的准确性，同时提供了在极低照度下进行限界数据测量的能力。

Measurement method of tunnel clearance data based on stereo vision

【技术实现步骤摘要】
基于立体视觉的隧道限界数据测量方法
本专利技术涉及到图像处理、计算机视觉和隧道限界检测领域，尤其是一种隧道限界数据测量方法。
技术介绍
随着我国经济的迅猛发展，铁路运输在国民经济发展中起到了举足轻重的作用，而隧道是铁路运输中常见的路段。一方面，中国是地质灾害多发国家，大雨、山洪等自然灾害对隧道的侵入严重威胁到铁路交通的安全。如不能及时掌握有关限界信息，就有可能发生危及行车安全的重大事故。另一方面，随着铁路大件运输需求量的不断加大，超限货物运输带来的安全隐患不容忽视，需要周期性地管理与更新限界数据，用以保障货物运输安全。因此及时掌握隧道的限界数据对生产生活的安全开展意义重大。早期常使用断面仪来进行限界数据的精确测量，它采用无合作目标的激光测距技术和精密测角技术，将极坐标测量方法与计算机技术结合，能够得到高精度的限界数据，但是它也存在着严重的缺陷，一方面，由于需要人工操作的原因，很容易造成偶然误差，另一方面，不能够在同一时间得到密集、大范围的限界数据，测量效率较低。近年来，众多学者对如何更加高效地测量限界数据展开了广泛的研究。孙洪茂等人利用3D技术实时生成3D空间图像，并通过几何运算，对限界结果进行检测，这种检测方式由于直接作用于所摄多个断面的3D点云，导致计算代价巨大，并且只能识别出是否有侵限目标，并不能提供准确的断面数据，另外由于缺少主动光源，导致结果与环境因素高度耦合。丁道祥等人利用装配在车身的环形单目摄像机连续摄取投射在隧道壁的激光光带图像，实现动态断面数据采集，并通过电视测量原理对结果进行计算，这样本质上是对距离进行测量，因此需要激光光带保持在同一断面，不能保证结果的准确性，同时其测量范围有限，工作时间限制在夜间。
技术实现思路
为了克服现有技术的不足，本专利技术提供一种基于立体视觉的隧道限界数据测量方法。为了克服现有技术存在的精度低、效率低的问题，本专利技术提供了一种检测效率高、精度良好、并能够适用于高速运动下进行动态断面数据测量的铁路隧道限界数据测量方法。本专利技术解决其技术问题所采用的技术方案包括以下步骤：S1：设计搭载有主动光源、双目摄像机组、车体姿态估计系统的铁路隧道检测车，使其具有利用视觉系统进行限界数据动态采集的能力；主动光源为近红外光源，双目摄像机组均匀环绕布置在车身周围，车体姿态估计系统为双目摄像机组，利用立体视觉方法，测算铁轨三维结果，与标准轨文件进行对比，估计；S2：相对坐标系建立与标定；构建图像像素坐标系、图像物理坐标系与摄像机坐标系，利用坐标点的齐次表示，建立由图像空间到三维空间的投影转换关系，同时构建摄像机畸变模型与摄像机间外参内联模型；构建轨平面分中坐标系，建立摄像机坐标系到轨平面分中坐标系的外参转换关系；通过标定方法对已有的模型参数进行估计；具体步骤如下：S2.1：基于齐次坐标系下的摄像机投影模型；以双目摄像机组左摄像机为基准点，构建摄像机坐标系下空间点坐标(Xc,Yc,Zc)T与对应图像物理坐标系下二维坐标点(x,y,1)T的透视投影变换模型：其中f为物理焦距；根据摄像机成像模型，构建图像物理坐标系下坐标点(x,y,1)T到图像像素坐标系对应坐标点(u,v,1)T的转换关系：其中dx,dy为像元尺寸，cx,cy为x,y方向上的主点偏移；联立(1)，(2)，构建摄像机坐标系下空间点坐标(Xc,Yc,Zc)T与对应图像平面像素齐次坐标(u,v,1)T的内参映射关系：其中fx＝f/dx,fy＝f/dy分别为x,y尺度上的像素焦距；将世界坐标系的XOY平面设置为标定物平面，则标定物平面即为Z＝0的平面，构建像素坐标(u,v,1)T到世界点坐标(Xw,Yw,0,1)T的投影变换关系：其中R＝[r1r2r3]为旋转矩阵，t为平移向量；S2.2：建立透镜畸变模型；摄像机所摄图像分为径向和切向畸变；径向畸变是由于透镜的制造工艺导致，且其畸变程度与距离透镜边缘距离耦合，对于图像物理坐标系下二维点(x,y)，建立以下模型，对径向畸变后的坐标点(xdistorted,ydistorted)进行描述：其中k1,k2,k3为径向畸变因子；切向畸变是由于透镜和CMOS或者CCD的安装位置误差导致，对于图像物理坐标系下二维点(x,y)，建立以下模型，对径向畸变后的坐标点(xdistorted,ydistorted)进行描述：其中p1,p2为切向畸变因子；因此，联立(3)、(4)，建立以下数学关系对整个畸变模型进行描述：其中r2＝x2+y2；S2.3：建立双目摄像机组的外参内联模型；定义左摄像机标定后的外参为Rl,Tl，右摄像机标定后的外参为Rr,Tr，构建双目摄像机组中两摄像机平面的外参转换关系R,T：S2.4：建立双目系统到轨平面分中坐标系的外参模型；通过离线标定此外参转换关系，获得双目计算在轨平面分中坐标系下的结果；以车体所在轨面中心为原点，面向生活区，水平左侧为y轴正向，高度方向为x轴，车体运动方向为z轴正向建立轨平面分中坐标系，并构建双目坐标系下三维点(Xc,Yc,Zc,1)T到轨平面分中坐标系(Xw,Yw,Zw,1)T的外参转换关系Rz,Tz：所有在双目摄像机组坐标系下计算出的断面数据，均需要转换到轨平面分中坐标系下进行再次计算和融合；S2.5：模型参数标定；利用标定方法，对建立的模型参数进行估计：首先通过张氏标定法，利用不同姿态下的红外灯标定板图像，计算出每组双目摄像机的各自内参Kl与Kr，每个摄像机的畸变参数(k1,k2,k3,p1,p2)，以及摄像机之间的转换关系R、T；再通过人工断面仪测量结果与双目计算结果形成的数据对，计算出每个车身摄像机组到轨平面分中坐标系下的Rz,Tz，同时利用水平仪测量数据与双目数据的映射关系，通过最小二乘法，计算出每个车底摄像机组到轨平面分中坐标系下的Rz,Tz，最终形成整个铁路断面检测系统的标定文件；S3：激光带图像预处理；在对图像数据进行计算之前，按序进行图像矫正、图像增强、图像边缘检测和检测光带中心的预处理操作；其中图像矫正是利用标定好的畸变参数对每个摄像机拍摄到的图像进行矫正，对于非畸变图像的每个像素点(u,v,1)T，首先利用公式(3)的转换关系计算出其在图像物理坐标系下的坐标(x,y,1)T：再对得到的坐标利用畸变模型计算畸变后的点在图像物理坐标系下的坐标(xd,yd,1)：最后将畸变后的点转换到像素坐标系下，得到在畸变图像上对应的点(ud,vd,1)：因为像素点是整数点，因此计算出来的坐标必须做插值处理，得到最终的整数坐标(ud,vd,1)，在已知畸变图像的前提下，对于非畸变图像上每个点(u,v,1)，都能在非畸变图像上找到对应的点(ud,vd,1)，即能完成对畸变图像的矫正；S4：立本文档来自技高网...

【技术保护点】
1.一种基于立体视觉的隧道限界数据测量方法，其特征在于包括下述步骤：/nS1：设计搭载有主动光源、双目摄像机组、车体姿态估计系统的铁路隧道检测车，使其具有利用视觉系统进行限界数据动态采集的能力；/n主动光源为近红外光源，双目摄像机组均匀环绕布置在车身周围，车体姿态估计系统为双目摄像机组，利用立体视觉方法，测算铁轨三维结果，与标准轨文件进行对比，估计；/nS2：相对坐标系建立与标定；/n构建图像像素坐标系、图像物理坐标系与摄像机坐标系，利用坐标点的齐次表示，建立由图像空间到三维空间的投影转换关系，同时构建摄像机畸变模型与摄像机间外参内联模型；构建轨平面分中坐标系，建立摄像机坐标系到轨平面分中坐标系的外参转换关系；通过标定方法对已有的模型参数进行估计；具体步骤如下：/nS2.1：基于齐次坐标系下的摄像机投影模型；/n以双目摄像机组左摄像机为基准点，构建摄像机坐标系下空间点坐标(X

【技术特征摘要】
1.一种基于立体视觉的隧道限界数据测量方法，其特征在于包括下述步骤：
S1：设计搭载有主动光源、双目摄像机组、车体姿态估计系统的铁路隧道检测车，使其具有利用视觉系统进行限界数据动态采集的能力；
主动光源为近红外光源，双目摄像机组均匀环绕布置在车身周围，车体姿态估计系统为双目摄像机组，利用立体视觉方法，测算铁轨三维结果，与标准轨文件进行对比，估计；
S2：相对坐标系建立与标定；
构建图像像素坐标系、图像物理坐标系与摄像机坐标系，利用坐标点的齐次表示，建立由图像空间到三维空间的投影转换关系，同时构建摄像机畸变模型与摄像机间外参内联模型；构建轨平面分中坐标系，建立摄像机坐标系到轨平面分中坐标系的外参转换关系；通过标定方法对已有的模型参数进行估计；具体步骤如下：
S2.1：基于齐次坐标系下的摄像机投影模型；
以双目摄像机组左摄像机为基准点，构建摄像机坐标系下空间点坐标(Xc,Yc,Zc)T与对应图像物理坐标系下二维坐标点(x,y,1)T的透视投影变换模型：



其中f为物理焦距；
根据摄像机成像模型，构建图像物理坐标系下坐标点(x,y,1)T到图像像素坐标系对应坐标点(u,v,1)T的转换关系：



其中dx,dy为像元尺寸，cx,cy为x,y方向上的主点偏移；
联立(1)，(2)，构建摄像机坐标系下空间点坐标(Xc,Yc,Zc)T与对应图像平面像素齐次坐标(u,v,1)T的内参映射关系：



其中fx＝f/dx,fy＝f/dy分别为x,y尺度上的像素焦距；将世界坐标系的XOY平面设置为标定物平面，则标定物平面即为Z＝0的平面，构建像素坐标(u,v,1)T到世界点坐标(Xw,Yw,0,1)T的投影变换关系：



其中R＝[r1r2r3]为旋转矩阵，t为平移向量；
S2.2：建立透镜畸变模型；
摄像机所摄图像分为径向和切向畸变；径向畸变是由于透镜的制造工艺导致，且其畸变程度与距离透镜边缘距离耦合，对于图像物理坐标系下二维点(x,y)，建立以下模型，对径向畸变后的坐标点(xdistorted,ydistorted)进行描述：



其中k1,k2,k3为径向畸变因子；
切向畸变是由于透镜和CMOS或者CCD的安装位置误差导致，对于图像物理坐标系下二维点(x,y)，建立以下模型，对径向畸变后的坐标点(xdistorted,ydistorted)进行描述：



其中p1,p2为切向畸变因子；
因此，联立(3)、(4)，建立以下数学关系对整个畸变模型进行描述：



其中r2＝x2+y2；
S2.3：建立双目摄像机组的外参内联模型；
定义左摄像机标定后的外参为Rl,Tl，右摄像机标定后的外参为Rr,Tr，构建双目摄像机组中两摄像机平面的外参转换关系R,T：



S2.4：建立双目系统到轨平面分中坐标系的外参模型；
通过离线标定此外参转换关系，获得双目计算在轨平面分中坐标系下的结果；以车体所在轨面中心为原点，面向生活区，水平左侧为y轴正向，高度方向为x轴，车体运动方向为z轴正向建立轨平面分中坐标系，并构建双目坐标系下三维点(Xc,Yc,Zc,1)T到轨平面分中坐标系(Xw,Yw,Zw,1)T的外参转换关系Rz,Tz：



所有在双目摄像机组坐标系下计算出的断面数据，均需要转换到轨平面分中坐标系下进行再次计算和融合；
S2.5：模型参数标定；
利用标定方法，对建立的模型参数进行估计：首先通过张氏标定法，利用不同姿态下的红外灯标定板图像，计算出每组双目摄像机的各自内参Kl与Kr，每个摄像机的畸变参数(k1,k2,k3,p1,p2)，以及摄像机之间的转换关系R、T；再通过人工断面仪测量结果与双目计算结果形成的数据对，计算出每个车身摄像机组到轨平面分中坐标系下的Rz,Tz，同时利用水平仪测量数据与双目数据的映射关系，通过最小二乘法，计算出每个车底摄像机组到轨平面分中坐标系下的Rz,Tz，最终形成整个铁路断面检测系统的标定文件；

【专利技术属性】
技术研发人员：王庆，郑江滨，盛世勇，安天平，裴宏波，李红心，周果清，王雪，
申请(专利权)人：西北工业大学，中国铁路兰州局集团有限公司，
类型：发明
国别省市：陕西;61