导轨单目立体视觉矿区井架变形监测方法技术

发明专利技术公开了一种导轨单目立体视觉的矿区井架变形监测方法(本发明专利技术以塔型井架单绳天轮为例)，提出了基于平面标定板和二维共线条件方程的CE平面标定法，基于单张以上图像利用约束最小二乘平差直接求解内外方位元素和畸变参数。其次，通过导轨装置可使高速相机在导轨滑块上自由滑动并拍摄矿区井架及天轮标志点(含控制点和监测点)图像，利用多期连续拍摄图像或视频图像对标志点进行矿区井架及天轮标志点的虚拟立体视觉三维重建，并提出了矿区井架及天轮视觉变形监测方法和基于变形信息的井架倾斜率和天轮纵横向偏摆计算方法。本发明专利技术方法，具有检测工具结构简单、携带方便、成本低、非接触式面监测效率高，有效地解决了矿区井架及天轮变形监测问题。

Method for monitoring deformation of coal mine derrick with Monocular Stereo Vision

The invention discloses a rail Monocular Stereo Vision mining derrick deformation monitoring method (the tower type derrick single rope sheave for example), the calibration method CE plane calibration plate and two-dimensional collinear equation based on single image using constrained least squares above adjustment to directly solve the internal and external orientation elements and distortion based on the parameters. Secondly, through the guide rail device can make high-speed camera in the slide block slide freely and shoot mine derrick and sheave marks (including control point and monitoring point) images, continuous shooting images or video images of the mark points of the mining derrick and sheave sign 3D reconstruction of virtual stereo vision points using the multi period, and puts forward the mine derrick and the wheel visual method of deformation monitoring and deformation information of the derrick slope and vertical wheel deflection calculation method based on. The method of the invention has the advantages of simple structure, convenient detection tools, low cost, non contact type high efficiency monitoring, monitoring of derrick and mine deformation effectively resolves the sheave.

【技术实现步骤摘要】
导轨单目立体视觉矿区井架变形监测方法
本专利技术涉及煤炭开采矿区井架变形监测领域，尤其是涉及一种导轨单目立体视觉的矿区井架变形监测装置及方法。
技术介绍
煤炭矿区井架按材料分为钢制井架和钢筋混凝土井架(本专利以塔型井架为例)，由于井架的自重过大，在使用过程中的附加荷载、地下水位的升降、地下水对井架基础的侵蚀等因素都可能导致井架的倾斜与变形。无论塔型井架主体发生倾斜或天轮发生倾斜(水平偏移和垂直偏移分别造成横向偏摆和纵向偏摆)都可能导致提升用钢丝绳脱落，从而导致罐笼坠落井底，造成人员伤亡和设备损伤。因此，如何开展井架及天轮变形监测是煤矿安全生产中一项十分重要的工作。目前，矿区井架变形监测手段主要有位移传感器、全站仪、测量机器人、三维激光扫描仪和GPS等。其中，位移传感器需提前埋设(中国专利技术专利文件CN02138850.4，一种矿山井架安全自动监测方法及装置)，且单点监测系统可靠性低；传统全站仪自动化程度低，且不满足非接触式危险区变形监测要求；测量机器人和三维激光扫描技术自动化程度较高但成本昂贵；GPS具有全天候自动化程度高但卫星信号受矿区井架遮挡严重。因此，近景摄影测量和立体视觉技术以非接触性、测量精度高、可连续测量、测量瞬时完成等特点被逐步应用于三维重建等领域。按照视觉摄像头个数，主要分为单目视觉，双目及多目视觉。单目视觉装置要求简单，但缺乏深度信息难以进行三维重建；双目及多目视觉三维重建精度高，但存在装置结构复杂、成本较高以及立体标定鲁棒性难保证等不足。例如，中国专利技术专利文件《一种基于多目视觉的桥梁三维变形监测方法》(专利号CN201110038782.4)，必须对多个视觉摄像头进行立体标定，且要求多个视觉摄像头位姿关系保持不变，结构复杂成本高且不便于外业携带。中国专利技术专利文件《基于视觉的物体倾斜位移沉降变形监测系统》(专利号CN201220358005.8)、《一种基于运动图像的危岩变形信息提取及报警方法》(专利号CN201510214600.2)，采用单目视觉帧间差分原理获取变形信息，无法进行三维重建且变形信息提取受限于光照影响。
技术实现思路
本专利技术针对上述现有技术的缺点与不足，提出了一种导轨单目立体视觉的矿区井架变形监测装置，其结构简单、便于携带并能够快速地完成立体视觉三维重建和变形量估计。本专利技术实现专利技术目的的基本思路是：(1)CE平面标定方法求解内外方位元素和畸变模型参数。CE平面标定法的标定装置为三个等长基准尺组成的正三角形标定板并固定在三脚架上。建立世界坐标系：三角形标定板中平放基准尺左端为原点，平放基准尺右端指向为X轴正向，标定板平面内与X轴垂直向上方向为Y轴，三角形标定板上共有12个标志点，自原点起始标志点依次编号1,2，……，12，同一基准尺相邻标志点间隔为ΔL，各标志点的世界坐标分别为：(0,0)，(ΔL,0)，(2ΔL,0)，(3ΔL,0)，(4ΔL,0)，本专利基于该标定装置提出了一种二维共线条件方程(CollinearityEquations)和平面标定板相结合的快捷标定方法(简称CE平面标定方法)。基于平面标定板建立世界坐标系或物方坐标系，获得的标志点世界坐标或物方坐标记为(X,Y)，获得的平面标定板上标志点的像点坐标记为(x,y)。设图像畸变量为(Δx,Δy)，内方位元素记为(x0,y0,-f)，外方位元素包括摄站物方坐标Xs,Ys,Zs和姿态矩阵元素a1,b1,c1,a2,b2,c2,a3,b3,c3。顾及姿态矩阵元素满足，c1＝a2b3-a3b2，c2＝a3b1-a1b3，c3＝a1b2-a2b1，引入摄站物方坐标的姿态矩阵变换坐标γ1＝-(a1XS+b1YS+c1ZS)，γ2＝-(a2XS+b2YS+c2ZS)，γ3＝-(a3XS+b3YS+c3ZS)，则基于共线条件方程(Z＝0)建立关于内方位元素(x0,y0,-f)和新的外方位元素a1,b1,a2,b2,a3,b3,γ1,γ2,γ3及畸变(Δx,Δy)的CE平面标定方法，基本原理如下求解上述方程中涉及的内外方位元素畸变模型参数，采用两步法进行估计，步骤一和步骤二的具体思路和方法分别如下：步骤一：在不考虑畸变量的情况下，设内方位元素(x0,y0,-f)初值已知，将二维共线条件方程式(1)等式两端同时乘以a3X+b3Y+γ3，则可建立关于外方位元素的误差方程，同时顾及式(2)姿态矩阵的正交性约束，利用约束最小二乘平差估计外方位元素的近似值；步骤二：则进一步考虑畸变量的情况，考虑径向畸变和切向畸变，利用获得外方位元素作为初值，基于二维共线条件方程式(1)，建立关于内方位元素(x0,y0,-f)和新的外方位元素a1,b1,a2,b2,a3,b3,γ1,γ2,γ3及畸变(Δx,Δy)，同时考虑式(2)姿态矩阵的正交性约束，利用约束最小二乘平差求解出内外方位元素和畸变模型参数。应用该方法进行标定可知，对于单张图像，标定的像点对为m，则利用该方法可列2m+3个方程，待求参数为12(不含畸变)，需要5对像点即可完成标定；若考虑径向和切向3参数畸变模型，待求参数为15，则需要6对像点完成标定工作；对于n张图像、m个标定像点对/图像(顾及移动标定板或移动摄像站位置拍摄，即考虑外方位元素变化、其他参数不变)，可列(2m+3)n个方程，不含畸变时的待求参数为3+9n、含畸变时的待求参数为6+9n。因此，当n＝4时，m≥2(不含畸变)、m≥3(含畸变)。(2)虚拟立体视觉矿区井架变形监测基于导轨的单目立体视觉变形监测装置(简称虚拟立体视觉变形监测装置)，由带刻度尺的水平滑轨、滑块及高速工业相机构成。滑轨安置在三脚架上，滑块上安装云台，高速工业相机安装在云台上，通过控制滑块可使高速相机在滑轨上自由滑动。滑块底部安有指针，指向滑道的刻度读数，通过图像识别读取滑块底部的指针在刻度上的读数。本专利基于该变形监测装置提出了一种快速三维重建和变形估计方法。设高速相机导轨刻度由小到大方向为X轴正向，垂直于导轨平面朝下方为Y轴正向，Z轴与X轴、Y轴满足右手准则，建立以高速相机位于导轨零刻度时的透镜中心为坐标原点的变形监测坐标系，则待测点或标志点P的三维坐标记为将高速相机拍摄第i张图像时的导轨刻度记为Ti(i＝1,2,3…n)，同名标志点P的像平面坐标记为(xi,yi)。由此，利用高速相机在拍摄第i-1张和第i张图像时的导轨刻度Ti-1,Ti和同名标志点像点坐标(xi-1,yi-1),(xi,yi)，同时顾及高速相机沿导轨运动时姿态矩阵不变，可得虚拟立体视觉三维重建原理如下矿区井架结构的虚拟立体视觉变形监测方法包括两个步骤：虚拟立体视觉三维重建和矿区井架变形监测。步骤一：基于导轨的单目立体视觉三维重建。(a)控制高速相机在滑轨上从左到右运动，运动过程中拍摄n张图像，滑块底部指针初始指向零刻度，在不同位置时的刻度读数记为Ti(i＝1,2,3…n)；(b)高速相机在第i-1，i，i+1张图像中的同名点P的像平面坐标分为(xi-1,yi-1)，(xi,yi)和(xi+1,yi+1)。根据本专利的三维重建方法列立误差方程和(c)基于高速相机拍摄的第i-1，i，i+1张共3张图像，可联立两个误差方程，推导Li-,Li+的联合权阵P，利用加权最小二乘估计方法本文档来自技高网...

【技术保护点】
一种导轨单目立体视觉矿区井架变形监测方法，其步骤是：步骤一、CE平面标定法标定内外方位元素和畸变模型参数1、CE平面标定法的标定装置为三个等长基准尺组成的正三角形标定板并固定在三脚架上；建立世界坐标系：三角形标定板中平放基准尺左端为原点，平放基准尺右端指向为X轴正向，标定板平面内与X轴垂直向上方向为Y轴，三角形标定板上共有12个标志点，自原点起始标志点依次编号1,2，……，12，同一基准尺相邻标志点间隔为ΔL，各标志点的世界坐标分别为：(0,0)，(ΔL,0)，(2ΔL,0)，(3ΔL,0)，(4ΔL,0)，

【技术特征摘要】
1.一种导轨单目立体视觉矿区井架变形监测方法，其步骤是：步骤一、CE平面标定法标定内外方位元素和畸变模型参数1、CE平面标定法的标定装置为三个等长基准尺组成的正三角形标定板并固定在三脚架上；建立世界坐标系：三角形标定板中平放基准尺左端为原点，平放基准尺右端指向为X轴正向，标定板平面内与X轴垂直向上方向为Y轴，三角形标定板上共有12个标志点，自原点起始标志点依次编号1,2，……，12，同一基准尺相邻标志点间隔为ΔL，各标志点的世界坐标分别为：(0,0)，(ΔL,0)，(2ΔL,0)，(3ΔL,0)，(4ΔL,0)，2、CE平面标定法标定内外方位元素和畸变模型参数：(a)标志点识别通过对高速相机拍摄的标定板图像进行灰度化、二值化、边缘提取，利用边缘点的一系列像素坐标(xe,ye)来拟合椭圆，椭圆可以用圆锥曲线方程的代数形式表示从而计算出图像中椭圆的中心位置(x,y)，即为上述12个平面标定板标志点的物方坐标(X,Y)一一对应的像点坐标(x,y)；(b)取图像中心坐标为像主点(x0,y0)的初值、畸变量(Δx,Δy)初值为零、高速相机镜头出厂标称值为焦距f的初值，建立a1,b1,c1,a2,b2,c2,a3,b3,c3和Xs,Ys,Zs为外方位元素的误差方程式中，γ1＝-(a1XS+b1YS+c1ZS)，γ2＝-(a2XS+b2YS+c2ZS)，γ3＝-(a3XS+b3YS+c3ZS)；(c)根据旋转矩阵的单位正交性，建立以下约束方程(d)通过约束最小二乘平差可估计外方位元素a1,b1,c1,a2,b2,c2,a3,b3,c3和Xs,Ys,Zs；(e)进一步考虑径向畸变和切向畸变3参数模型，利用获得外方位元素作为初值，进行内外方位元素优化估计，建立误差方程为式中，k1为径向畸变系数，p1,p2为切向畸变系数，A＝a3X+b3Y+γ3；(f)根据旋转矩阵的单位正交性，建立以下约束方程(g)通过约束最小二乘平差可以求解出畸变系数k1,p1,p2，内方位元素(x0,y0)和f，外方位元素a1,b1,c1,a2,b2,c2,a3,b3,c3和Xs,Ys,Zs；步骤二、虚拟立体视觉三维重建(a)控制高速相机在滑块上从左到右在带零刻度的滑轨上匀速滑动，高速相机初始位置滑块底部指针指向零刻度，间隔时间t进行一次拍摄，直到滑块滑到滑道最右端，完成本次虚拟立体视觉监测过程；(b)通过图像识别出每张图像中滑块底部指针指向滑轨刻度的读数Ti，i＝1,2，……,n；(c)对拍摄到的n张图像，特征提取并匹配标志点...

【专利技术属性】
技术研发人员：刘志平，杨磊，李桂南，查剑锋，郭广礼，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32