一种基于视觉的铁塔倾斜角度测量方法技术

一种基于视觉的铁塔倾斜角度测量方法，本发明专利技术涉及基于视觉的铁塔倾斜角度测量方法。本发明专利技术解决现有方法测量效率低、成本高以及操作繁琐等问题。本发明专利技术包括：双目立体相机采集铁塔顺线方向的左右两幅图像；检测出左图上铁塔与绝缘子串的四个连接点P1，P2，P3，P4；计算出四个连接点在相机坐标系中的三维坐标；计算P1和P2的中点P5和P3和P4的中点P6；计算铁塔在顺线方向的倾斜角α1和横线方向的倾斜角α2；计算相机在顺线方向的倾斜角

A Method of Measuring the Inclination Angle of Tower Based on Vision

The invention relates to a method for measuring the inclination angle of a tower based on vision, and relates to a method for measuring the inclination angle of a tower based on vision. The invention solves the problems of low measuring efficiency, high cost and cumbersome operation of the existing method. The invention includes: a binocular stereo camera collects two images along the direction of the iron tower; detects four connecting points P1, P2, P3 and P4 of the iron tower and insulator string on the left map; calculates three-dimensional coordinates of the four connecting points in the camera coordinate system; calculates the midpoints P5 and P3 and P4 of P1 and P2; calculates the inclination angle alpha 1 of the iron tower along the direction of the iron tower and the inclination angle alpha 2 of the transverse direction; Calculate the inclination angle of the camera along the line

【技术实现步骤摘要】
一种基于视觉的铁塔倾斜角度测量方法
本专利技术涉及视觉检测领域，具体涉及一种基于视觉的铁塔倾斜角度测量方法。
技术介绍
为了保护电网设备，电力系统现有铁塔倾斜角度测量方法包括：1.在铁塔上安装双轴角度传感器等类似角度传感器测量；a.https://wenku.baidu.com/view/53f7ccfd04a1b0717fd5dd1a.htmlb.公开号CN103162667B2.使用北斗系统测量；a.基于北斗系统的广域范围电力铁塔高精度形变监测方法(申请号：201611104114.6)b.http://blog.sina.com.cn/s/blog_862741e10102whcp.html3.地面使用经纬仪，三维激光扫描仪测量。4.使用无人机测量铁塔上的认为设计的标志：一种基于机器视觉系统的铁塔倾斜角度自动测量方法(申请号：201710625285.1)方法1和方法2，采用铁塔上安装测量设备的方式，需要对设备进行部署、校准、通信等复杂操作，而且需要在铁塔正常使用中对设备进行多次维护，既消耗较大的人力又有比较大的风险。方法3，地面进行手动测量，仪器昂贵，操作繁琐，测量效率低。方法4，无人机方式效率较高，但需要先在铁塔上安装测量标识，无人机在飞行过程中有撞线风险综上，现有的基于机器视觉方法进行输电线杆倾斜检测的方法存在测量效率低、成本高以及操作繁琐等问题，随着人工智能技术的日益完善，计算机视觉技术作为人工智能的一个分支在近年也得到飞速的发展，智能化状态监测是现今电力系统中重要的一环，高效的监测保护电网设备在电力系统有着急迫的需求。
技术实现思路
本专利技术的目的是为了解决现有方法测量效率低、成本高以及操作繁琐等问题，而提出一种基于视觉的铁塔倾斜角度测量方法。一种基于视觉的铁塔倾斜角度测量方法，随着国民经济的发展，电力、通信网络的覆盖面积越来越广，电力输电线路和通信线路中大量使用了铁塔，如高压输电线铁塔、通信基站铁塔等。铁塔在电力输电线路与通信网络的覆盖中起到了桥梁架接的重要作用。但是，由于一些自然灾害(如雨雪、大风等)以及煤矿开采、工程施工、人为破坏等原因，造成塔体倾斜的情况时有发生。塔体倾斜经常会造成输电线路和通信网络中断，严重的将引起倒塔事件。这些都将对输电网的安全运行和通信网的正常工作造成极大威胁，给人民生命财产带来损失。因此对于铁塔倾斜角度的快速测量显得尤为重要。所述基于视觉的铁塔倾斜角度测量方法包括以下步骤：步骤1：双目立体相机采集铁塔顺线方向的左右两幅图像，同时记录当前时刻的加速度计测量值；其中，左右两幅图像是指双目相机左相机拍摄的图像和双目相机右相机拍摄的图像，并将双目相机左相机拍摄的图像简称为左图，将双目相机右相机拍摄的图像简称为右图；沿着杆塔上电线的方向叫做顺线方向，与之垂直且与地面平行的方向叫做横线方向；步骤2：使用深度学习目标检测方法检测出左图上铁塔与绝缘子串的四个连接点P1、P2、P3和P4；步骤3：使用双目视觉立体匹配方法计算出步骤2中四个连接点在相机坐标系中的三维坐标：P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)、P4(x4,y4,z4)；步骤301：以左图上Pi点为中心，确定一个像素区域，所述i＝1,2,3,4；步骤302：在与左图中点Pi(u,v)同一行位置的右图上，使用NCC方法计算处与点Pi(u,v)对应的匹配点Qi(u-d,v)，并得点Pi与点Qi的视差d，点Qi是点Pi在右图中的对应点；其中，u表示用于NCC方法计算所设的左图中点Pi的横坐标，v表示用于NCC方法计算所设的左图中点Pi的纵坐标，NCC方法是图像匹配领域中常用的方法，指通过计算两个向量相似性表示图像相似性的图像匹配算法；步骤303：计算点Pi的深度zi＝(b*fx)/d，其中fx为相机的焦距，b为双目相机的基线长度；步骤304：通过下式计算Pi点的横坐标xi和纵坐标yi，xi＝zi*(u-cx)/fx，yi＝zi*(v-cy)/fy；其中，fx、fy、cx、cy是相机内参，fx、fy都为相机的焦距，cx,cy为主光轴点坐标，一般为图像的中心，通过双目标定确定；步骤4：计算连接点P1和P2之间的中点P5(x5,y5,z5)，以及连接点P3和P4之间的中点P6(x6,y6,z6)；步骤5：根据步骤4得到的点P5和P6的三维坐标计算铁塔在顺线方向的倾斜角α1和横线方向的倾斜角α2：利用相机坐标系，计算中点P6与P5的Y轴坐标差与Z轴坐标差的比值，再将二者比值的反正切函数作为铁塔在顺线方向的倾斜角α1：α1＝arctan((y6-y5)/(z6-z5))利用相机坐标系，计算中点P6与P5的X轴坐标差与Z轴坐标差的比值，再将二者比值的反正切函数作为铁塔在横线方向的倾斜角α2，计算公式为：α2＝arctan((x6-x5)/(z6-z5))。步骤6：使用步骤1记录的加速度计测量的三个轴的加速度测量值Δx、Δy、Δz，在相机坐标系，计算加速度计在Y轴的加速度测量与在Z轴的加速度测量的比值，再将比值的反正切函数作为相机在顺线方向的倾斜角在相机坐标系，计算加速度计在X轴的加速度测量与在Z轴的加速度测量的比值，再将比值的反正切函数作为相机在横线方向的倾斜角θ：θ＝arctan(-Δx/Δz)；步骤7：根据步骤5和步骤6计算得到的值，将铁塔在顺线方向的倾斜角α1与相机在顺线方向的倾斜角的差值作为铁塔实际在顺序方向的倾斜角β1，计算公式为：将铁塔在横线方向的倾斜角α2与相机在横线方向的倾斜角θ的和作为铁塔实际在横线方向的倾斜角β2，计算公式为：β2＝α2+θ。本专利技术的有益效果为：本专利技术给出了一种基于视觉的铁塔倾斜角度测量方法，该方法基于双目立体视觉、深度学习目标检测和加速度计，本专利技术采用双目立体相机采集铁塔顺线方向的左右两幅图像，同时记录当前时刻的加速度计测量值后，使用深度学习目标检测方法检测出左图上铁塔与绝缘子串的四个连接点P1，P2，P3，P4；使用双目视觉立体匹配方法计算出四个连接点的三维坐标P1(x1,y1,z1),P2(x2,y2,z2),P3(x3,y3,z3),P4(x4,y4,z5)；计算P1和P2的中点P5(x5,y5,z5)，计算P3和P4的中点P6(x6,y6,z6)；根据P5和P6的三维坐标计算铁塔在顺线方向的倾斜角α1和横线方向的倾斜角α2；使用记录的加速度计计算相机在顺线方向的倾斜角和横线方向的倾斜角θ；计算铁塔实际在顺序方向的倾斜角和横线方向的倾斜角β2＝α2+θ。本专利技术实现了电力铁塔倾斜角度智能化检测，无需人工，提高了工作人员的操作安全性。本专利技术利用双目立体视觉、深度学习目标检测方法和加速度计，具有计算过程简单的优点，只需要采集一次铁塔图片即可计算铁塔倾斜角度，不仅降低了测量工作强度，同时提高了测量效率，降低了测量成本。附图说明图1为关键点示意图。图中1、2、3、4、5、6分别为连接点P1、P2、P3、P4、P5、P6，即关键点，7为绝缘子串，8为铁塔塔体；图2为本专利技术的方法流程图。具体实施方式具体实施方式一：本实施方式的一种基于视觉的铁塔倾斜角度测量方法，通过以下步骤实现：步骤1：双目立体相机采集铁塔顺线方向的左右两幅图像，同时记录当前时刻的加速度计本文档来自技高网...

【技术保护点】
1.一种基于视觉的铁塔倾斜角度测量方法，其特征在于：所述基于视觉的铁塔倾斜角度测量方法包括以下步骤：步骤1：双目立体相机采集铁塔顺线方向的左右两幅图像，同时记录当前时刻的加速度计测量值；其中，左右两幅图像是指双目相机左相机拍摄的图像和双目相机右相机拍摄的图像，并将双目相机左相机拍摄的图像简称为左图，将双目相机右相机拍摄的图像简称为右图；沿着杆塔上电线的方向叫做顺线方向，与之垂直且与地面平行的方向叫做横线方向；步骤2：使用深度学习目标检测方法检测出左图上铁塔与绝缘子串的四个连接点P1、P2、P3和P4；步骤3：使用双目视觉立体匹配方法计算出步骤2中四个连接点在相机坐标系中的三维坐标：P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)、P4(x4,y4,z4)；步骤4：计算连接点P1和P2之间的中点P5(x5,y5,z5)，以及连接点P3和P4之间的中点P6(x6,y6,z6)；步骤5：根据步骤4得到的点P5和P6的三维坐标计算铁塔在顺线方向的倾斜角α1和横线方向的倾斜角α2，计算过程中使用相机坐标系；步骤6：使用步骤1记录的加速度计测量值在相机坐标系中的坐标计算相机在顺线方向的倾斜角...

【技术特征摘要】
1.一种基于视觉的铁塔倾斜角度测量方法，其特征在于：所述基于视觉的铁塔倾斜角度测量方法包括以下步骤：步骤1：双目立体相机采集铁塔顺线方向的左右两幅图像，同时记录当前时刻的加速度计测量值；其中，左右两幅图像是指双目相机左相机拍摄的图像和双目相机右相机拍摄的图像，并将双目相机左相机拍摄的图像简称为左图，将双目相机右相机拍摄的图像简称为右图；沿着杆塔上电线的方向叫做顺线方向，与之垂直且与地面平行的方向叫做横线方向；步骤2：使用深度学习目标检测方法检测出左图上铁塔与绝缘子串的四个连接点P1、P2、P3和P4；步骤3：使用双目视觉立体匹配方法计算出步骤2中四个连接点在相机坐标系中的三维坐标：P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)、P4(x4,y4,z4)；步骤4：计算连接点P1和P2之间的中点P5(x5,y5,z5)，以及连接点P3和P4之间的中点P6(x6,y6,z6)；步骤5：根据步骤4得到的点P5和P6的三维坐标计算铁塔在顺线方向的倾斜角α1和横线方向的倾斜角α2，计算过程中使用相机坐标系；步骤6：使用步骤1记录的加速度计测量值在相机坐标系中的坐标计算相机在顺线方向的倾斜角和横线方向的倾斜角θ，计算过程中使用相机坐标系；步骤7：根据步骤5和步骤6计算铁塔实际在顺序方向的倾斜角β1和横线方向的倾斜角β2。2.根据权利要求1所述一种基于视觉的铁塔倾斜角度测量方法，其特征在于：所述步骤2中使用深度学习目标检测方法检测出左图上铁塔与绝缘子串的四个连接点P1、P2、P3和P4的具体过程为：步骤201：采集铁塔图片数据；步骤202：标记铁塔与绝缘子串的四个连接点；步骤203：使用深度学习神经网络与标定数据训练生成最终的深度神经网络模型；步骤204：将左图输入步骤203生成的深度神经网络模型中，输出四个连接点P1、P2、P3和P4。3.根据权利要求1或2所述一种基于视觉的铁塔倾斜角度测量方法，其特征在于：所述步骤3中使用双目视觉立体匹配方法计算出步骤2中四个连接点在相机坐标系中的三维坐标：P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)、P4(x4,y4,z4)的具体过程为：步骤301：以左图上Pi点为中心，确定一个像素区域，所述i＝1,2,3,4；步骤302：在与左图中点Pi(u,v)同一行位置的右图上，计算与点Pi(u,v)对应的匹配点Qi(u-d,v)，并得点Pi与点Qi的视差d，点Qi是点Pi在右图中的对应点；其中，u...

【专利技术属性】
技术研发人员：王孝余，李丹丹，尚方，刘生，宋杭选，龙学军，罗军，
申请(专利权)人：国网黑龙江省电力有限公司电力科学研究院，国家电网有限公司，
类型：发明
国别省市：黑龙江,23