【技术实现步骤摘要】
本专利技术涉及桥梁病害区域检测，特别地，涉及一种基于无人机和神经网络的桥梁病害区域的三维定位方法及系统。
技术介绍
1、随着桥梁服役年限的增加，桥梁表观病害(裂缝、剥落、蜂窝麻面、露筋等)对桥梁承载能力和结构稳定性的影像会逐渐增大。桥梁表观病害巡检应定期进行，为制定桥梁养护方案提供依据。目前桥梁表观检测主要依赖于人工检测，例如桥梁的表观病害的检测过程需由工作人员进行病害测量然后记录。这种方法效率低下、耗时长、成本高，且人工检测受环境及检测人员职业技术素养等因素影响较大，检测结果存在不确定性。
2、虽然无人机技术和一些智能识别算法已开始应用于桥梁表观巡检中，但尚未形成一套完整的技术体系，且无法实现桥梁表观病害在桥梁三维模型上的精确定位。本申请提出了一种基于无人机和机器视觉的桥梁病害区域的三维定位方法及系统，实现了桥梁病害区域的智能识别和在整个桥梁三维模型上的精确定位，从而可通过所述桥梁三维模型直观地展示全桥的病害分布情况。
技术实现思路
1、针对现有技术存在的不足，本专利技术目的是提供一种基于无人机和神经网络的桥梁病害区域的三维定位方法，通过该种方法，提高了巡检工作的效率和信息化程度，降低了巡检工作的风险，实现了桥梁表观病害的智能识别和精确的三维定位。
2、为了实现上述目的，本专利技术是通过如下的技术方案来实现：一种基于无人机和神经网络的桥梁病害区域的三维定位方法，包括以下步骤：
3、步骤1：通过无人机上的相机对待检测桥梁进行航拍，采集桥梁的多个低
4、步骤2：无人机根据所述巡检路径进行飞行，并在多个视点处采集桥梁的多个高分辨率图像；通过三维重建算法将多个高分辨图像生成第二桥梁三维模型；
5、步骤3：将所述高分辨率图像输入到训练好的神经网络中，以识别所述高分辨图像中的病害区域；通过多边形拟合算法拟合每个病害区域的边界，并基于像素坐标系确定每个病害区域的边界坐标pi(u,v)，每个病害区域的边界由多个边界坐标pi(u,v)来表示，下标i表示坐标的序号；
6、步骤4：将病害区域的多个边界坐标pi(u,v)映射到第二桥梁三维模型上，以实现病害区域的边界在所述第二桥梁三维模型上的定位。
7、进一步地，所述步骤4具体为：
8、步骤4.1：通过增量式运动恢复结构算法计算步骤2获得的多个高分辨图像间的旋转矩阵r和平移矩阵t，将第二桥梁三维模型、图像间的旋转矩阵r、平移矩阵t放置于同一个坐标系下，完成整个巡检场景恢复，此时平移矩阵t为相机光心的坐标；采用如下公式(1)将像素坐标系下的病害边界坐标pi(u,v)转为世界坐标pw(xw,yw,zw)，下标w为坐标的序号；
9、
10、其中，f、dx、dy、u0、v0为无人机的相机镜头的焦距、物理像素长度、物理像素宽度、成像平面中心横坐标、成像平面中心纵坐标；q为物距参数，表示相机光心到所拍摄点的距离；
11、步骤4.2:通过做从相机光心的坐标t朝向世界坐标pw的射线l(s)，计算l(s)的起点和方向向量，射线l(s)参见如下公式(2)：
12、l(s)＝s*(pw-t)+t (2)；
13、其中，s表示一个实数，表示从相机光心的坐标t出发沿着射线方向移动的设定距离；计算射线l(s)与第二桥梁三维模型的交点pr(xr,yr,zr)，下标r为坐标的序号；pr(xr,yr,zr)即为病害区域的边界在第二桥梁三维模型上的坐标，以此实现病害区域的边界在第二桥梁三维模型上的定位。
14、进一步地，所述计算射线l(s)与第二桥梁三维模型的交点pr(xr,yr,zr)，具体为：
15、提取第二桥梁三维模型的所有三维顶点坐标，构成三维顶点坐标集合a，将所述三维顶点坐标集合a与相机光心的坐标t投影至与射线l(s)垂直的平面上，投影后得到对应的平面坐标集a'、平面坐标t'，平面坐标集合a'中的坐标与三维顶点坐标集合a中的坐标一一对应，寻找平面坐标集a'中位于t'设定半径邻域中的点集d'；点集d'对应三维顶点坐标集合a中的子集d，求得子集d中离相机光心距离最近的三维顶点坐标，该三维顶点坐标即为射线l(s)与第二桥梁三维模型的交点pr(xr,yr,zr)。
16、进一步地，所述神经网络可以为语义分割网络。
17、进一步地，通过语义分割网络识别病害区域后，可对病害区域进行离散噪点去除。
18、进一步地，所述方法还包括：步骤5：可通过bim建模软件，根据病害区域在第二桥梁三维模型上的定位，将病害区域绘制在第二桥梁三维模型上。
19、本申请还提出了一种基于无人机和神经网络的桥梁病害区域的三维定位系统，所述系统包括无人机、处理器、存储器，其特征在于，所述存储器存储有计算机可执行指令，所述处理器执行所述指令时实现上述任意一个实施例所述方法的步骤。
20、本专利技术的有益效果：(1)本专利技术首先通过无人机对待检测桥梁进行拍摄，生成第一桥梁三维模型，根据第一桥梁三维模型规划巡检路径和多个视点，无人机在多个视点处拍摄桥梁的高分辨率图像，以建立第二桥梁三维模型和识别桥梁中的病害区域。通过该种方式建立的第二桥梁三维模型和获取到的高分辨率图像，能确保无死角地采集到桥梁表面的所有信息，防止遗漏病害区域，且建立的第二桥梁三维模型精度更高，更有利于实现病害区域的精确定位。
21、(2)本专利技术通过神经网络对采集到的高分辨率图像进行病害区域的识别，并通过多边形拟合算法确定每个病害区域的边界，通过步骤4.1和步骤4.2建立了图片二维点与模型三维点的映射关系，以此实现了病害区域在第二桥梁三维模型上的精确的三维定位。该种三维定位方法相比于现有技术中的其它三维定位方法，具有更高的精确性，使得工作人员能直观地从桥梁三维模型上看到病害区域的分布。
本文档来自技高网...【技术保护点】
1.一种基于无人机和神经网络的桥梁病害区域的三维定位方法，包括以下步骤：
2.根据权利要求1所述的基于无人机和神经网络的桥梁病害区域的三维定位方法，所述步骤4具体为：
3.根据权利要求2所述的基于无人机和神经网络的桥梁病害区域的三维定位方法，所述计算射线L(s)与第二桥梁三维模型的交点Pr(xr,yr,zr)，具体为：
4.根据权利要求1所述的基于无人机和神经网络的桥梁病害区域的三维定位方法，所述神经网络可以为语义分割网络。
5.根据权利要求1所述的基于无人机和神经网络的桥梁病害区域的三维定位方法，通过语义分割网络识别病害区域后，可对病害区域进行离散噪点去除，然后再通过多边形拟合算法拟合每个病害区域的边界。
6.根据权利要求1所述的基于无人机和神经网络的桥梁病害区域的三维定位方法，所述方法还包括：步骤5：可通过BIM建模软件，根据病害区域在第二桥梁三维模型上的定位，将病害区域绘制在第二桥梁三维模型上。
7.一种基于无人机和神经网络的桥梁病害区域的三维定位系统，所述系统包括无人机、处理器、存储器，其特征在于，所
...【技术特征摘要】
1.一种基于无人机和神经网络的桥梁病害区域的三维定位方法，包括以下步骤：
2.根据权利要求1所述的基于无人机和神经网络的桥梁病害区域的三维定位方法，所述步骤4具体为：
3.根据权利要求2所述的基于无人机和神经网络的桥梁病害区域的三维定位方法，所述计算射线l(s)与第二桥梁三维模型的交点pr(xr,yr,zr)，具体为：
4.根据权利要求1所述的基于无人机和神经网络的桥梁病害区域的三维定位方法，所述神经网络可以为语义分割网络。
5.根据权利要求1所述的基于无人机和神经网络的桥梁病害区域的三维定位方...
【专利技术属性】
技术研发人员：刘天成，王伟，潘放，陈伟乐，程潜，鲜荣，朱超，王小宁，王章明，
申请(专利权)人：中交公路长大桥建设国家工程研究中心有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。