一种桥梁裂缝检测及裂缝三维可视化的方法及系统技术方案

本发明专利技术公开了一种桥梁裂缝检测及裂缝三维可视化的方法及系统，属于目标检测技术领域，通过机器人对桥梁病害相关区域进行二维图像采集得到目标检测模型，基于YOLOv2算法对目标检测模型进行初提取，目标像素级分割包括基于U

【技术实现步骤摘要】
一种桥梁裂缝检测及裂缝三维可视化的方法及系统


[0001]本专利技术涉及桥梁检测及监测
，具体是一种桥梁裂缝检测及裂缝三维可视化的方法及系统。

技术介绍

[0002]随着科技的飞速发展,越来越多的的国家开始重视基础设施的建设，尤其进入20世纪以来,随着科技发展和民众对日常生活质量的要求,国家对基础设施的建设的投入也不断增多,基础设施的科技含量与造价也逐渐攀升、涉及的类别也愈加广泛。尤其是在交通建设方面的投入,更是成为了各个国家的发展之重，其中桥梁在交通运输中有着不可忽视的重要作用,不仅保障着人们的正常生产出行,也是一个国家的国防保证；即标志着一个国家的科技水平和经济能力，是国家大力发展的重要基础设施。
[0003]但随着越来越多的桥梁建成,桥梁的维养工作成为影响桥梁能否继续使用的重要因素,在桥梁动辄长达五六十年甚至一百年的使用寿命中,会受到荷载的长期疲劳效应和突变效应,同时外界环境腐蚀，自身材料老化,以及诸如地震、雪崩，洪涝灾害等偶然因素也会导致桥梁内部的病害逐步累积,最终使桥梁发生结构受损,耐久性下降,可靠度降低,甚至出现灾难性的事故。
[0004]现阶段,桥梁多为钢筋混凝土结构,由于钢筋混凝土结构本身易发生裂缝,再加上长时间受到车辆的挤压作用以及风沙、雨水的侵蚀,裂缝极易深入开展,降低混凝土的承载能力,同时大型裂缝除了会影响建筑物的外观、使用寿命,还会引发钢筋锈蚀,构件耐久性下降,抗渗性变差等安全问题,从而影响到桥梁结构的安全性能,甚至出现露筋的状况发生,导致重大事故的发生,危害人民群众的生命和财产安全。
[0005]使用传统的桥梁检测方法,需要检测员肉眼观察桥梁病害,时间长,效率低,并且桥梁检测情况容易受到检测员主观因素的影响,而且人工对桥梁检测需投入大量的人力物力财力,且部分桥梁区域人工难以进入,无法进行有效检查,导致桥梁检测情况与桥梁实际情况不相符的情况出现。同时在桥梁检测中,对于病害的可视化研究较少,展现出研究手段单一、研究内容较浅的缺点；在桥梁检测智能化研究中,对于表观病害识别技术仍有很大提升空间；建立专业的桥梁病害数据管理与分析系统仍任重道远。
[0006]在传统桥梁检测中,往往存在如下缺陷：
[0007]第一，存在信息单一,采集的桥梁病害信息无法有效结合,检测对象往往局限于单个构建,难以将检测到的信息与桥梁整体结构相联系。因此,如何将收集到的影像数据与采集到的单个病害信息与桥梁整体相结合已经逐渐成为桥梁检测领域的新研究方向。
[0008]第二，现存的桥梁病害检测行业缺乏定量分析手段,桥梁病害识别软件只能单一的分析出裂缝的位置及形状,难以定量测量裂缝的具体大小,而且检测速度难以做到实时传输,且检测水平受到周围环境影响因素较为严重。
[0009]第三，局部裂缝识别未和桥梁整体结合,市场上存在的智能巡检研究机构普遍存在整体性不足的局限性,其检测出的桥梁病害缺乏整体性、检测病害往往只局限于单个构
件、检测结果难以用于整体评估,也无法有效查看各个病害在桥梁外表面的分布情况,仅有单一的裂缝识别算法难以评估桥梁整体的安全性。

技术实现思路

[0010]本专利技术的目的是为了克服现有技术存在的缺陷和不足，提供一种桥梁裂缝检测及裂缝三维可视化的方法及系统，将裂缝与桥梁的三维模型结合，实现裂缝可视化，再打造智能化系统，方便用户查看检测数据。
[0011]为实现上述目的，本专利技术提供如下技术方案：
[0012]一种桥梁裂缝检测及裂缝三维可视化的方法，包括以下步骤：
[0013]S1，通过机器人对桥梁病害相关区域进行二维图像采集；
[0014]S2，用单阶段目标检测YOLOv2算法对裂缝相关区域进行粗提取，提高裂缝识别效率；
[0015]S3，采用像素级语义分割对裂缝和背景实现精确完整分离，语义分割的网络基于U
‑
net；
[0016]S4，采用nerf神经网络利用大量桥梁结构二维图像对桥梁进行三维重建；
[0017]S5，将裂缝分割图像加入桥梁三维模型中，实现桥梁裂缝在桥梁模型的三维可视化。
[0018]在采集到桥梁裂缝区域的图像后，先利用目标检测方法通过YOLOv2从原始图像中快速检测出裂缝区域，减少后续像素级语义分割时的工作量，然后再通过对裂缝区域进行卷积特征提取和像素级语义分割，最后为了使病害与桥梁整体相连，更好的监测桥梁变形，使用NeRF网络，并加入了三维重建部分，能够将桥梁的主要病害反映在桥梁结构中。
[0019]上述的桥梁检测方法，还可以具有如下附加的技术特征：
[0020]将U
‑
net网络的编码器部分更改为VGG16，并相应地更改了解码器的上采样部分，通过本裂缝检测系统，能够在较小数据集的情况下显著提高检测精度。下面介绍检测的网络模型：
[0021]裂缝检测网络采用VGG16进行实现，功能为裂缝的目标检测，将图像分为预测矩阵，检测后输出该矩阵。网络开始输入的图像数据，经过卷积层和最大池化层，每次经过池化层，图像的宽和高减半。而且在后面实现的总体中，两个模型都没有加入全连接层，而没全连接层就显著降低了参数数量。
[0022]进行语义分割的网络基于U
‑
net，其结构由图所示。U
‑
net网络第一部分为特征提取，与VGG类似，采用VGG16作为特征提取部分。第二部分为上采样部分，这部分主要进行提高图像的分辨率任务，本模型的上采样部分除了最后一次使用了上采样，其余都使用反卷积操作。
[0023]此外，为了使病害与桥梁整体相连，更好的监测桥梁变形，使用NeRF网络，并加入了三维重建部分。NeRF网络是一种基于光照模型隐式场表示的场景表示方法，用于生成一个场景的不同视角。
[0024]该网络主要分以下几个步骤：
[0025](1)桥梁外表面信息获取：通过相关设备获取桥梁外表面的二维图像信息。采集二维
[0026]图像信息的过程中需要桥梁表面无遮挡，为了避免由时间引起的天气、太阳位置不同等带来的光影变化对数据质量的影响，获取二维图像的时间尽可能集中。
[0027](2)获取相机位置：通过运动恢复结构算法从步骤(1)的图片中获得各摄像机坐标系相对于世界坐标系的变化，进而获得视角(θ，φ)。
[0028](3)训练网络：使用体渲染网络渲染出与需要视角对应的结果，通过与输入图片构建损失函数，应用反向传播算法，将桥梁的信息就保存到神经网络辐射场网络中。该过程是先将目标像素与对应视角的摄像机中心连接得到一条射线，在这条射线与场景相交的地方采点得到对应点的三维坐标，接着，将这些点的三维坐标连同视角组成5D坐标(x，y，z，θ，φ)输入到神经网络辐射场网络中得到对应图片的颜色和密度，对得到的这些颜色和密度延射线进行积分得到目标像素的颜色，进而得到整张图片的渲染结果。将该结果与输入的图片构建损失函数，由于渲染过程和神经网络辐射场网络运算的过程都是可微的，则可构建的损失函数进行误本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种桥梁裂缝检测及裂缝三维可视化的方法，其特征在于，包括以下步骤：S1，通过机器人对桥梁病害相关区域进行二维图像采集；S2，用单阶段目标检测YOLOv2算法对裂缝相关区域进行粗提取，提高裂缝识别效率；S3，采用像素级语义分割对裂缝和背景实现精确完整分离，语义分割的网络基于U
‑
net；S4，采用nerf神经网络利用大量桥梁结构二维图像对桥梁进行三维重建；S5，将裂缝分割图像加入桥梁三维模型中，实现桥梁裂缝在桥梁模型的三维可视化。2.一种基于权利要求1所述的桥梁裂缝检测及裂缝三维可视化方法的系统，其特征在于，包括有通过机器人对桥梁病害相关区域进行二维图像采集构成的目标检测模型，通过YOLOv2，U
‑
net,NeRF的结合生成三种网络模型；通过YOLOv2算法对目标检测模型从原始图像中快速检测出裂缝区域，进行初步定位，构建初提取的网络模型；通过U
‑
net对目标检测模型的裂缝区域进行卷积特征提取和像素级语义分割，构建像素分割后的网络模型；通过NeRF网络，加入了三维重建部分，构建三维模型。3.一种根据权利要求2所述的桥梁裂缝检测及裂缝三维可视化的系统，其特征在于，采用YOLOv2网络确定裂缝区域，初步分割初裂缝信息，构建初提取的网络模型的具体步骤如下：S21，网络前部分经过多层的卷积层和最大池化层的叠加，在这个过程卷积神经网络用于提取图像的特征，使得特征图的深度增加，最大池化用于下采样，降低特征图的分辨率；S22，引入非线性，有low
‑
level的图像边缘、颜色特征得到high
‑
leve特征；后部分是全连接层从提取到的high
‑
level特征中得到预测的物体的类别，边框的信息；S23，添加batchNorm缓解梯度消失；S24，通过引入ImageNet上采样数据的过渡训练，更好的finetuning；S25，引入预先设定大小的anchor，并在此基础上进行调整得到更好的效果；其中anchor的大小并不是人为设定的，而是用k

【专利技术属性】
技术研发人员：边泰山，任泰安，曹晨曦，李不凡，萧倩玲，何梓贻，戴勇波，卫天翼，钟如昕，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：