基于深度学习和视频理解的钢表面裂缝检测和预测方法技术

本发明专利技术提供了一种基于深度学习和视频理解的钢表面裂缝检测和预测方法，包括以下步骤：步骤1，获取钢表面裂缝在疲劳荷载作用下裂缝开合的视频并保存，对保存的视频进行剪辑处理；步骤2，通过视频训练SuperPoint网络，并跟踪视频中钢表面的特征点的运动信息并进行记录；步骤3，通过基于阈值的自适应特征点筛选方法，筛选出裂缝周围的特征点；步骤4，将检测到的特征点作为基本信息，拟合裂缝的形态，获得裂缝的基本参数信息并进行数字化；步骤5，将裂缝的历史发展信息、裂缝的基本参数信息和钢表面的基本信息作为输入，N个循环后裂缝的发展情况作为输出训练LSTM神经网络，训练完成后通过LSTM神经网络对钢表面的裂缝开展速率进行实时预测。实时预测。实时预测。

【技术实现步骤摘要】
基于深度学习和视频理解的钢表面裂缝检测和预测方法


[0001]本专利技术属于涉及一种钢板表观裂缝识别与检测及发育预测方法，具体涉及一种基于深度学习和视频理解的钢表面裂缝检测和预测方法。

技术介绍

[0002]近年来，我国总体经济水平不断提高，综合国力逐渐增强，作为拉动经济的重要支点我国的基础设施建设呈现出蓬勃兴旺之势，钢结构桥梁建造规模不断壮大，大跨度桥梁数量与体量不断扩张。然而，由于桥梁施工、养护与运营阶段所处环境非常复杂，致使其在使用过程中质量问题时有发生。其中，裂缝是结构件最常见的病害之一。
[0003]随着技术的进步，传统的通过人工检测与评估桥梁裂缝的方法，由于存在结果主观性大、对检测人员专业经验要求较高以及精度和效率较低等缺点，逐渐被新的方法替代。随计算机技术的快速发展，深度学习方法逐渐取代传统图像处理技术成为图像分类、目标检测与实例分割的的主流方法，被广泛应用于土木工程行业的检测与监测工作，并已取得诸多成果。基于深度学习的桥梁裂缝检测方法也已应用在建筑行业，具有比人工更加精确、便捷的优势。另外，基于深度学习的特征点跟踪技术也有了长足发展与进步，但是应用基于特征点跟踪的钢桥梁表观裂缝检测与预测方面的研究，还有诸多空白。
[0004]空军雷达学院2001年的期刊文章《金属表面微波无损探伤方法的研究》提出了一种在微波频段利用同轴线探头对金属表面裂痕进行探测的无损探伤方法，该方法设备结构简单，探测精度高，使用方便，裂缝信号特征明显，具有较大发展潜力，是无损探伤领域中的一种较好的新方法。但该系统需要额外的微波信号发生器，设备较复杂，且同轴探头尺寸小，给检测工作带来一定的困难。
[0005]中国船舶重工集团公司第七一九研究所2017年公开的专利技术《金属表面缺陷的图像识别无损检测装置及方法》(申请公布号CN107782733A)提出了一种金属表面缺陷的图像识别无损检测装置。该方法由移动单元上搭在的设备对一定区域进行检测，检测范围大，检测方法简单、快速，降低了检测时间和人工成本，排除了检测人员主观性对检测结果的影响。然而算法依赖于人工设定的参数，适应性差。
[0006]武汉科技大学2016年发表的期刊文章《钢桥疲劳裂缝的红外热成像无损检测》利用钢表面温度变化与其应力之间的本构关系，采用红外热成像法测试构件孔边畸变温度，确定构件的裂缝。红外检测具有非接触性、高效率操作简便、无耦合等优点。但是检测效果容易受到缺陷形状、位置等的影响。
[0007]重庆交通大学2017年硕士学位论文《基于金属磁记忆的钢箱梁裂缝检测试验研究》一文对基于金属磁记忆法的钢箱梁裂缝检测与评价进行了实验研究，提出了钢箱梁裂缝的磁记忆检测新方法。该方法克服了传统无损检测的缺点，能够对铁磁性金属构件内部的应力集中进行诊断。然而，探头的大小对结果的准确性有很大的影响。
[0008]中北大学2020年的期刊文章《用于金属裂缝检测和测量的微带天线传感器》提出了一种基于微带天线辐射原理的金属裂缝检测和表征传感器。传感器由耐高温氧化铝陶瓷
和金属银浆通过丝网印刷工艺制作成型，可以应用到高温高压的恶劣环境中。且具有亚毫米裂纹的检测能力。然而该方法仍然需要人工现场安装传感器，且传感器一旦安装就很难再迁移到其他结构上。
[0009]东北林业大学2021年的期刊文章《基于卷积神经网络的桥梁裂缝检测研究》以卷积神经网络为基础，提出了一种基于无人机的桥梁裂缝检测技术。该方法在效果上优于传统图像处理技术，可用于道路、房屋建筑等的裂缝识别。然而由于方法只利用了对象的静态特征，所以检测精度只能局限于像素级别。
[0010]浙江大学2021年的期刊文章《基于特征金字塔网络的超大尺寸图像裂缝裂缝识别检测方法》提出了一种基于特征金字塔深度学习网络的裂缝自动检测方法。该方法对裂缝图像的具体分辨率没有严格的要求，为今后的裂缝检测提供了一个较有潜力的解决方案。然而该方法仍然只利用了裂缝的静态特征。
[0011]电子科技大学2021年的硕士学位论文《金属件内部应力裂缝事件的声传感阵列检测技术研究》提出一种利用声发射监测技术监听加工过程中声信号来实现裂纹事件的实时检测，可以检测到20微米的裂缝。然而该方法对声发射装置要求较高，对实际工程的应用场景不友好。此外，该方法无法通过缺陷信号定量估计裂纹宽度。于计算机视觉的图像形状判断方法已经进行了较多研究，然而在建筑工程领域，针对渗漏水识别与检测方面的研究主要侧重于通过计算渗漏水处面积的大小判断其严重程度，基于各种神经网络结构进行时间序列预测暂时无人涉猎。
[0012]总结现有评价方法而言，对于钢表面裂缝的无损检测方法多停留在对声、光、电、磁等材料特性的应用，很少利用到裂缝开合的动态信息。而对于裂缝发展的预测大多局限于对物理现象的认为认知，缺少灵活性。随着深度学习和视频理解领域的发展，更多的算法被提出用于对视频的处理和对未来的预测。这些新的算法可以被应用在钢表面裂缝的检测和预测领域。

技术实现思路

[0013]本专利技术是为了解决上述问题而进行的，目的在于提供一种基于深度学习和视频理解的钢表面裂缝检测和预测方法。
[0014]本专利技术提供了一种基于深度学习和视频理解的钢表面裂缝检测和预测方法，具有这样的特征，包括以下步骤：步骤1，获取钢表面裂缝在疲劳荷载作用下裂缝开合的视频并保存，对保存的视频进行剪辑处理；
[0015]步骤2，通过视频训练SuperPoint网络，并跟踪视频中钢表面的特征点的运动信息并进行记录；
[0016]步骤3，通过基于阈值的自适应特征点筛选方法，根据相邻特征点间的位移差，筛选出裂缝周围的特征点；
[0017]步骤4，将检测到的特征点作为基本信息，拟合裂缝的形态，获得裂缝的基本参数信息并对基本参数信息进行数字化；
[0018]步骤5，将裂缝的历史发展信息、裂缝的基本参数信息和钢表面的基本信息作为输入，N个循环后裂缝的发展情况作为输出训练LSTM神经网络，训练完成后通过LSTM神经网络对钢表面的裂缝开展速率进行实时预测。
[0019]在本专利技术提供的基于深度学习和视频理解的钢表面裂缝检测和预测方法中，还可以具有这样的特征：步骤1中包括以下子步骤：
[0020]步骤1
‑
1，采用相机拍摄视频，拍摄视频时根据拍摄对象与相机之间的距离、拍摄对象所处环境的光照和拍摄角度，选择相机设备并调整相关参数使成像最佳；
[0021]步骤1
‑
2，对相机进行标定，获取相机的内部参数，保持相机的内部参数不变，在含有裂缝的钢表面旁边架设相机拍摄钢表面在工作荷载作用下的视频，并测量拍摄距离与拍摄倾角；
[0022]步骤1
‑
3，对视频进行剪辑，使每段视频长度为十秒，每段视频包含5个振动周期。
[0023]在本专利技术提供的基于深度学习和视频理解的钢表面裂缝检测和预测方法中，还可以具有这样的特征：步骤1
‑
2中，对相机进行标定，包括以下子步骤：
[0024]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和视频理解的钢表面裂缝检测和预测方法，其特征在于，包括以下步骤：步骤1，获取钢表面裂缝在疲劳荷载作用下裂缝开合的视频并保存，对保存的所述视频进行剪辑处理；步骤2，通过所述视频训练SuperPoint网络，并跟踪所述视频中所述钢表面的特征点的运动信息并进行记录；步骤3，通过基于阈值的自适应特征点筛选方法，根据相邻所述特征点间的位移差，筛选出裂缝周围的所述特征点；步骤4，将检测到的所述特征点作为基本信息，拟合所述裂缝的形态，获得所述裂缝的基本参数信息并对所述基本参数信息进行数字化；步骤5，将所述裂缝的历史发展信息、所述裂缝的所述基本参数信息和所述钢表面的基本信息作为输入，N个循环后所述裂缝的发展情况作为输出训练LSTM神经网络，训练完成后通过所述LSTM神经网络对所述钢表面的裂缝开展速率进行实时预测。2.根据权利要求1所述的基于深度学习和视频理解的钢表面裂缝检测和预测方法，其特征在于：其中，步骤1中包括以下子步骤：步骤1
‑
1，采用相机拍摄所述视频，拍摄视频时根据拍摄对象与相机之间的距离、拍摄对象所处环境的光照和拍摄角度，选择相机设备并调整相关参数使成像最佳；步骤1
‑
2，对所述相机进行标定，获取所述相机的所述内部参数，保持所述相机的所述内部参数不变，在含有所述裂缝的所述钢表面旁边架设相机拍摄所述钢表面在工作荷载作用下的视频，并测量拍摄距离与拍摄倾角；步骤1
‑
3，对所述视频进行剪辑，使每段视频长度为十秒，每段所述视频包含5个振动周期。3.根据权利要求2所述的基于深度学习和视频理解的钢表面裂缝检测和预测方法，其特征在于：其中，步骤1
‑
2中，对所述相机进行标定，包括以下子步骤：步骤1
‑2‑
1，打印一张棋盘格，将所述棋盘格贴在一个平面上，作为标定物；步骤1
‑2‑
2，通过调整所述标定物或所述相机的方向，为所述标定物拍摄不同方向的照片；步骤1
‑2‑
3，从所述照片中提取所述棋盘格的角点；步骤1
‑2‑
4，估算理想无畸变的情况下所述相机的五个所述内部参数和六个外部参数；步骤1
‑2‑
5，应用最小二乘法估算实际存在径向畸变下的畸变系数；步骤1
‑2‑
6，通过极大似然法，优化所述内部参数、外部参数以及所述畸变系数，提升估计精度，其中，对所述相机进行标定时采用opencv进行，具体过程如下：循环读取所述照片；通过findChessboardCorners函数检测所述棋盘格的所述角点；通过find4QuadCornerSubp...

【专利技术属性】
技术研发人员：高铁山，余倩倩，刘金杉，卢昱杰，张伟平，顾祥林，
申请(专利权)人：同济大学，
类型：发明
国别省市：