本发明专利技术公开了一种螺栓缺失检测方法、装置、设备及存储介质。该方法包括：获取待检测螺栓对应的待检测图像；采用第一预设模型识别待检测图像中的螺栓连接节点板作为感兴趣区域图像；采用第二预设模型对感兴趣区域图像中的节点板进行图像分割，并基于图像分割结果获取检测参考点；基于检测参考点和预设参考图像的基准参考点，采用透视变换对感兴趣区域图像进行校正得到校正图像；采用第三预设模型识别校正图像中的螺栓位置信息；基于预设参考图像中的螺栓位置信息与校正图像中的螺栓位置信息，确认待检测螺栓的螺栓缺失检测结果。实现准确提取检测参考点，保证校正图像的正确性，感兴趣区域可提高图像识别精度，提高螺栓缺失检测的准确性的效果。的准确性的效果。的准确性的效果。
【技术实现步骤摘要】
一种螺栓缺失检测方法、装置、设备及存储介质
[0001]本专利技术实施例涉及缺陷检测技术，尤其涉及一种螺栓缺失检测方法、装置、设备及存储介质。
技术介绍
[0002]螺栓连接节点是最常用的钢结构构件连接方式之一，螺栓在服役过程中由于温度波动、反复荷载和振动等多因素影响会造成螺栓延迟断裂与掉落从而威胁到整个结构的安全性和稳定性，因此对螺栓的缺失检测具有重要意义。
[0003]传统螺栓掉落通过人工巡检发现，效率低且容易漏检，对于检测包含大量螺栓的连接结构无论经济性还是可操作性上都偏低。近年来，基于计算机视觉的结构健康检测方法受到了学术界和工业界的广泛关注，现有的钢结构螺栓缺失检测方法主要的通过传统机器学习或深度学习等方法训练一个基于损伤图像和正常图像的分类模型或目标检测模型，从而应用该模型检测采集的图像区域是否存在螺栓丢失的缺陷情况。
[0004]当前深度学习的目标检测模型的训练需要大量的螺栓缺失的缺陷样本，然而实际情况中螺栓缺失的图像多种多样，难以获取充足的螺栓缺失图像样本，因此训练出的目标检测模型精度较低，且现有采集螺栓连接图像时包含背景信息，影响了检测结果的准确度。
技术实现思路
[0005]本专利技术提供一种螺栓缺失检测方法、装置、设备及存储介质，以实现检测参考点的准确提取，保证透视变换得到校正图像的正确性；感兴趣区域突出了前景有效特征，排除了背景干扰，提高了节点板图像分割与螺栓识别精度，从而提高螺栓缺失检测结果的准确性。
[0006]第一方面，本专利技术实施例提供了一种螺栓缺失检测方法，包括：
[0007]获取待检测螺栓对应的待检测图像；
[0008]采用第一预设模型识别所述待检测图像中的螺栓连接节点板作为感兴趣区域图像；
[0009]采用第二预设模型对所述感兴趣区域图像中的螺栓连接节点板进行图像分割，并基于分割结果获取检测参考点；
[0010]基于所述检测参考点和预设参考图像的基准参考点，采用透视变换对所述感兴趣区域图像进行校正得到校正图像；
[0011]采用第三预设模型识别所述校正图像中的螺栓位置信息；
[0012]基于预设参考图像中的螺栓位置信息与所述校正图像中的螺栓位置信息，确认所述待检测螺栓的螺栓缺失检测结果。
[0013]可选的，所述采用第一预设模型识别所述待检测图像中的螺栓连接节点板作为感兴趣区域图像包括：
[0014]采用第一预设模型识别所述待检测图像中的螺栓连接节点板；
[0015]获取所述螺栓连接节点板的位置信息，所述螺栓连接节点板的位置信息为具有坐
标信息的检测区域框；
[0016]将所述检测区域框按预设百分比扩大后截取的图像作为感兴趣区域图像。
[0017]可选的，所述采用第二预设模型对所述感兴趣区域图像中的螺栓连接节点板进行图像分割，并基于分割结果获取检测参考点包括：
[0018]采用第二预设模型对所述感兴趣区域图像中的螺栓连接节点板进行图像分割，得到所述螺栓连接节点板的边缘信息；
[0019]基于所述边缘信息检测得到螺栓连接节点板的边缘直线；
[0020]获取各直线的交点作为透视变换的检测参考点。
[0021]可选的，所述基于所述检测参考点和预设参考图像的基准参考点采用透视变换对所述感兴趣区域图像进行校正得到校正图像包括：
[0022]根据所述基准参考点和所述检测参考点计算透视变换矩阵；
[0023]根据所述透视变换矩阵对所述感兴趣区域图像进行校正得到校正图像。
[0024]可选的，所述校正图像中的螺栓位置信息为具有每个待检测螺栓的坐标信息的螺栓检测框，所述预设参考图像中的螺栓位置信息为具有每个基准螺栓的坐标信息的螺栓基准框；基于预设参考图像中的螺栓位置信息与所述校正图像中的螺栓位置信息，确认所述待检测螺栓的螺栓缺失检测结果，包括：
[0025]计算每个螺栓检测框与所述螺栓基准框的交并比；
[0026]判断所述交并比与第一阈值的大小关系；
[0027]若所述交并比大于等于所述第一阈值，则判断该螺栓未丢失；
[0028]若所述交并比小于所述第一阈值，则判断该螺栓丢失，并在所述校正图像对应位置进行标记，得到螺栓缺失检测结果图。
[0029]可选的，将标准图像经过所述第一预设模型和所述第二预设模型提取基准参考点，经过第三预设模型提取基准螺栓坐标信息，保存并形成参考图像信息。
[0030]可选的，所述第一预设模型、所述第二预设模型和所述第三预设模型均为深度学习模型，其中，所述第一预设模型和所述第三预设模型为目标检测模型，所述第二预设模型为图像分割模型。
[0031]第二方面，本专利技术实施例提供了一种螺栓缺失检测装置，包括：
[0032]图像获取模块，用于获取待检测螺栓对应的待检测图像；
[0033]图像提取模块，用于采用第一预设模型识别所述待检测图像中的螺栓连接节点板作为感兴趣区域图像；
[0034]参考点获取模块，用于采用第二预设模型对所述感兴趣区域图像中的螺栓连接节点板进行图像分割，并基于分割结果获取检测参考点；
[0035]图像校正模块，用于基于所述检测参考点和预设参考图像的基准参考点，采用透视变换对所述感兴趣区域图像进行校正得到校正图像；
[0036]螺栓信息获取模块，用于采用第三预设模型识别所述校正图像中的螺栓位置信息；
[0037]螺栓缺失判断模块，用于基于预设参考图像中的螺栓位置信息与所述校正图像中的螺栓位置信息，确认所述待检测螺栓的螺栓缺失检测结果。
[0038]第三方面，本专利技术实施例提供了一种螺栓缺失检测设备，所述设备包括：
[0039]一个或多个处理器；
[0040]存储装置，用于存储一个或多个程序，
[0041]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的螺栓缺失检测方法。
[0042]第四方面，本专利技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一所述的螺栓缺失检测方法。
[0043]本专利技术实施例通过第一预设模型识别螺栓连接节点板作为感兴趣区域，并通过第二预设模型获取检测参考点，从而对感兴趣区域图像进行校正，再采用第三预设模型识别校正图像中的螺栓位置信息，通过与预设参考图像中的螺栓位置信息进行比对，从而确认待检测螺栓是否缺失。解决了直接在原图使用图像处理的方式检测螺栓连接节点板边缘直线准确率低、鲁棒性差的问题，实现检测参考点的准确提取，保证透视变换得到校正图像的正确性；实现把检测螺栓缺失的问题转换为检测正常螺栓的问题，解决了缺失螺栓样本难以获取的问题；感兴趣区域突出了前景有效特征，排除了背景干扰，提高了节点板图像分割与螺栓识别精度，最终提高螺栓缺失检测结果的准确性。
附图说明
[0044]图1A为本专利技术实施例一提供的一种螺栓缺失检测方法的流程示意图；
...
【技术保护点】
【技术特征摘要】
1.一种螺栓缺失检测方法，其特征在于，包括：获取待检测螺栓对应的待检测图像；采用第一预设模型识别所述待检测图像中的螺栓连接节点板作为感兴趣区域图像；采用第二预设模型对所述感兴趣区域图像中的螺栓连接节点板进行图像分割，并基于分割结果获取检测参考点；基于所述检测参考点和预设参考图像的基准参考点，采用透视变换对所述感兴趣区域图像进行校正得到校正图像；采用第三预设模型识别所述校正图像中的螺栓位置信息；基于预设参考图像中的螺栓位置信息与所述校正图像中的螺栓位置信息，确认所述待检测螺栓的螺栓缺失检测结果。2.根据权利要求1所述的螺栓缺失检测方法，其特征在于，所述采用第一预设模型识别所述待检测图像中的螺栓连接节点板作为感兴趣区域图像包括：采用第一预设模型识别所述待检测图像中的螺栓连接节点板；获取所述螺栓连接节点板的位置信息，所述螺栓连接节点板的位置信息为具有坐标信息的检测区域框；将所述检测区域框按预设百分比扩大后截取的图像作为感兴趣区域图像。3.根据权利要求1所述的螺栓缺失检测方法，其特征在于，所述采用第二预设模型对所述感兴趣区域图像中的螺栓连接节点板进行图像分割，并基于分割结果获取检测参考点包括：采用第二预设模型对所述感兴趣区域图像中的螺栓连接节点板进行图像分割，得到所述螺栓连接节点板的边缘信息；基于所述边缘信息检测得到螺栓连接节点板的边缘直线；获取各直线的交点作为透视变换的检测参考点。4.根据权利要求1所述的螺栓缺失检测方法，其特征在于，所述基于所述检测参考点和预设参考图像的基准参考点采用透视变换对所述感兴趣区域图像进行校正得到校正图像包括：根据所述基准参考点和所述检测参考点计算透视变换矩阵；根据所述透视变换矩阵对所述感兴趣区域图像进行校正得到校正图像。5.根据权利要求1所述的螺栓缺失检测方法，其特征在于，所述校正图像中的螺栓位置信息为具有每个待检测螺栓的坐标信息的螺栓检测框，所述预设参考图像中的螺栓位置信息为具有每个基准螺栓的坐标信息的螺栓基准框；基于预设参考图像中的螺栓位置信息与所述...
【专利技术属性】
技术研发人员：姚志东，卢佳祁，王罡，方五军，熊梦雅，
申请(专利权)人：中冶建筑研究总院深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。