【技术实现步骤摘要】
本专利技术涉及图像分析，具体涉及一种基于机器视觉的螺栓松动检测方法。
技术介绍
1、在桥梁维护和结构健康监测领域，螺栓松动的及时检测和准确评估一直是至关重要的任务。传统的螺栓检测方法往往依赖于人工视觉检查和物理测量，但这些方法存在劳动密集、主观性强、耗时和耗费人力资源等问题。近年来，计算机视觉和深度学习技术的迅速发展为自动化螺栓松动检测提供了新的机会。目前，许多自动化螺栓松动检测方法采用深度学习模型，以实现对桥梁结构中螺栓的识别和状态检测。然而，在实际应用中，自动化螺栓松动检测仍然面临一些挑战。其一，螺栓的部分遮挡问题，可能导致部分螺栓无法被完整地检测到，从而导致关键点点位缺失，使得检测结果不够全面；其二，螺栓的拍摄角度多样性问题，相机的拍摄角度不仅仅只局限于正面拍摄到螺母或螺栓这类图像，还包括侧面拍摄的螺杆螺纹此类图像，因此，预先定义的关键点在不同角度下可能不具备稳定性，从而导致检测结果不够准确。
技术实现思路
1、针对现有技术存在的不足，本专利技术提出一种基于机器视觉的螺栓松动检测方法，可以提高自动化检测系统的鲁棒性和可靠性，具体技术方案如下：
2、提供了一种基于机器视觉的螺栓松动检测方法，在第一种可实现方式中，包括：
3、对获取到的螺栓图像进行几何校正，并确定螺栓校正图像属于第一类正视角度图像还是第二类侧视角度图像；
4、当所述螺栓校正图像属于第一类正视角度图像时，分别检测所述螺栓校正图像对应的螺栓关键点和预测框，所述螺栓关键点包括螺栓的中
5、分别通过所述螺栓关键点和预测框采用相应的识别算法初步确定松动角度，并结合螺栓关键点和预测框确定的松动角度最终确定螺栓松动角度；
6、当所述螺栓校正图像属于第二类侧视角度图像时，对所述螺栓校正图像进行实例分割，并通过分割得到的不同语义信息确定剩余螺纹数；
7、结合剩余螺纹数、螺栓参数和螺栓图像对应的拍摄参数确定螺栓松动角度。
8、结合第一种可实现方式，在第二种可实现方式中，采用cv2.warpperspective对所述螺栓图像进行几何校正。
9、结合第一种可实现方式，在第三种可实现方式中，采用yolov8-pose和yolov8-detect算法分别检测所述螺栓关键点和预测框。
10、结合第三种可实现方式，在第四种可实现方式中，所述yolov8-pose和yolov8-detect算法的损失函数包括目标的位置回归损失部分、分类损失部分和置信度损失部分；
11、所述分类损失部分包括目标分类损失函数和类别平衡损失函数；
12、所述置信度损失部分包括有目标框置信度损失函数和无目标框置信度损失函数。
13、结合第一种可实现方式，在第五种可实现方式中，检测所述螺栓校正图像对应的螺栓关键点，包括：根据已检测出的中心点和角点对缺失的角点进行预测补全。
14、结合第五种可实现方式，在第六种可实现方式中，对缺失的角点进行预测补全，包括：
15、对已检测识别出的中心点和角点采用有向边进行连接，并计算有向边与x轴的夹角，确定各角点对应的夹角度数；
16、按照度数大小将各角点对应的夹角度数进行排序，并计算出相邻两个角点之间的度数差；
17、根据所述度数差所属的区间范围确定两个已检测识别出的角点之间缺失的角点数量；
18、基于角点的缺失数量，在相应的区域内插入相同数量的补全角点，并根据相应的角点和中心点的坐标确定插入的补全角点的坐标。
19、结合第一种可实现方式，在第七种可实现方式中，通过所述螺栓关键点确定松动角度，包括：
20、通过所有角点的坐标与中心点的坐标，确定各角点与中心点之间的有向边与x轴的夹角度数；
21、根据螺栓松动前各角点对应的初始夹角度数和当前角点对应的夹角度数确定所述松动角度。
22、结合第七种可实现方式，在第八种可实现方式中，确定角点与中心点之间的有向边与x轴的夹角度数，包括：
23、根据相应的坐标确定角点与中心点之间的有向边对应的斜率，并根据有向边的斜率确定有向边与x轴的夹角弧度；
24、将所述夹角弧度转换为度数，并将所述度数转换至相应的区间范围内，得到相应的转换角度；
25、根据有向边所处的象限区域对所述转换角度进行调整，得到所述夹角度数。
26、结合第一种可实现方式，在第九种可实现方式中，采用以下计算方法确定所述螺栓松动角度：
27、
28、其中，△θ1为第一类正视角度图像对应的螺栓松动角度，为基于螺栓关键点确定的松动角度，为基于预测框确定的松动角度，α为基于螺栓关键点的识别算法对应的准确率，β为基于预测框的识别算法对应的准确率。
29、结合第一种可实现方式，在第十种可实现方式中，结合剩余螺纹数、螺栓参数和拍摄参数确定螺栓松动角度，包括：
30、确定所述螺栓校正图像中螺栓的轴向位移△dpixel；
31、根据所述拍摄参数和所述轴向位移△dpixel确定螺栓的轴向实际位移△d；
32、结合所述轴向实际位移△d、剩余螺纹数和螺栓参数计算所述螺栓松动角度，具体计算式如下：
33、
34、其中，△θ2为第二类侧视角度图像对应的螺栓松动角度，κ为螺栓参数中的螺距，n为螺栓参数中的螺纹总数，n为剩余螺纹数。
35、有益效果：采用本专利技术的基于机器视觉的螺栓松动检测方法，可以通过对获取到的螺栓图像进行几何校正，确定螺栓图像属于第一类正视角度图像还是第二类侧视角度图像，并匹配相应的检测方法分别检测第一类正视角度图像和第二图像中螺栓的松动角度。当所述螺栓校正图像属于第一类正视角度图像时，分别检测螺栓图像中的螺栓关键点和预测框，并分别通过螺栓关键点和预测框初步确定松动角度，再结合关键点检测结果和预测框检测结果最终确定螺栓松动角度，以提高自动化螺栓松动角度检测的鲁棒性和可靠性。当所述螺栓校正图像属于第二类侧视角度图像时，通过对螺栓校正图像进行实例分割确定剩余螺纹数，并通过螺纹特征线与松动角度的映射关系确定螺栓松动角度，从而实现不同拍摄角度下的螺栓松动角度检测。
本文档来自技高网...【技术保护点】
1.一种基于机器视觉的螺栓松动检测方法，其特征在于，包括：
2.根据权利要求1所述的基于机器视觉的螺栓松动检测方法，其特征在于，采用cv2.warpPerspective对所述螺栓图像进行几何校正。
3.根据权利要求1所述的基于机器视觉的螺栓松动检测方法，其特征在于，采用YOLOv8-pose和YOLOv8-detect算法分别检测所述螺栓关键点和预测框。
4.根据权利要求3所述的基于机器视觉的螺栓松动检测方法，其特征在于，所述YOLOv8-pose和YOLOv8-detect算法的损失函数包括目标的位置回归损失部分、分类损失部分和置信度损失部分；
5.根据权利要求1所述的基于机器视觉的螺栓松动检测方法，其特征在于，检测所述螺栓校正图像对应的螺栓关键点，包括：根据已检测出的中心点和角点对缺失的角点进行预测补全。
6.根据权利要求5所述的基于机器视觉的螺栓松动检测方法，其特征在于，对缺失的角点进行预测补全，包括：
7.根据权利要求1所述的基于机器视觉的螺栓松动检测方法，其特征在于，通过所述螺栓关键点确定松动角度
8.根据权利要求7所述的基于机器视觉的螺栓松动检测方法，其特征在于，确定角点与中心点之间的有向边与x轴的夹角度数，包括：
9.根据权利要求1所述的基于机器视觉的螺栓松动检测方法，其特征在于，采用以下计算方法确定所述螺栓松动角度：
10.根据权利要求1所述的基于机器视觉的螺栓松动检测方法，其特征在于，结合剩余螺纹数、螺栓参数和拍摄参数确定螺栓松动角度，包括：
...【技术特征摘要】
1.一种基于机器视觉的螺栓松动检测方法，其特征在于，包括：
2.根据权利要求1所述的基于机器视觉的螺栓松动检测方法，其特征在于，采用cv2.warpperspective对所述螺栓图像进行几何校正。
3.根据权利要求1所述的基于机器视觉的螺栓松动检测方法，其特征在于，采用yolov8-pose和yolov8-detect算法分别检测所述螺栓关键点和预测框。
4.根据权利要求3所述的基于机器视觉的螺栓松动检测方法，其特征在于，所述yolov8-pose和yolov8-detect算法的损失函数包括目标的位置回归损失部分、分类损失部分和置信度损失部分；
5.根据权利要求1所述的基于机器视觉的螺栓松动检测方法，其特征在于，检测所述螺栓校正图像对应的螺...
【专利技术属性】
技术研发人员：龚元昊，陈斌，熊邵辉，陈亨驰，邓国军，董雷，张晓双，李坤圆，
申请(专利权)人：招商局重庆交通科研设计院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。