一种螺栓松动检测方法、装置及检测设备制造方法及图纸

本发明专利技术提供了一种螺栓松动检测方法、装置及检测设备，涉及计算机视觉技术领域。该方法包括：通过识别待检测螺栓的原始图像，获取待检测螺栓在原始图像上对应的目标检测区域，待检测螺栓包括头部、与头部连接的螺杆以及拧在螺杆上的螺母，目标检测区域为原始图像上包括螺母和外露螺栓的图像区域，外露螺栓为螺杆上尾部到螺母之间的部分，尾部为螺杆上远离头部的一端；根据目标检测区域，确定待检测螺栓对应的至少一个关键点的像素坐标；基于几何成像理论，根据至少一个关键点的像素坐标，确定外露螺栓的长度。本发明专利技术的方案，解决了现有技术中螺栓松动检测方法的检测难度大且准确率低的问题。的问题。的问题。

【技术实现步骤摘要】
一种螺栓松动检测方法、装置及检测设备


[0001]本专利技术涉及计算机视觉
，特别涉及一种螺栓松动检测方法、装置及检测设备。

技术介绍

[0002]现有的基于视觉的松动检测方法主要用于测量螺栓的松动角度，这种检测方法仅适用于边缘清晰的六角螺栓和螺母，一般是通过检测六角螺母各个边的朝向角度，与初始状态进行对比，从而检测螺栓是否发生松动，因此这种检测方法对于普通螺栓的检测难度很大且准确率较低。

技术实现思路

[0003]本专利技术实施例提供一种螺栓松动检测方法、装置及检测设备，用以解决现有技术中螺栓松动检测方法的检测难度大且准确率低的问题。
[0004]为了解决上述技术问题，本专利技术采用如下技术方案：
[0005]依据本专利技术的一个方面，提供了一种螺栓松动检测方法，包括：
[0006]通过识别待检测螺栓的原始图像，获取所述待检测螺栓在所述原始图像上对应的目标检测区域，所述待检测螺栓包括头部、与所述头部连接的螺杆以及拧在所述螺杆上的螺母，所述目标检测区域为所述原始图像上包括所述螺母和外露螺栓的图像区域，所述外露螺栓为所述螺杆上尾部到所述螺母之间的部分，所述尾部为所述螺杆上远离所述头部的一端；
[0007]根据所述目标检测区域，确定所述待检测螺栓对应的至少一个关键点的像素坐标；
[0008]基于几何成像理论，根据所述至少一个关键点的像素坐标，确定所述外露螺栓的长度。
[0009]可选地，所述通过识别待检测螺栓的原始图像，获取所述待检测螺栓在所述原始图像上对应的目标检测区域，包括：
[0010]将所述待检测螺栓的原始图像输入至更快的基于区域卷积神经网络(Faster Regions with CNN features，Faster
‑
RCNN)模型中，通过所述Faster
‑
RCNN模型识别得到所述待检测螺栓在所述原始图像上对应的目标检测区域。
[0011]可选地，所述目标检测区域中的所述关键点包括：
[0012]第一关键点A，所述第一关键点A为所述尾部的端面上短轴的上端点；
[0013]第二关键点B，所述第二关键点B为所述尾部的端面上长轴的右端点；
[0014]第三关键点C，所述第三关键点C为所述尾部的端面上短轴的下端点；
[0015]第四关键点D，所述第四关键点D为所述尾部的端面上长轴的左端点；
[0016]第五关键点E，所述第五关键点E为所述第三关键点C在所述螺母的上端面上的正投影。
[0017]可选地，所述根据所述目标检测区域，确定所述待检测螺栓对应的至少一个关键点的像素坐标，包括：
[0018]将包括所述目标检测区域的第一目标图像输入至级联金字塔网络(Cascaded Pyramid Network，CPN)模型中，通过所述CPN模型中的全局金字塔网络获取所述至少一个关键点中简单关键点的像素坐标，并通过所述CPN模型中的金字塔细化网络获取所述至少一个关键点中困难关键点的像素坐标；
[0019]其中，所述简单关键点包括：所述第一关键点A、所述第二关键点B和所述第四关键点D，所述困难关键点包括所述第三关键点C和所述第五关键点E。
[0020]可选地，所述方法还包括：
[0021]利用目标训练集，训练所述CPN模型直至所述CPN模型收敛；
[0022]其中，所述目标训练集包括在不同拍摄条件下拍摄的至少一个所述待检测螺栓的图像，所述拍摄条件包括拍摄角度、拍摄距离和拍摄光线中的至少一项。
[0023]可选地，所述基于几何成像理论，根据所述至少一个关键点的像素坐标，确定所述外露螺栓的长度，包括：
[0024]根据所述至少一个关键点的像素坐标，获得笛卡尔坐标系下坐标集合，所述坐标集合包括每一所述关键点的坐标和相机镜头所在的位置点的坐标；
[0025]基于几何成像理论，根据所述坐标集合以及所述关键点与所述相机镜头所在的位置点之间的位置关系，确定所述外露螺栓的长度。
[0026]可选地，所述基于几何成像理论，根据所述坐标集合以及所述关键点与所述相机镜头所在的位置点之间的位置关系，确定所述外露螺栓的长度，包括：
[0027]根据公式确定所述外露螺栓的长度；
[0028]其中，
[0029]h表示所述外露螺栓的长度，l表示第一连线OC的长度，γ表示所述第一连线OC和第二连线OE之间的夹角，r表示所述螺杆的半径，m表示第三连线OF的长度；
[0030]O表示相机镜头所在的位置点，所述第一连线OC为所述第三关键点C与O的之间的连线，所述第二连线OE为所述第五关键点E与O的之间的连线，F表示所述尾部的端面的中心点，所述第三连线OF表示O与F之间的连线。
[0031]依据本专利技术的另一个方面，提供了一种螺栓松动检测装置，包括：
[0032]第一处理模块，用于通过识别待检测螺栓的原始图像，获取所述待检测螺栓在所述原始图像上对应的目标检测区域，所述待检测螺栓包括头部、与所述头部连接的螺杆以及拧在所述螺杆上的螺母，所述目标检测区域为所述原始图像上包括所述螺母和外露螺栓的图像区域，所述外露螺栓为所述螺杆上尾部到所述螺母之间的部分，所述尾部为所述螺杆上远离所述头部的一端；
[0033]第二处理模块，用于根据所述目标检测区域，确定所述待检测螺栓对应的至少一个关键点的像素坐标；
[0034]第三处理模块，用于基于几何成像理论，根据所述至少一个关键点的像素坐标，确定所述外露螺栓的长度。
[0035]依据本专利技术的另一个方面，提供了一种检测设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时实现如上所述的螺栓松动检测方法。
[0036]依据本专利技术的另一个方面，提供了一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的螺栓松动检测方法中的步骤。
[0037]本专利技术的有益效果是：
[0038]上述方案，可以通过识别待检测螺栓的原始图像，获取目标检测区域，然后在待检测螺栓的目标检测区域中，确定待检测螺栓对应的关键点的像素坐标，进而基于几何成像理论，根据关键点的像素坐标确定外露螺栓的长度，由于外露螺栓的长度可以表征螺栓的松动程度，所以可以根据外露螺栓的长度评估螺栓是否松动，这样，基于原始图像进行螺栓松动检测，能够减小检测难度，提高检测准确率。
附图说明
[0039]图1为本专利技术实施例的螺栓松动检测方法的流程图；
[0040]图2为本专利技术实施例的Faster
‑
RCNN的框架示意图；
[0041]图3为本专利技术实施例的Resnet18的网络结构示意图；
[0042]图4为本专利技术实施例的区域建议网络的结构示意图；
[0043]图5为本专利技术实施例的CPN的网络结构示意图；
[0044]图6为本专利技术实施例的待检测螺栓和相机上实际关键点之间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种螺栓松动检测方法，其特征在于，包括：通过识别待检测螺栓的原始图像，获取所述待检测螺栓在所述原始图像上对应的目标检测区域，所述待检测螺栓包括头部、与所述头部连接的螺杆以及拧在所述螺杆上的螺母，所述目标检测区域为所述原始图像上包括所述螺母和外露螺栓的图像区域，所述外露螺栓为所述螺杆上尾部到所述螺母之间的部分，所述尾部为所述螺杆上远离所述头部的一端；根据所述目标检测区域，确定所述待检测螺栓对应的至少一个关键点的像素坐标；基于几何成像理论，根据所述至少一个关键点的像素坐标，确定所述外露螺栓的长度。2.根据权利要求1所述的方法，其特征在于，所述通过识别待检测螺栓的原始图像，获取所述待检测螺栓在所述原始图像上对应的目标检测区域，包括：将所述待检测螺栓的原始图像输入至更快的基于区域卷积神经网络Faster
‑
RCNN模型中，通过所述Faster
‑
RCNN模型识别得到所述待检测螺栓在所述原始图像上对应的目标检测区域。3.根据权利要求1或2所述的方法，其特征在于，所述目标检测区域中的所述关键点包括：第一关键点A，所述第一关键点A为所述尾部的端面上短轴的上端点；第二关键点B，所述第二关键点B为所述尾部的端面上长轴的右端点；第三关键点C，所述第三关键点C为所述尾部的端面上短轴的下端点；第四关键点D，所述第四关键点D为所述尾部的端面上长轴的左端点；第五关键点E，所述第五关键点E为所述第三关键点C在所述螺母的上端面上的正投影。4.根据权利要求3所述的方法，其特征在于，所述根据所述目标检测区域，确定所述待检测螺栓对应的至少一个关键点的像素坐标，包括：将包括所述目标检测区域的第一目标图像输入至级联金字塔网络CPN模型中，通过所述CPN模型中的全局金字塔网络获取所述至少一个关键点中简单关键点的像素坐标，并通过所述CPN模型中的金字塔细化网络获取所述至少一个关键点中困难关键点的像素坐标；其中，所述简单关键点包括：所述第一关键点A、所述第二关键点B和所述第四关键点D，所述困难关键点包括所述第三关键点C和所述第五关键点E。5.根据权利要求4所述的方法，其特征在于，还包括：利用目标训练集，训练所述CPN模型直至所述CPN模型收敛；其中，所述目标训练集包括在不同拍摄条件下拍...

【专利技术属性】
技术研发人员：刘检华，巩浩，邓新建，黄嘉禹，石嵩，王凯，薛奋琪，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：