一种塔机斜拉斜吊智能检测方法、终端、设备以及介质技术

本发明专利技术属于图像处理技术领域，公开了一种塔机斜拉斜吊智能检测方法、终端、设备以及介质，塔机斜拉斜吊智能检测方法包括：获取吊钩的实时图像，并利用预先构建并训练好的yolov5吊钩检测模型基于所述吊钩实时图像进行吊钩的识别，同时基于预先标定的吊钩初始位置计算吊钩的偏移距离以及斜拉角，进行吊钩斜拉判断。本发明专利技术以塔机吊钩为标志物，解决了摄像头安装位置以及倍率变化对检测精度影响的问题。本发明专利技术的塔机斜拉斜吊智能检测方法不需要额外增加标志物，更适用于塔机施工作业的工况。本发明专利技术的塔机斜拉斜吊智能检测方法能够适合不同工况下塔机斜拉斜吊的检测，检测精度高。检测精度高。检测精度高。

【技术实现步骤摘要】
一种塔机斜拉斜吊智能检测方法、终端、设备以及介质


[0001]本专利技术属于图像处理
，尤其涉及一种塔机斜拉斜吊智能检测、终端、设备以及介质。

技术介绍

[0002]目前，塔式起重机（以下简称塔机）主要应用于建筑施工中材料的垂直吊载、水平运输以及建筑构件的安装。为了保证安全，在塔机操作规程中明确规定不准“斜拉斜吊”，但实际工作中，为了方便，塔机司机常常进行斜拉斜吊的违规操作，导致塔机倾翻的恶性安全事故，因此，对塔机吊装状态进行实时检测，避免斜拉斜吊的违规操作非常重要。由于塔机吊装过程钢绳处于摆动状态，传统的塔机吊钩斜拉斜吊检测采用机械检测方法，比如专利CN215558465U一种塔式起重机防斜拉检测装置，设计了一个机械结构实现吊钩斜拉斜吊的检测；传统方法实现比较困难，随着人工智能、机器视觉的发展，通过视觉图像识别吊钩是否斜拉具有较好的前景。
[0003]现有技术1（CN101428740A一种小车起重作业用防偏拉的方法），通过将视频摄像头位于吊钩上方，安装在塔机的变幅小车上，摄像头下方加装一个位置固定的标志杆，然后利用图像识别吊钩斜拉角。
[0004]然而，上述方法存在两个问题：（1）需要在小车上加装标识杆，根据塔机工作原理，吊钩在吊装作业过程中一直处于摆动状态，这种方法可能导致吊钩钢绳磨损与标志物碰撞发生脱落等安全事故；（2）原有的计算方法要求标志杆中心位置、摄像头中心以及吊钩初始位置（即钢绳垂直向下，吊钩没有发生斜拉斜吊的位置）三者一致，然而，实际工程中，由于安装位置有限，摄像头安装位置很难与吊钩初始位置一致，同时，如果标志杆中心位置与吊钩初始位置一致，容易导致钢绳与标志杆的碰撞，所以，已有的技术在实际工作不能解决工程问题。
[0005]通过上述分析，现有技术存在的问题及缺陷为：现有的斜拉斜吊检测比较困难，检测精度不高，需要另外设置标识杆，同时无法应用于实际场景中。

技术实现思路

[0006]针对现有技术存在的问题，本专利技术提供了一种塔机斜拉斜吊智能检测方法、终端、设备以及介质。
[0007]本专利技术是这样实现的，一种塔机斜拉斜吊智能检测方法，所述塔机斜拉斜吊智能检测方法包括：获取吊钩的实时图像，并利用预先构建并训练好的yolov5吊钩检测模型基于所述吊钩实时图像进行吊钩的识别，同时基于预先标定的吊钩初始位置计算吊钩的偏移距离以及斜拉角，进行吊钩斜拉判断。
[0008]进一步，所述塔机斜拉斜吊智能检测方法包括以下步骤：步骤一，通过采集吊钩的图像制备吊钩样本集，构建yolov5吊钩检测模型，并基于
所述吊钩样本集训练所述yolov5吊钩检测模型；用于视频图像中识别塔机吊钩；步骤二，通过设置实际吊钩的尺寸，获取吊钩初始位置的图像并识别吊钩，在此基础上计算吊钩初始位置的安装偏移距离，完成吊钩初始位置的标定；完成图像识别中标志物设置，解决了吊钩安装位置不确定情况下吊钩斜拉斜吊的识别，提高了本专利技术方法的适用性；步骤三，通过获取吊钩的实时图像、进行吊钩识别并计算当前视频倍率下吊钩实际尺寸与像素尺寸之间的比例，实现吊钩实时图像中吊钩当前位置与初始位置之间的偏移距离，完成吊钩斜拉角进行吊钩斜拉判断；解决了塔机倍率变化工况下，吊钩偏移距离的计算，提高了吊钩斜拉斜吊检测精度。
[0009]进一步，所述步骤一中通过采集吊钩的图像制备吊钩样本集，构建yolov5吊钩检测模型，并基于所述吊钩样本集训练所述yolov5吊钩检测模型包括：（1）利用设置于塔机的小车底部吊钩的上方的摄像设备实时获取吊钩的图像；（2）利用labelImg对采集的吊钩图像进行吊钩目标的标注，构建得到包含不同状态的吊钩图像的吊钩样本集；（3）构建yolov5吊钩检测模型；将所述导入所述yolov5吊钩检测模型中进行训练，直至模型收敛，将训练好的网络结构和参数设置到yolov5目标检测网络中得到训练好的yolov5吊钩检测模型。
[0010]进一步，所述yolov5吊钩检测模型包括：主干特征提取网络，用于利用深度残差网络生成吊钩320*320*64、160*160*128、80*80*256、40*40*512、20*20*1024五个特征层；多尺度特征融合结构，用于利用FPN+PAN对提取的网络特征进行融合，得到融合不同尺度的特征信息的有效特征层；分类器与回归器，用于对得到的有效特征层进行一次卷积处理，得到三个有效特征层分别对应的YoloHead，采用CIOU_Loss作为bounding box的损失函数，对图像进行目标识别，并对特征原始格点坐标进行回归。
[0011]进一步，所述步骤二中通过设置实际吊钩的长边尺寸，获取吊钩初始位置的图像并识别吊钩，在此基础上计算吊钩初始位置的安装偏移距离，完成吊钩初始位置的标定，包括：首先，以吊钩作为标志物确定实际吊钩长边尺寸；当吊钩处于初始位置时，获取吊钩初始位置图像；其次，利用训练好的yolov5吊钩检测模型识别所述吊钩初始位置图像中的吊钩并回归吊钩在图像中的位置，得到吊钩目标识别的矩形框顶点；然后，根据识别的吊钩矩形框顶点，得到吊钩在初始位置时吊钩中心在图像中的像素坐标；最后，根据吊钩目标识别的矩形框顶点以及实际吊钩长边尺寸，计算实际尺寸与像素尺寸之间的比例以及吊钩初始位置的中心与摄像设备中心的实际偏移：；
；；其中， k0表示实际尺寸与像素尺寸之间的比例；a表示实际吊钩的长边尺寸；（x
10
，y
10
）、（x
20
，y
20
）表示吊钩目标识别的矩形框顶点；w、h表示吊钩初始位置图像Im0像素尺寸；（O
x0
，O
y0
）表示吊钩在初始位置时吊钩中心O在图像中的像素坐标； x0和y0表示吊钩初始位置的中心O与摄像头中心A的实际偏移。
[0012]进一步，所述吊钩的初始位置为钢绳自然下垂，且吊钩没有发生斜拉斜吊的位置。
[0013]进一步，所述步骤三中通过获取吊钩的实时图像、进行吊钩识别并计算当前视频倍率下吊钩实际尺寸与像素尺寸之间的比例、吊钩实时图像中位置偏移距离、吊钩当前位置与初始位置之间的距离、吊钩斜拉角进行吊钩斜拉判断包括：1）利用摄像设备实时获取塔机工作过程中吊钩视频，对视频图像流每5帧进行一次帧提取，得到吊钩当前图像；2）利用训练好的吊钩检测模型识别所述当前图像中的吊钩，回归吊钩在当前图像中的位置，得到吊钩矩形框顶点（x1，y1）以及（x2，y2），并计算吊钩在当前位置时吊钩中心O的像素坐标（O
x
，O
y
）：；3）根据吊钩当前图像中的矩形框顶点（x1，y1）、（x2，y2），以及实际吊钩长边尺寸a，计算当前视频倍率下实际尺寸与像素尺寸之间的比例k：；4）计算吊钩当前图片的位置相对于摄像头中心A的实际偏移距离x和y：；5）根据吊钩初始位置与摄像头中心A的偏移距离x0、y0，以及当前吊钩位置与摄像头中心A的偏移距离x、y计算当前吊钩位置与初始位置之间的距离s：；6）计算吊钩初始位置与当前吊钩位置之间的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种塔机斜拉斜吊智能检测方法，其特征在于，所述塔机斜拉斜吊智能检测方法包括：获取吊钩的实时图像，并利用预先构建并训练好的yolov5吊钩检测模型基于所述吊钩实时图像进行吊钩的识别，同时基于预先标定的吊钩初始位置计算吊钩的偏移距离以及斜拉角，进行吊钩斜拉判断。2.如权利要求1所述塔机斜拉斜吊智能检测方法，其特征在于，所述塔机斜拉斜吊智能检测方法包括以下步骤：步骤一，通过采集吊钩的图像制备吊钩样本集，构建yolov5吊钩检测模型，并基于所述吊钩样本集训练所述yolov5吊钩检测模型；步骤二，通过设置实际吊钩的长边尺寸、获取吊钩初始位置的图像、识别吊钩以及计算吊钩初始位置的偏移距离进行吊钩初始位置的标定；步骤三，通过获取吊钩的实时图像、进行吊钩识别并计算当前视频倍率下吊钩实际尺寸与像素尺寸之间的比例、吊钩实时图像中位置偏移距离、吊钩当前位置与初始位置之间的距离、吊钩斜拉角进行吊钩斜拉判断。3.如权利要求2所述塔机斜拉斜吊智能检测方法，其特征在于，所述步骤一中通过采集吊钩的图像制备吊钩样本集，构建yolov5吊钩检测模型，并基于所述吊钩样本集训练所述yolov5吊钩检测模型包括：（1）利用设置于塔机的小车底部吊钩的上方的摄像设备实时获取吊钩的图像；（2）利用labelImg对采集的吊钩图像进行吊钩目标的标注，构建得到包含不同状态的吊钩图像的吊钩样本集；吊钩样本集（3）构建yolov5吊钩检测模型；将所述导入所述yolov5吊钩检测模型中进行训练，直至模型收敛，将训练好的网络结构和参数设置到yolov5目标检测网络中得到训练好的yolov5吊钩检测模型。4.如权利要求3所述塔机斜拉斜吊智能检测方法，其特征在于，所述yolov5吊钩检测模型包括：主干特征提取网络，用于利用深度残差网络生成吊钩320*320*64、160*160*128、80*80*256、40*40*512、20*20*1024五个特征层；多尺度特征融合结构，用于利用FPN+PAN对提取的网络特征进行融合，得到融合不同尺度的特征信息的有效特征层；分类器与回归器，用于对得到的有效特征层进行一次卷积处理，得到三个有效特征层分别对应的YoloHead，采用CIOU_Loss 作为bounding box的损失函数，对图像进行目标识别，并对特征原始格点坐标进行回归。5.如权利要求2所述塔机斜拉斜吊智能检测方法，其特征在于，所述步骤二中通过设置实际吊钩的长边尺寸、获取吊钩初始位置的图像、识别吊钩以及计算吊钩初始位置的偏移距离进行吊钩初始位置的标定包括：首先，以吊钩作为标志物确定实际吊钩长边尺寸；当吊钩处于初始位置时，获取吊钩初始位置图像；其次，利用训练好的yolov5吊钩检测模型识别所述吊钩初始位置图像中的吊钩并回归吊钩在图像中的位置，得到吊钩目标识别的矩形框顶点；
然后，根据识别的吊钩矩形框顶点，得到吊钩在初始位置时吊钩中心在图像中的像素坐标；最后，根据吊钩目标识别的矩形框顶点以及实际吊钩长边尺寸，计算实际尺寸...

【专利技术属性】
技术研发人员：刘帝芳，门新延，杨文静，王阳阳，樊治平，
申请(专利权)人：陕西建设机械股份有限公司，
类型：发明
国别省市：