基于改进型孪生神经网络的螺栓松动检测算法及检测系统技术方案

本发明专利技术公布了基于改进型孪生神经网络的螺栓松动检测算法及检测系统，提出使用孪生网络来进行螺栓松动检测，可针对不同天气环境、不同采集角度的螺栓进行松动检测，且无须增添额外的标记线，降低了人工成本，并针对螺栓松动检测的任务特点对孪生网络的结构进行了改进，提高了松动检测的精准度。提高了松动检测的精准度。提高了松动检测的精准度。

【技术实现步骤摘要】
基于改进型孪生神经网络的螺栓松动检测算法及检测系统


[0001]本专利技术属于目标检测的人工智能
，涉及基于改进型孪生神经网络的螺栓松动检测算法及检测系统。

技术介绍

[0002]六角螺栓作为常用的结构紧固件之一，在各种场景中应用广泛，如风机塔筒、道路桥梁等。在实际场景中，螺栓会经常由于共振、腐蚀、外力冲击等因素的影响而产生松动甚至脱落，对设施安全造成极大的隐患，对螺栓状态进行定期巡检是运维中的重要工作。
[0003]螺栓最主要缺陷是松动，目前针对螺栓的松动主要仍是人工巡检，不仅工作量大，且在检测过程中对人员存在一定的安全风险。国内外提出一些利用声、光、电等传感器进行螺栓松动检测的方案，如压电阻抗法，利用具有正逆压电效应的压电材料制作传感器，可以达到松动检测的目的，但缺点是需要在每个螺栓上安装传感器，不适合大规模螺栓使用的场景，且易脱落造成额外的运维风险；超声波检测法，利用超声波穿透螺栓，预紧力降低时会增加反射时间，但缺点是需要专用的声波测量仪器对传播的时间进行测算，且需要专业仪器才能计算准确，成本高，实际应用难度大。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于改进型孪生神经网络的螺栓松动检测算法，其特征在于，包括以下步骤：S1.采集多个点位的螺栓图像，包括同一位点的螺栓在不同时间段、不同外部环境、不同角度进行图像采集得到螺栓图像；S2.建立基于改进型DeepLabv3+的孪生神经网络模型：S21.建立改进型DeepLabv3+网络，采用mobilenetv3网络作为Deeplabv3+模型的主干网络，结合ASPP模块，构建Deeplabv3+架构，在mobilenetv3网络的低语义信息输出端和Concat单元之间加入另一个CBAM模块，增加对边缘关注度，并降低对其他特征的关注度；在ASPP模块与转置卷积单元之间加入CBAM模块，使Deeplabv3+网络学习到当前图像中存在螺栓这一类目标，使主干网络通过一个CBAM模块向Concat单元输出低语义信息，和使主干网络通过多层级联ASPP向转置卷积单元输出高语义信息，所述改进型DeepLabv3+网络用于从螺栓图像中提取螺栓特征；S22. 训练改进型DeepLabv3+网络；S23. 以改进型DeepLabv3+网络作为孪生神经网络的子网络，建立基于改进型DeepLabv3+的改进型孪生神经网络，两个子网络共享权重，所述改进型孪生神经网络的相似度计算模块将两个子网络输出的特征图进行点乘操作，使两张特征图中相同位置被标注的特征的关注度提高，再通过Concat操作，将点乘之后的特征图和原特征图进行通道数合并处理，并利用最大值池化和平均池化获取通道数合并后多维特征不同位置的重要程度，最后通过一个7
×
7的卷积和Sigmoid操作，得到表示输入两个子网络的螺栓图像之间相似度的权重特征图；S24.冻结改进型DeepLabv3+网络的参数，对改进型孪生神经网络的判别器进行训练；S25.训练基于改进型DeepLabv3+的改进型孪生神经网络;S3. 将螺栓未发生松动时保存下来的图像和之后实时采集的螺栓图像输入经步骤S2~S25训练好的改进型孪生神经网络，通过输出结果判断螺栓在采集图像的时刻是否发生了松动。2.根据权利要求1所述的基于改进型孪生神经网络的螺栓松动检测算法，其特征在于，步骤S22包括：S221.从步骤S1得到的螺栓图像数据集中拷贝螺栓图像数据，利用Labelme软件对所有的螺栓图像进行标注，将图像中螺栓真实存在的区域对应的像素点标注为正例i，将图像中背景被识别成螺栓的区域对应的像素点标注为负例j；S222.将标注好的数据划分为训练集一、验证集一和测试集一，每个螺栓图像作为一组数据；S223.将已知标注的螺栓图像输入DeepLabv3+网络进行学习，通过损失函数获取输入验证集一后输出对应的损失，基于损失进行反向传播，更新DeepLabv3+网络中每个卷积层的参数；S224. 获取测试集一输入DeepLabv3+网络后的评价值mIoU，判断测试集一输入DeepLabv3+网络后的评价值mIoU是否大于阈值，若是则输出当前DeepLabv3+网络，得到改进型DeepLabv3+网络；否则返回步骤S223；
；其中：p
ij
表示的正例被误判为负例的数量，k+1表示分割类别数，k=1，分割类别数为2，p
ii
表示正例正确检测的数量，p
ji
表示假负例的数量。3.根据权利要求2所述的基于改进型孪生神经网络的螺栓松动检测算法，其特征在于，步骤S22训练中使用Dice Loss作为损失函数判断两个集合相似度，训练过程中，当损失函数不再下降时，即可认为训练达到收敛，并保存DeepLabv3+网络模型和每个卷积层的参数；Dice Loss的公式如下：；其中，X、Y分别表示正例和负例的集合。4.根据权利要求1所述的基于改进型孪生神经网络的螺栓松动检测算法，其特征在于，步骤S24包括：冻结改进型DeepLabv3+网络的参数，将训练数据中的正负样本输入改进型孪生神经网络的判别器进行学习，同时将验证数据中正负样本输入判别器输出对应的损失FL(p)FL(1
‑
p)，基于分类损失值L1进行反向传播，更新判别器的参数；L1= y1‑
p
×
FL(p)+ x
p
×
FL(1<...

【专利技术属性】
技术研发人员：刘畅，王宇庭，黄忠初，沈阳武，何立夫，张宸，任家朋，邝家月，
申请(专利权)人：三峡智控科技有限公司，
类型：发明
国别省市：