一种钢结构节点静动态位移非接触式测量方法及系统技术方案

本发明专利技术公开了一种钢结构节点静动态位移非接触式测量方法及系统，本发明专利技术方案通过采集钢节点静动态位移前后图像；训练改进YOLO V4算法，并对采集到的变形前后图像进行识别定位处理输出坐标；将输出坐标与相机拍摄点进行匹配并进行坐标转换获得特征点空间坐标变换，在不接触建筑钢结构节点的同时测量该节点静动态位移变化情况，能大幅提高测量效率并对不同使用环境具有良好的适用性。使用环境具有良好的适用性。使用环境具有良好的适用性。

【技术实现步骤摘要】
一种钢结构节点静动态位移非接触式测量方法及系统


[0001]本专利技术涉及建筑结构节点非接触式测量技术与网络深度学习
，尤其涉及钢结构节点静动态位移非接触式测量方法及系统。

技术介绍

[0002]节点是结构体系的传力枢纽，一旦节点失效则会导致结构整体破坏甚至倒塌。钢结构在长期服役过程中，受环境腐蚀、偶然荷载、材料劣化等因素影响不可避免地存在结构损伤，其节点静动态位移是衡量整体结构刚度和稳定性的重要指标，对于评估钢结构的服役可靠性具有重要意义。然而，对于一些高耸、大跨以及处于恶劣服役环境的钢结构，人工攀爬到节点位置的危险性大，因此在节点上安装位移传感器的难度很大，难以对节点静动态位移进行准确和快捷地测量。
[0003]基于计算机视觉的结构非接触式测量是可实现真正意义上的无接触位移测量，该方法无需复杂的激光光源与干涉光路，测量系统由相机、镜头、计算机、处理软件等组成，借助相机拍摄的图像与计算机开展分析便可得到结构变形特征。大部分计算机视觉测量方法应用于结构进行位移测量时，需人工标记测点，对采集到的图像测点进行人工选择匹配，工作量偏大，降低了测量效率，也可能导致测量误差。为解决该问题，可采用深度学习中的目标检测来对目标物进行自动识别及定位。尤其对于钢结构节点的远距离非接触式测量，存在目标尺寸小和位移小等特点，对于测量精度要求较高。因此，本专利技术提出一种基于改进YOLO V4算法的钢结构节点静动态位移测量算法，可实现多特征物的自动定位识别，对小目标特征物的静动态位移能实现高效、准确的无接触测量。
专利
技术实现思路

[0004]有鉴于此，本专利技术的目的在于提出一种钢结构节点静动态位移非接触式测量方法及系统，本专利技术方案既可实现对节点小目标静动态位移的准确测量，又可解决现有方法中训练时间长，对计算机硬件要求高等技术缺陷。
[0005]为了实现上述的技术目的，本专利技术所采用的技术方案为：
[0006]一种钢结构节点静动态位移非接触式测量方法，其包括：
[0007]S01、按预设要求对单目相机进行标定，获得单目相机标定参数，还通过单目相机拍摄钢结构节点在结构发生变形前后的图像；
[0008]S02、将钢结构节点在结构发生变形前后的图像导入到经训练的目标检测算法中，由目标检测算法对钢结构节点对应的图像进行特征物识别、定位，输出特征物二维图像坐标；
[0009]S03、将单目相机标定参数与特征物二维图像坐标进行测点匹配，然后将特征物二维图像坐标进行转换，获得单目相机所拍摄钢结构节点对应特征点的空间坐标变化情况。
[0010]本方案中，可以通过图像采集模块、图像识别定位模块和位移测量模块来形成一测量系统来实施上述方法。
[0011]本方案中，可以通过图像采集模块来集成所述单目相机，该图像采样模块用于按预设要求对单目相机进行标定，获得单目相机标定参数，还通过单目相机拍摄钢结构节点在结构发生变形前后的图像。
[0012]作为一种可能的实施方式，进一步，本方案S01中，通过张正友相机标定法对单目相机进行标定；
[0013]其中，标定过程中采用的标定板包括玻璃基板以及附着其上的氧化铝面板，光线在其表面发生漫反射，因此不会出现塑料面板因反光产生的角点检测偏差现象。标定板上设有棋盘格，其外形尺寸为290mm
×
230mm，方格边长为20mm，图案阵列为12
×
9，图案尺寸为240mm
×
180mm，检测精度为0.01mm；
[0014]另外，标定过程中为固定相机焦距进行拍摄，使得相机视野范围内的标定板所占比例为1/4～1/3；然后，利用相机对不同位置、角度下的标定板进行拍摄，使标定板能够布满视场各个区域但不超出相机成像范围，同时按预设要求将部分标定板进行倾斜，获取与成像平面成预设夹角的棋盘格图像，且拍摄一张与振动方向平行的棋格板，以作为后期位移换算的参考坐标系；
[0015]同时，标定过程中利用Matlab的camera calibration工具箱来完成张正友相机标定。所述钢结构节点拍摄采用所述单目相机对钢结构节点进行识别定位拍摄，得到钢结构节点变形前后图像。
[0016]本方案中，可以通过图像识别定位模块来对图像采集模块输出的相关数据进行继续处理，图像识别定位模块通过加载经训练的目标检测算法进行处理。
[0017]作为一种较优的选择实施方式，优选的，本方案S02中，目标检测算法的训练方法包括：
[0018]A01、汇集钢结构节点图片数据且对其进行标注和建立特征物数据库(可以通过网络搜集的钢结构节点图片及试验室拍摄图片建立特征物数据库)，其中，特征物数据库中的样本数量不少于7200条，所述钢结构节点图片数据包括焊接节点、螺栓连接节点和栓焊混合节点一种以上以不同连接形式的组合，其也包括框架节点、桁架节点和空间节点中一种以上不同体系的节点类型；
[0019]A02、从特征物数据库中提取数据，且按照7：2：1的比例划分为训练集、验证集及测试集，再利用预设YOLO V4算法对数据库中提取的数据进行训练和测试；在模型完成训练并达到精度要求后，模型收敛；经训练的YOLO V4算法作为目标检测算法，其用于对单目相机拍摄的钢结构节点变形前后图像进行识别钢结构节点特征物位置并获取钢结构节点二维图像坐标，即特征物二维图像坐标。
[0020]本方案中，目标检测算法为YOLO V4算法，其有别于传统算法，本方案的YOLO V4算法中主干特征提取网络由传统的CSPDarknet53替换为MobileNet V3；所述MobileNet V3算法综合了MobileNet V1的深度可分离卷积与MobileNet V2的逆残差结构优势，并引入轻量级的注意力模型，激活函数由swish优化为h
‑
swish，减少整个网络模型运算量。
[0021]作为一种较优的选择实施方式，优选的，本方案所述YOLO V4算法包括主干特征提取网络MobileNet V3，其激活函数为h
‑
swish；
[0022]所述h
‑
swish的函数式为：
[0023][0024]即：
[0025][0026]其中，ReLU6函数的表达式为：
[0027]ReLU6(x)＝min(max(0,x),6)。
[0028]作为一种较优的选择实施方式，优选的，本方案所述YOLO V4算法还包括加强特征提取网络SPP和PANet，以及与加强特征提取网络PANet连接的预测网络Yolo Head，其中，加强特征提取网络SPP和主干特征提取网络MobileNet V3之间还通过卷积层连接。
[0029]作为一种较优的选择实施方式，优选的，本方案所述主干特征提取网络MobileNet V3的主要构建步块为Bneck结构，对主干网络而言，输入到主干特征提取网络MobileNet V3的特征层先利用1
×
1的卷积进行升维，再利用3
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种钢结构节点静动态位移非接触式测量方法，其特征在于，其包括：S01、按预设要求对单目相机进行标定，获得单目相机标定参数，还通过单目相机拍摄钢结构节点在结构发生变形前后的图像；S02、将钢结构节点在结构发生变形前后的图像导入到经训练的目标检测算法中，由目标检测算法对钢结构节点对应的图像进行特征物识别、定位，输出特征物二维图像坐标；S03、将单目相机标定参数与特征物二维图像坐标进行测点匹配，然后将特征物二维图像坐标进行转换，获得单目相机所拍摄钢结构节点对应特征点的空间坐标变化情况。2.如权利要求1所述的钢结构节点静动态位移非接触式测量方法，其特征在于，S01中，通过张正友相机标定法对单目相机进行标定；其中，标定过程中采用的标定板包括玻璃基板以及附着其上的氧化铝面板，标定板上设有棋盘格，其外形尺寸为290mm
×
230mm，方格边长为20mm，图案阵列为12
×
9，图案尺寸为240mm
×
180mm，检测精度为0.01mm；另外，标定过程中为固定相机焦距进行拍摄，使得相机视野范围内的标定板所占比例为1/4～1/3；然后，利用相机对不同位置、角度下的标定板进行拍摄，使标定板能够布满视场各个区域但不超出相机成像范围，同时按预设要求将部分标定板进行倾斜，获取与成像平面成预设夹角的棋盘格图像，且拍摄一张与振动方向平行的棋格板，以作为后期位移换算的参考坐标系；同时，标定过程中利用Matlab的camera calibration工具箱来完成张正友相机标定。3.如权利要求1或2所述的钢结构节点静动态位移非接触式测量方法，其特征在于，S02中，目标检测算法的训练方法包括：汇集钢结构节点图片数据且对其进行标注和建立特征物数据库，其中，特征物数据库中的样本数量不少于7200条，所述钢结构节点图片数据包括焊接节点、螺栓连接节点和栓焊混合节点一种以上以不同连接形式的组合，其也包括框架节点、桁架节点和空间节点中一种以上不同体系的节点类型；从特征物数据库中提取数据，且按照7：2：1的比例划分为训练集、验证集及测试集，再利用预设YOLO V4算法对数据库中提取的数据进行训练和测试；在模型完成训练并达到精度要求后，模型收敛；经训练的YOLO V4算法作为目标检测算法，其用于对单目相机拍摄的钢结构节点变形前后图像进行识别钢结构节点特征物位置并获取钢结构节点二维图像坐标，即特征物二维图像坐标。4.如权利要求3所述的钢结构节点静动态位移非接触式测量方法，其特征在于，所述YOLO V4算法包括主干特征提取网络MobileNet V3，其激活函数为h
‑
swish；所述h
‑
swish的函数式为：即：
其中，ReLU6函数的表达式为：ReLU6(x)＝min(max(0,x),6)。5.如权利要求4所述的钢结构节点静动态位移非接触式测量方法，其特征在于，所述YOLO V4算法还包括加强特征提取网络SPP和PANet，以及与加强特征提取网络PANet连接的预测网络Yolo Head，其中，加强特征提取网络SPP和主干特征提取网络MobileNet V3之间还通过卷积层连接。6.如权利要求5所述的钢结构节点静动态位移非接触式测量方法，其特征在于，所述主干特征提取网络MobileNet V3的主要构建步块为Bneck结构，输入到主干特征提取网络MobileNet V3的特征层先利用1
×
1的卷积进行升维，再利用3
×
3的深度可分离卷积提取特征，继而对特征层的通道施加注意力机制，最后利用1
×
1的卷积对特征层进行降维；其中，所述施加注意力机制是先展开全局平均池化，获得特征层长条，对特征层长条展开两次全连接，将长条与3
×
3的深度可分离卷积提取特征相乘，给特征层的每个通道施加注意力机制。7.如权利要求6所述的钢结构节点静动态位移非接触式测量方法，其特征在于，所述YOLO V4算法将所测结构目标特征物图像数据集输入到主干特征提取网络MobileNet V3中进行通道升维，而后输入到多层卷积块中提取有效特征，获取特征层高宽及通道数与YOLO V4算法主干特征提取网络MobileNet V3最后三个有效特征层Part1、Part2和Part3一致的特征提取层，该三个有效特征层分别对应MobileNet V3网络的第七、第十三以及第十六层；将所述获得的三个初步有效特征层传入加强特征提取网络SPP和PANet组成的加强特征提取网络中实现三个有效特征层的特征融合，获得更有效特征；再利用加强特征提取网络获取得到的更有效特征层进行预测，获得更有效的预测结果；通过对所述特征物进行钢结构节点目标框选定位，读取所述目标框标签及图像坐标，对所述目标框结果进行评估，得到特征物目标框定位精度评价指标；为衡量预测框与真实框的匹配程度，引入IOU值来作为衡量定位准确度的指标：IOU＝S
交
/S
并
式中，S
交
表示预测框和实际框之间的重叠区域，S
并
表示预测框和实际框所占有的总区域，IOU即真实框与...

【专利技术属性】
技术研发人员：廖飞宇，张崇林，骆勇鹏，
申请(专利权)人：福建农林大学，
类型：发明
国别省市：