【技术实现步骤摘要】
本专利技术涉及一种建立结构体目标多关键点视觉跟踪模型的方法、采集平台，属于视觉振动位移测量和计算机视觉领域。
技术介绍
1、大型结构物振动位移测量是在结构物上采集振动数据来对桥梁的动态响应特性进行分析和评估的一项技术。传统的结构物振动位移测量技术主要有应变计法、加速度计法。在结构物上安装应变计和加速度传感器，通过测量应变计的变化和加速度信号来推断计算结构物的振动位移。然而这种方法需要直接安装设备，涉及到一定的施工和维护成本，可能会对结构物造成一定程度的干扰，尤其是在长期监测的情况下；此外加速度计法对低频信号响应较差且需要一定时间的数据处理和分析才能得到振动位移结果，在需要实时检测的情况下不太适用。
技术实现思路
1、本专利技术提供了一种建立结构体目标多关键点视觉跟踪模型的方法，以用于构建结构体目标多关键点视觉跟踪模型，为非接触式方式获得结构体目标的振动位移结果提供支撑；本专利技术还提供了一种用于结构体目标多关键点视觉跟踪的数据采集平台，为获得结构体目标的振动视频数据提供硬件支撑，更进一步，本专利技术可以有效地用于获取斜拉索式桥梁模型的振动视频数据，填补了斜拉索式桥梁模型振动视频数据采集平台的空白；本专利技术还提供了一种结构体目标多关键点视觉跟踪方法，通过调用结构体目标多关键点视觉跟踪模型可以有效地对数据采集平台获取的视频数据进行分析。
2、本专利技术的技术方案是：
3、根据本专利技术的第一方面，提供了一种结构体视觉振动测量旋转平台，以yolov7-pose模
4、所述elan-csp模块具体为：采用cspf操作将yolov7-pose模型的elan模块中第一个cbs与concat之间的cbs进行替换；其中，所述cspf操作具体为：将输入分成两支，第一支经1×1卷积层cbs、bottleneck的输出与第二支经二维卷积conv2d的输出进行concat后，依次经过batchnorm+silu、1×1卷积层cbs获得输出。
5、所述felan-csp模块具体为：采用cspf操作将felan模块中输出只连接concat的第一个cbs进行替换；其中，所述cspf操作具体为：将输入分成两支，第一支经1×1卷积层cbs、bottleneck的输出与第二支经二维卷积conv2d的输出进行concat后，依次经过batchnorm+silu、1×1卷积层cbs获得输出。
6、所述bottleneck中使用了双层1×1卷积层cbs以及跳跃连接。
7、根据本专利技术的第二方面，提供了一种用于结构体目标多关键点视觉跟踪的数据采集平台，包括可旋转式振动台1、可移动式t型运动滑轨2、图像采集装置3；所述可旋转式振动台1用于对放置的结构体目标进行振动模拟，所述可移动式t型运动滑轨2用于安装所述图像采集装置3，所述图像采集装置3用于将采集的结构体目标的视频图像数据传输至控制设备，所述控制设备用于依据所获取的视频图像数据进行结构体目标多关键点视觉跟踪以输出结构体目标振动位移数据。
8、所述可旋转式振动台1包括万向轮4、伺服电机5、精密行星减速机6、传动装置8、旋转平台11、伸缩弹簧装置12、模态激振器13、振动平台14；所述万向轮4用于移动整个可旋转式振动台1，所述伺服电机5用于传输动力至精密行星减速机6，所述精密行星减速机6的动力经传动装置8以带动所述旋转平台11的旋转运动，所述旋转平台11与呈平行布置的所述振动平台14之间安装伸缩弹簧装置12、模态激振器13，通过模态激振器13驱动安装在所述振动平台14上的结构体目标进行振动。
9、所述可移动式t型运动滑轨2包括万向轮4、x方向滑动装置24、y方向滑动装置25、z方向滑动装置26；所述万向轮4用于移动整个可移动式t型运动滑轨2，所述x方向滑动装置24用于带动与所述x方向滑动装置24连接的所述y方向滑动装置25、与所述y方向滑动装置25连接的z方向滑动装置26、与所述z方向滑动装置26连接的所述图像采集装置3沿x方向运动，所述y方向滑动装置25用于带动所述z方向滑动装置26、所述图像采集装置3沿y方向运动，所述z方向滑动装置26用于带动所述图像采集装置3沿z方向运动。
10、所述图像采集装置3包括采集装置固定支架52、相机支架53、手轮54、球头55和高速相机56；采集装置固定支架52与所述可移动式t型运动滑轨2固定，与采集装置固定支架52配合的球头55与相机支架53连接，手轮54通过螺纹与球头55连接在一起，通过手轮54来调节球头55，以改变相机支架53的角度，从而使得安装于相机支架53上的高速相机56能够实现姿态的调节，高速相机56连接到控制设备，以用于将采集的结构体目标振动过程的视频图像数据上传至控制设备。
11、根据本专利技术的第三方面，提供了一种结构体目标多关键点视觉跟踪方法，包括：
12、获取结构体目标视频图像数据构建结构体目标多关键点视觉跟踪数据集；
13、将结构体目标多关键点视觉跟踪数据集划分训练集和验证集；
14、在深度学习网络框架中搭建结构体目标多关键点视觉跟踪模型，配置模型的超参数，参数设置完毕后，依据训练集对模型进行训练，得到权重文件；依据验证集筛选得到最优权重参数，并生成冻结模型；
15、开启用于结构体目标多关键点视觉跟踪的数据采集平台，通过图像采集装置3采集结构体目标的振动视频图像数据传输至控制设备；控制设备调用冻结模型对所采集的视频图像数据进行逐帧关键点位置与类别信息预测，将所获得的关键点位置信息绘制振动位移曲线。
16、本专利技术的有益效果是：
17、一方面，本专利技术通过用于结构体目标多关键点视觉跟踪的数据采集平台实现结构体振动状态的模拟还原，并通过其中的图像采集装置完成高速相机对结构体图像的采集，得到后续分析结构体振动位移所需要的数据集；其中，可移动式t型运动滑轨配合振动平台可旋转式设计有利于采集过程中拍摄视角的调整，能够实现高速相机拍摄角度(如俯仰、远近、高低，倾斜等)的多自由度调整，而且能够在不人工移动斜拉索式桥梁模型的情况下改变斜拉索式桥梁模型的位姿，节省了大量数据采集过程中耗费的时间和人力成本，并且在有控制变量单一需求的实验中，相较于人工调整能获得更小的误差。另一方面，本专利技术建立结构体目标多关键点视觉跟踪模型并进一步地用于结构体目标多关键点视觉跟踪，以实现测量由上述数据采集平台采集所得的振动过程视频数据中结构体模型的振动位移。且通过实验证明：与其它几种算法相比较，本专利技术所提供的多关键点视觉跟踪模型stkpvtm实现了较高的测量精度，同时这种非接触式的视觉振动测量方式还有效解决了本文档来自技高网...
【技术保护点】
1.一种建立结构体目标多关键点视觉跟踪模型的方法，其特征在于，以YOLOv7-pose模型为基础，在主干网络的Focus模块的输出增加卷积层CBS；将主干网络的ELAN模块改为ELAN-CSP模块，将颈部网络的两个FELAN模块改为FELAN-CSP模块，将颈部网络的第一个FELAN-CSP模块输出增加CSPF操作；在颈部网络的输出引入CA注意力机制；引入FocalLoss作为模型的分类损失函数以及置信度损失函数。
2.根据权利要求1所述的建立结构体目标多关键点视觉跟踪模型的方法，其特征在于，所述ELAN-CSP模块具体为：采用CSPF操作将YOLOv7-pose模型的ELAN模块中第一个CBS与Concat之间的CBS进行替换；其中，所述CSPF操作具体为：将输入分成两支，第一支经1×1卷积层CBS、Bottleneck的输出与第二支经二维卷积Conv2d的输出进行Concat后，依次经过BatchNorm+SiLU、1×1卷积层CBS获得输出。
3.根据权利要求1所述的建立结构体目标多关键点视觉跟踪模型的方法，其特征在于，所述FELAN-CSP模块具体
4.根据权利要求2或3所述的建立结构体目标多关键点视觉跟踪模型的方法，其特征在于，所述Bottleneck中使用了双层1×1卷积层CBS以及跳跃连接。
5.一种用于结构体目标多关键点视觉跟踪的数据采集平台，其特征在于，包括可旋转式振动台(1)、可移动式T型运动滑轨(2)、图像采集装置(3)；所述可旋转式振动台(1)用于对放置的结构体目标进行振动模拟，所述可移动式T型运动滑轨(2)用于安装所述图像采集装置(3)，所述图像采集装置(3)用于将采集的结构体目标的视频图像数据传输至控制设备，所述控制设备用于依据所获取的视频图像数据进行结构体目标多关键点视觉跟踪以输出结构体目标振动位移数据。
6.根据权利要求5所述的用于结构体目标多关键点视觉跟踪的数据采集平台，其特征在于，所述可旋转式振动台(1)包括万向轮(4)、伺服电机(5)、精密行星减速机(6)、传动装置(8)、旋转平台(11)、伸缩弹簧装置(12)、模态激振器(13)、振动平台(14)；所述万向轮(4)用于移动整个可旋转式振动台(1)，所述伺服电机(5)用于传输动力至精密行星减速机(6)，所述精密行星减速机(6)的动力经传动装置(8)以带动所述旋转平台(11)的旋转运动，所述旋转平台(11)与呈平行布置的所述振动平台(14)之间安装伸缩弹簧装置(12)、模态激振器(13)，通过模态激振器(13)驱动安装在所述振动平台(14)上的结构体目标进行振动。
7.根据权利要求5所述的用于结构体目标多关键点视觉跟踪的数据采集平台，其特征在于，所述可移动式T型运动滑轨(2)包括万向轮(4)、x方向滑动装置(24)、y方向滑动装置(25)、z方向滑动装置(26)；所述万向轮(4)用于移动整个可移动式T型运动滑轨(2)，所述x方向滑动装置(24)用于带动与所述x方向滑动装置(24)连接的所述y方向滑动装置(25)、与所述y方向滑动装置(25)连接的z方向滑动装置(26)、与所述z方向滑动装置(26)连接的所述图像采集装置(3)沿x方向运动，所述y方向滑动装置(25)用于带动所述z方向滑动装置(26)、所述图像采集装置(3)沿y方向运动，所述z方向滑动装置(26)用于带动所述图像采集装置(3)沿z方向运动。
8.根据权利要求5所述的用于结构体目标多关键点视觉跟踪的数据采集平台，其特征在于，所述图像采集装置(3)包括采集装置固定支架(52)、相机支架(53)、手轮(54)、球头(55)和高速相机(56)；采集装置固定支架(52)与所述可移动式T型运动滑轨(2)固定，与采集装置固定支架(52)配合的球头(55)与相机支架(53)连接，手轮(54)通过螺纹与球头(55)连接在一起，通过手轮(54)来调节球头(55)，以改变相机支架(53)的角度，从而使得安装于相机支架(53)上的高速相机(56)能够实现姿态的调节，高速相机(56)连接到控制设备，以用于将采集的结构体目标振动过程的视频图像数据上传至控制设备。
9.一种结构体目标多关键点视觉跟踪方法，其特征在于，包括：
...【技术特征摘要】
1.一种建立结构体目标多关键点视觉跟踪模型的方法，其特征在于，以yolov7-pose模型为基础，在主干网络的focus模块的输出增加卷积层cbs；将主干网络的elan模块改为elan-csp模块，将颈部网络的两个felan模块改为felan-csp模块，将颈部网络的第一个felan-csp模块输出增加cspf操作；在颈部网络的输出引入ca注意力机制；引入focalloss作为模型的分类损失函数以及置信度损失函数。
2.根据权利要求1所述的建立结构体目标多关键点视觉跟踪模型的方法，其特征在于，所述elan-csp模块具体为：采用cspf操作将yolov7-pose模型的elan模块中第一个cbs与concat之间的cbs进行替换；其中，所述cspf操作具体为：将输入分成两支，第一支经1×1卷积层cbs、bottleneck的输出与第二支经二维卷积conv2d的输出进行concat后，依次经过batchnorm+silu、1×1卷积层cbs获得输出。
3.根据权利要求1所述的建立结构体目标多关键点视觉跟踪模型的方法，其特征在于，所述felan-csp模块具体为：采用cspf操作将felan模块中输出只连接concat的第一个cbs进行替换；其中，所述cspf操作具体为：将输入分成两支，第一支经1×1卷积层cbs、bottleneck的输出与第二支经二维卷积conv2d的输出进行concat后，依次经过batchnorm+silu、1×1卷积层cbs获得输出。
4.根据权利要求2或3所述的建立结构体目标多关键点视觉跟踪模型的方法，其特征在于，所述bottleneck中使用了双层1×1卷积层cbs以及跳跃连接。
5.一种用于结构体目标多关键点视觉跟踪的数据采集平台，其特征在于，包括可旋转式振动台(1)、可移动式t型运动滑轨(2)、图像采集装置(3)；所述可旋转式振动台(1)用于对放置的结构体目标进行振动模拟，所述可移动式t型运动滑轨(2)用于安装所述图像采集装置(3)，所述图像采集装置(3)用于将采集的结构体目标的视频图像数据传输至控制设备，所述控制设备用于依据所获取的视频图像数据进行结构体目标多关键点视觉跟踪以输出结构体目标振动位移数据。
6.根据权利要求5所述的用...
【专利技术属性】
技术研发人员：王森，沈爱萍，杨荣良，朱黎颖，孙瑞阳，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。