一种水下穿销对孔的检测方法技术

本发明专利技术公开了一种水下穿销对孔的检测方法，具体步骤包括：（1）获取穿销对孔过程视频，并进行图像预处理；（2）获取抓梁震动频率数据，并进行声音特征提取；（3）采用预训练的图像识别模型和声音识别模型，获取语义级别的图像特征和声音特征；（4）采用跨模态对齐模型，实现图像和声音特征的对齐；（5）使用对齐后的特征进行特征融合，通过深度学习模型进行穿销对孔是否对位的检测。本发明专利技术采用跨模态的网络模型，能够有效整合多种类型的数据，提供更丰富、更全面的信息，提高水下识别的准确性；该方法可以辅助管理人员对现场进行监控，加强工程管理规范性，提升工程整体效率，同时还降低成本消耗以及意外事故和人员伤亡发生的概率。耗以及意外事故和人员伤亡发生的概率。耗以及意外事故和人员伤亡发生的概率。

【技术实现步骤摘要】
一种水下穿销对孔的检测方法


[0001]本专利技术属于目标检测
，特别涉及一种水下穿销对孔的检测方法。

技术介绍

[0002]随着我国经济的快速发展，基础设施建设项目越来越多，穿销对孔的应用范围也越来越广泛，因此对穿销对孔的控制和安全问题变得尤为重要。目前在建筑工地上，主要依靠人工监督管理来确保穿销对孔的安全控制，但是由于工地环境的复杂性，无法保证工人始终在视线范围内，因此这种方法效率较低，建筑工地的人员安全难以得到保证。
[0003]在一些特殊场景下，如水下操作，抓梁与闸门等穿销对孔的精确性无法直接观察，传统的图像识别技术会受到水下环境的影响而无法正常工作，因此需要研究出高精度的检测方法。针对以上问题，需要进一步改进技术手段。

技术实现思路

[0004]本专利技术的目的在于针对现有技术的不足，提出一种水下穿销对孔的检测方法，其目的在于解决水下穿销对孔精准检查的问题，解决在复杂水下场景的精准检查的难题，实现对抓梁与闸门安全对接的精准管控。
[0005]本专利技术的目的是通过以下技术方案实现的：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种水下穿销对孔的检测方法，其特征在于，包括如下步骤：(1)获取穿销对孔过程视频，并进行图像预处理；(2)获取抓梁震动频率数据，并进行声音信息提取；(3)采用预训练的图像识别模型和声音识别模型，获取语义级别的图像特征和声音特征；(4)采用跨模态对齐模型，实现图像和声音特征的对齐；(5)使用对齐后的特征进行特征融合，通过深度学习模型进行穿销对孔是否对位的检测。2.根据权利要求1所述的一种水下穿销对孔的检测方法，其特征在于，所述步骤(1)包括以下子步骤：(1.1)视频帧提取：采用等间隔采样方法将视频拆分成若干帧图像，相关公式为：F
t
＝V(t)其中，F
t
表示第t帧图像，V(t)表示第t帧视频；(1.2)图像缩放和裁剪：对提取的视频帧进行缩放和裁剪，以满足模型输入的大小要求，并减少计算量，相关公式为：F
′
t
＝crop(scale(F
t
))其中，F'
t
表示经过缩放和裁剪后的图像，crop表示裁剪操作，scale表示缩放操作；(1.3)图像增强：对图像进行亮度增强、对比度增强、颜色空间变换等，以提高图像质量和增强图像特征，相关公式为：F
″
t
＝enh ance(F'
t
)其中F
″
t
表示图像增强后的图像，enh ance表示图像增强操作；(1.4)数据标准化：将增强后的图像进行标准化操作，以便图像中的每个像素值具有相同的数据范围和均值，标准化操作可以使得模型更加稳定和可靠，相关公式为：F
″′
t
＝normalize(F
″
t
)其中F
″′
t
表示标准化后的图像，normalize表示数据标准化操作；(1.5)数据增强：对图像进行数据增强操作，以增加数据样本，增强模型的泛化能力，相关公式为：其中表示数据增强后的图像数据，augment表示数据增强操作。3.根据权利要求1所述的一种水下穿销对孔的检测方法，其特征在于，所述步骤(2)包括如下子步骤：(2.1)音频信号的采样与量化：将连续的声音信号转换为数字信号；(2.2)预加重：预先在输入信号中进行高通滤波，相关公式为：s'(n)＝s(n)
‑
αs(n
‑
1)其中s(n)表示原始声音信号，s'(n)表示预处理后的信号，α是预加重系数；(2.3)分帧：将长时间的声音信号分成若干短时间段的帧，使用汉明窗(Hamming window)加窗函数对每帧信号进行加权平滑处理，加窗函数表示为：f(n)＝w(n)s'(n)
其中f(n)表示处理后的信号，w(n)是汉明加窗函数；(2.4)快速傅里叶变换(FFT)：对每帧信号进行快速傅里叶变换，将时域信号转换为频域信号：其中X(k)表示频域信号，f(n)表示时域信号，N表示帧长，k表示频率；(2.5)特征标准化：将提取的特征进行标准化处理，使得它们具有零均值和单位方差，以便于后续的建模和训练。4.根据权利要求1所述的一种水下穿销对孔的检测方法，其特征在于，所述步骤(3)包括如下子步骤：(3.1)采用Vision Transformer(ViT)预训练模型获取图像特征：将输入图像划分为固定大小的图块，对于每个图块，将其压缩成一个向量，作为模型的输入，在这些向量上嵌入位置编码，以帮助模型识别图像中的不同部分，将这些向量作为输入传递给Transformer编码器，其中包含多个Transformer块，每个块由多个自注意力层和全连接层组成：h
image
＝ViT(x
image
))Q
image
＝K
image
＝V
image
＝x
image
其中h
image
为ViT模型输出的语义级图像特征，x
image

【专利技术属性】
技术研发人员：张海龙，陈钢，曾辉，刘稳，吴炜，文宇，周伍，雷海威，陈俊，贾雄，梅育青，魏晓翔，郭光辉，高钰敏，鲍支虎，张艳波，孙翠翠，
申请(专利权)人：微特技术有限公司，
类型：发明
国别省市：