结合多模态信息和人工智能的结构损伤识别方法及系统技术方案

技术编号:42567570 阅读:54 留言:0更新日期:2024-08-29 00:35
本发明专利技术提供一种结合多模态信息和人工智能的结构损伤识别方法及系统,涉及结构检测技术领域,包括获取不同成像原理的图像信息和不同频域范围的声音信息,将图像信息输入图像特征提取模型,提取图像特征向量;将声音信息输入声音特征提取模型,提取声音特征向量;基于多模态特征融合模块,通过构建模态间的流形映射和流形对齐,将图像特征向量和声音特征向量投影到同一低维流形空间,得到融合特征向量;将融合特征向量输入结构损伤识别模型,结构损伤识别模型包括按照粒度由粗到细划分的多个识别子模型,基于各识别子模型的识别误差,结合注意力机制,自适应调节各识别子模型的输出权重,生成结构损伤识别结果。

【技术实现步骤摘要】

本专利技术涉及结构检测,尤其涉及一种结合多模态信息和人工智能的结构损伤识别方法及系统


技术介绍

1、结构损伤是工程结构在服役过程中由于各种因素导致的结构完整性和性能的下降或丧失。准确识别结构损伤对于保障结构安全、进行维护和修复具有重要意义。

2、传统的结构损伤识别方法主要依赖人工检测和单一信息源,存在效率低、主观性强、适用范围有限等问题;近年来,多模态信息融合和人工智能技术的发展为结构损伤识别提供了新的思路和手段。而现有技术在结构损伤识别中仍然存在一些不足,不同模态信息的特征表示和语义对齐是一大挑战,需要设计有效的特征提取和融合方法。此外,结构损伤具有多尺度、多粒度的特点,单一深度学习模型难以同时捕捉不同层次的特征。

3、综上所述,能够解决现有技术中的问题,能够充分挖掘多源异构数据的互补信息,建立起跨模态和跨尺度的损伤特征表示,显著提高结构损伤识别的准确性、智能化水平和实用价值。


技术实现思路

1、本专利技术实施例提供一种结合多模态信息和人工智能的结构损伤识别方法及系统,能够解决现有本文档来自技高网...

【技术保护点】

1.结合多模态信息和人工智能的结构损伤识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,将所述图像信息输入图像特征提取模型,提取图像特征向量包括:

3.根据权利要求2所述的方法,其特征在于,所述图像特征提取模型的训练过程包括:

4.根据权利要求3所述的方法,其特征在于,所述鲁棒性正则化项,其公式如下:

5.根据权利要求1所述的方法,其特征在于,将所述声音信息输入声音特征提取模型,提取声音特征向量包括:

6.根据权利要求1所述的方法,其特征在于,基于多模态特征融合模块,通过构建模态间的流形映射和流形对齐,将所...

【技术特征摘要】

1.结合多模态信息和人工智能的结构损伤识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,将所述图像信息输入图像特征提取模型,提取图像特征向量包括:

3.根据权利要求2所述的方法,其特征在于,所述图像特征提取模型的训练过程包括:

4.根据权利要求3所述的方法,其特征在于,所述鲁棒性正则化项,其公式如下:

5.根据权利要求1所述的方法,其特征在于,将所述声音信息输入声音特征提取模型,提取声音特征向量包括:

6.根据权利要求1所述的方法,其特征在于,基于多模态特征融合模块,通过构建模态间的流形映射和流形对齐,将所述图像特征向量和声音特征向量投影到同...

【专利技术属性】
技术研发人员:宋润钊高涛郑旭王津津苏思丽许洪泰吴洪斌刘建民张亚新
申请(专利权)人:山东省地震工程研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1