一种仪器仪表智能运维的多模态故障理解及辅助标注方法技术

本发明专利技术提供一种仪器仪表智能运维的多模态故障理解及辅助标注方法，步骤为：采集仪器仪表故障时反馈的图像、声音和文本数据，分别对采集的图像、音频和文本数据进行预处理，对预处理后的图像数据、音频数据、文本数据进行特征提取，采用基于多模态量子启发神经网络对提取的图像、音频、文本特征进行融合；利用提取的图像、音频、文本特征对多模态量子启发神经网络模型进行训练；将训练好的模型加载到仪器仪表智能运维平台后端，将多模态故障数据传入API，经过模型推理，返回标注集合；本发明专利技术通过多模态量子启发深度网络模型对图像、语音、文本特征进行融合，通过融合编码特征对仪器仪表的故障进行理解，并对故障反馈信息进行自动标注，实用性强。实用性强。实用性强。

【技术实现步骤摘要】
一种仪器仪表智能运维的多模态故障理解及辅助标注方法


[0001]本专利技术涉及仪器仪表智能运维
，特别是一种仪器仪表智能运维的多模态故障理解及辅助标注方法。

技术介绍

[0002]随着人工智能技术的蓬勃发展，传统工业逐步向智能化、无人化转型，大幅度提高了社会生产力及生产效率。仪器仪表是保障工厂安全可靠运行的基础性设施，但随着工厂规模的不断扩大，大规模的仪器仪表设备被投入生产线，然而，对大量的仪器仪表设备维护是一项重要且具有挑战性的任务，幸运的是，人工智能技术的快速发展为仪器仪表的智能运维带来了新机。
[0003]纵观目前仪器仪表智能运维平台架构，对于来自边缘端的故障反馈信息处理还没有高效的处理方法，鉴于运维平台终端接受到的反馈信息具有多模态特性，如图像、语音和文本等，且所接受的故障反馈信息来自不同的仪器仪表或设备，目前大多采取人工分类的处理方式进行标注分流，显然这将耗费大量的人力成本。

技术实现思路

[0004]本专利技术的目的就是提供一种仪器仪表智能运维的多模态故障理解及辅助标注方法。
>[0005]本专利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种仪器仪表智能运维的多模态故障理解及辅助标注方法，其特征在于，具体步骤如下：1)数据采集：采集仪器仪表故障时反馈的图像、声音和文本数据，并组织成字典{'image':[img1,img2,
…
],'voice':[v1,v2,
…
],'text':[t1,t2,
…
]}，其中：image、voice、text分别为图像、音频和文本三种模态；2)数据预处理：分别对步骤1)中采集的图像、音频和文本数据进行预处理，得到预处理后的图像、音频和文本数据；3)特征提取：采用基于PatchConvNet模型对步骤2)中预处理后的图像数据进行图像特征提取，采用基于一维扩张卷积预对步骤2)中处理后的音频数据进行音频特征提取，采用基于GRU单元的双向循环网络对步骤2
‑
3)中预处理后的文本进行文本特征提取；4)构建模型：采用基于多模态量子启发神经网络对步骤3)中提取的图像特征、音频特征和文本特征进行融合，得到融合编码特征；5)模型训练：使用自编码训练与多任务训练的方式对图像、音频、文本特征的提取模型进行训练，利用步骤3)提取的图像、音频、文本特征对多模态量子启发神经网络模型进行训练；6)辅助标注：将训练好的三种模态数据的特征提取网络模型以及多模态量子启发深度网络模型加载到仪器仪表智能运维平台后端，将仪器仪表多模态故障数据传入API，经过模型推理，返回标注集合，实现辅助标注。2.如权利要求1所述的一种仪器仪表智能运维的多模态故障理解及辅助标注方法，其特征在于，步骤2)中数据预处理的具体步骤为：2
‑
1)对步骤1)中采集的图像数据进行自适应裁剪和方形填充，然后对图像进行缩放归一化，保持图像比例不变，最后对列表中的图像进行去重过滤；2
‑
2)采用基于启发式双重优化PCD算法对步骤1)中采集的音频数据进行降噪，对降噪后的音频片段进行中心裁剪或者对称填充；2
‑
3)基于完备专业性词向量空间对步骤1)中采集的文本数据进行关键词提取，并将关键词转换成向量形式，得到关键词向量矩阵。3.如权利要求2所述的一种仪器仪表智能运维的多模态故障理解及辅助标注方法，其特征在于，步骤3)中特征提取的具体步骤为：3
‑
1)图像特征提取：将图像数据输入PatchConvNet模型中，采用循环前向传播，再对输出进行平均融合，得到维度为512的图像特征：式中，images为图像数据，N1为单个样本中图像数据片段的数量；3
‑
2)音频特征提取：采用基于一维扩张卷积预对步骤2)中处理后的音频数据进行音频特征提取，然后对输出进行平均融合，得到音频特征：式中，voices为音频数据，N2为单个样本中音频数据片段的数量；
3
‑
3)文本特征提取：采用基于GRU单元的双向循环网络对步骤2)中得到的关键词向量进行特征提取，并截取最后一个时间步的输出作为后续特征：式中，texts为关键词向量，N3为单个样本中关键词向量的数量。4.如权利要求3所述的一种仪器仪表智能运维的多模态故障理解及辅助标注方法，其特征在于，步骤4)中构建模型的具体步骤为：4
‑
1)将三种模态的特征向量输入多模态量子启发神经网络的全联接层：式中，分别表示图像特征向量、音频特征向量和文本特征向量；将三种模态的特征投向量影到一个d维的空间中：a
j
,t
j
,v
j
＝transform(u
j
)其中，transform表示线性投影变换；将各个模态的纯态进行融合：p
j
＝λ
a
|a
j
><a
j

【专利技术属性】
技术研发人员：张可，柴毅，蒲华祥，邱可玥，王嘉璐，钱亚林，宋倩倩，安翼尧，李希晨，
申请(专利权)人：重庆大学，
类型：发明
国别省市：