【技术实现步骤摘要】
本专利技术属于多模态数据处理与人工智能，尤其是涉及一种基于跨模态数据增强的多模态故障诊断方法、设备和介质。
技术介绍
1、当前工业领域的故障诊断方法主要依赖单一模态的文本分析，这种方法虽然在一定程度上满足了故障识别与处理的需求，但也具有较大的局限性，尤其是在应对复杂生产环境和多样化故障场景时。其主要存在三个方面的缺陷：其一，单一文本分析对故障背景信息的理解不足，难以准确提取关键实体。生产过程中记录的文本数据通常包含大量的噪声或不相关信息，例如操作日志或普通生产记录，而关键的故障信息可能被掩盖在这些大量数据中，导致识别效率低下。其二，单一文本信息难以区分低频或特殊实体，特别是在处理稀有故障或特定设备问题时表现较差。例如，一些专用设备的故障可能在历史记录中出现次数极少，单纯依赖文本分析方法难以有效提取这些低频实体，从而影响故障诊断的全面性和准确性。其三，该方法缺乏对多模态数据(如文本与图像)的有效结合，无法充分利用视觉信息辅助实体识别与类型预测。图像数据能够直观地反映设备状态和故障现象，其包含的信息具有高度的直观性和解释性，但由于缺乏有效的...
【技术保护点】
1.一种基于跨模态数据增强的多模态故障诊断方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于跨模态数据增强的多模态故障诊断方法，其特征在于，所述跨模态数据增强模块中，通过提示微调进一步优化大型语言模型生成的图像描述。
3.根据权利要求1所述的一种基于跨模态数据增强的多模态故障诊断方法，其特征在于，所述文本编码器采用预训练的BERT-base-uncased模型作为预训练模型以提取文本表示Bt，提取文本表示Bt的具体过程如下：
4.根据权利要求3所述的一种基于跨模态数据增强的多模态故障诊断方法，其特征在于，所述片段编码...
【技术特征摘要】
1.一种基于跨模态数据增强的多模态故障诊断方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于跨模态数据增强的多模态故障诊断方法，其特征在于，所述跨模态数据增强模块中，通过提示微调进一步优化大型语言模型生成的图像描述。
3.根据权利要求1所述的一种基于跨模态数据增强的多模态故障诊断方法，其特征在于，所述文本编码器采用预训练的bert-base-uncased模型作为预训练模型以提取文本表示bt，提取文本表示bt的具体过程如下：
4.根据权利要求3所述的一种基于跨模态数据增强的多模态故障诊断方法，其特征在于，所述片段编码器生成片段表示h的过程具体如下：
5.根据权利要求1所述的一种基于跨模态数据增强的多模态故障诊断方法，其特征在于，所述图像编码器采用预训练的vit模型从所述图像数据中提取图像特征hv，具体过程如下：
6.根据权利要求1所述的一种基于跨模态数据增强的多模态故障诊断方法，其特征在于，所述跨模态数据增...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。