结合文本分析和机器学习方法的智能车辆故障诊断方法技术

本发明专利技术涉及故障诊断技术领域，具体提供了结合文本分析和机器学习方法的智能车辆故障诊断方法，具体包括：使用语言模型和机器学习模型分别在文本数据和非文本特征数据上训练，得到两个故障诊断模型；训练多级集成模型以集成两个故障诊断模型结果，达到最佳故障诊断结果；本发明专利技术通过模型集成的方法融合文本模型和机器学习模型，充分的学习了文本数据和非文本数据中的隐含知识，优化了模型融合效果，提高了车辆故障诊断准确率。了车辆故障诊断准确率。了车辆故障诊断准确率。

【技术实现步骤摘要】
结合文本分析和机器学习方法的智能车辆故障诊断方法


[0001]本专利技术涉及故障诊断
，具体为结合文本分析和机器学习方法的智能车辆故障诊断方法。

技术介绍

[0002]故障诊断是用于解决问题的系统化方法，故障诊断的目的是确定某些功能未按预期工作的原因以及解决该问题的方法，某些常用方法可帮助完成故障诊断任务，比如制定专家规则分析故障，利用数据特征构建机器学习模型分析故障等，在某些特定场景下取得了不错的成果。
[0003]目前广泛应用于工业生产、仪器制造、车辆质检等领域，目前故障诊断主要是针对单一模态数据，比如文本、图像、连续或离散特征数据等，然而在面对多模态数据，单一模态的模型无法充分利用数据，丢失重要信息，分析维度较窄，精度和效果较为有限。
[0004]现今主流故障诊断技术广泛应用于工业生产和车辆质检行业中，但故障诊断技术仍是一项具有挑战性的任务。第一，当今多数模型虽然可以故障诊断，但往往是单一模态模型诊断，利用多模态模型的方法较少。第二，在数据为多模态的情况下，多独立模型诊断结果往往有差异甚至相反，难以充分学习多模态数据中的隐含知识。第三，错误的多模型融合结果，提升诊断效果不稳定，甚至会降低诊断效果。
[0005]基于此，本专利技术提出一种结合文本分析和机器学习方法的智能车辆故障诊断方法。

技术实现思路

[0006]本专利技术的目的在于提供结合文本分析和机器学习方法的智能车辆故障诊断方法，以解决目前模型虽然可以故障诊断，但往往是单一模态模型诊断，利用多模态模型的方法较少的问题。
[0007]为实现上述目的，本专利技术提供如下技术方案：结合文本分析和机器学习方法的智能车辆故障诊断方法，所述结合文本分析和机器学习方法的智能车辆故障诊断方法具体包括：步骤1、使用语言模型和机器学习模型分别在文本数据和非文本特征数据上训练，得到两个故障诊断模型。
[0008]步骤2、训练多级集成模型以集成两个故障诊断模型结果，达到最佳故障诊断结果。
[0009]进一步的，所述结合文本分析和机器学习方法的智能车辆故障诊断方法具体还包括建立多模态模型训练：利用标注数据对多个模态的模型分别进行训练。
[0010]进一步的，所述建立多模态模型训练具体步骤包括：多模态数据处理：将训练数据分为文本数据和非文本特征数据，选择对应的语言模型和机器学习模型。训练模型：分别在文本数据和非文本数据上训练语言模型和机器学
习模型，得到在验证集上优化的模型。
[0011]所述语言模型采用BERT模型，以输入的故障文本为源数据，以所述故障文本对应多种为验证集，使用两个新的无监督预测任务对所述BERT模型进行训练。其中，所述故障文本包括标准故障短语和类似故障短语，采取15%的几率对标准故障短语和类似故障短语进行遮罩。所述类似故障短语的遮罩步骤为：获取类似故障含义的输入文本；使用Autophrase生成短语；使用规则以及fastText增强和提纯短语。
[0012]进一步的，所述结合文本分析和机器学习方法的智能车辆故障诊断方法具体还包括对模型进行融合。
[0013]进一步的，对模型进行融合具体包括：S1、选取mlp(多层感知机)模型集成语言模型和机器学习模型结果。
[0014]S2、使用文本模型和机器学习模型的输出值作为输入特征进行训练，并在训练过程中通过调整模型层数、模型权重和损失函数选项最优化集成效果。
[0015]S3、得到在验证集上效果更好的集成模型。
[0016]进一步的，所述结合文本分析和机器学习方法的智能车辆故障诊断方法具体还包括模型实施步骤。
[0017]进一步的，所述模型实施步骤包括：选取mlp模型集成语言模型和机器学习模型；使用该集成模型预测时，首先将输入数据拆分为文本数据和数值数据，分别进入文本模型和机器学习模型推理得到输出值，再将两个模型输出概率值作为输入特征输入到mlp模型进行推理，得到最终概率值结果。
[0018]综上所述，本专利技术与现有技术相比具有以下有益效果：本专利技术通过语言模型和机器学习模型分别处理文本特征和非文本特征数据，避免了不同模态数据使用单一模型如机器学习统一处理文本和数值数据效果较差的问题；通过模型集成的方法融合文本模型和机器学习模型，结合文本分析技术和数据特征的多模态模型，充分的学习了文本特征和非文本特征数据中的隐含知识，优化了模型融合效果，用于同时存在文本和非文本特征数据的车辆故障诊断的场景，使用多级集成模型处理语言模型和机器学习模型输出决定最终结果而非简单投票或者带权重投票判断故障类型，有效地提升了故障诊断准确率，结果更加准确。
附图说明
[0019]图1为本专利技术的实现流程示意图。
[0020]图2为本专利技术的对模型进行融合的实现流程示意图。
[0021]图3为本专利技术中进行多模态数据处理的示意图。
[0022]图4为本专利技术中进行模型训练的示意图。
[0023]图5为本专利技术中进行模型融合的示意图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]实施例1如图1所示，为本专利技术的一个实施例提供的结合文本分析和机器学习方法的智能车辆故障诊断方法，其具体包括以下步骤：步骤1、使用语言模型和机器学习模型分别在文本特征和非文本特征数据上训练，得到两个故障诊断模型。
[0026]步骤2、训练多级集成模型以集成两个故障诊断模型结果，达到最佳故障诊断结果。
[0027]步骤S2具体包括：第一：多模态模型训练：利用标注数据对多个模态的模型分别进行训练。其具体步骤如下所示：S21、多模态数据处理：将训练数据，分为文本特征和非文本特征数据，选择对应的语言模型和机器学习模型。
[0028]S22、训练模型：分别在文本特征和非文本特征数据上训练语言模型和机器学习模型，得到在验证集上较优的模型。
[0029]其中，本实施例中针对文本特征优选地采用Bert语言模型，由多层神经网络组成的网络结构，通过输入一段文本，解析为词向量后，逐次通过多层神经网络后由最后一层神经网络输出概率值，网络结构为基于自注意力机制的transformer结构，层数为12层，transformer结构包括位置编码，词向量编码，句向量编码，Bert通过采用双向遮挡方式在海量知识文本上预训练的方式学习到了如中文的基本语义和语法结构，只需要微调就可以在比如文本分类任务上取得很好的效果，因此可以用于智能诊断任务上面。
[0030]在进行语言模型的预训练中：以输入的故障文本为源数据，以所述故障文本对应多种为验证集，使用两个新的无监督预测任务对所述BERT模型进行训练。
[0031]其中，所述故障文本包括标准故障短语和类似故障本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.结合文本分析和机器学习方法的智能车辆故障诊断方法，其特征在于，所述结合文本分析和机器学习方法的智能车辆故障诊断方法具体包括：步骤1、使用语言模型和机器学习模型分别在文本数据和非文本特征数据上训练，得到两个故障诊断模型；步骤2、训练多级集成模型以集成两个故障诊断模型结果，达到最佳故障诊断结果。2.根据权利要求1所述的结合文本分析和机器学习方法的智能车辆故障诊断方法，其特征在于，所述结合文本分析和机器学习方法的智能车辆故障诊断方法具体还包括建立多模态模型训练：利用标注数据对多个模态的模型分别进行训练。3.根据权利要求2所述的结合文本分析和机器学习方法的智能车辆故障诊断方法，其特征在于，所述建立多模态模型训练具体步骤包括：多模态数据处理：将训练数据分为文本数据和非文本特征数据，选择对应的语言模型和机器学习模型；训练模型：分别在文本数据和非文本数据上训练语言模型和机器学习模型，得到在验证集上优化的模型。4.根据权利要求1所述的结合文本分析和机器学习方法的智能车辆故障诊断方法，其特征在于，所述语言模型采用BERT模型，以输入的故障文本为源数据，以所述故障文本对应多种为验证集，使用两个新的无监督预测任务对所述BERT模型进行训练。5.根据权利要求4所述的结合文本分析和机器学习方法的智能车辆故障诊断方法，其特征在于，其中，所述故障文本包括标准故障短语和类似故障短语，采取15%的几率对标准故障短语和类似故障短语进行遮罩。6.根据权利要求2所述的结合文本分析和机器...

【专利技术属性】
技术研发人员：李国成，康竞然，肖伯俊，郭海欣，
申请(专利权)人：浙江西图盟数字科技有限公司，
类型：发明
国别省市：