模型训练方法、诊断方法、装置、电子设备和可读介质制造方法及图纸

本申请提供了模型训练方法、诊断方法、装置、电子设备和可读介质，该模型训练方法包括：获取用于通过判断句子对的相似性对工业故障进行诊断的第一诊断模型；对第一诊断模型进行模型压缩，获得第二诊断模型，其中，第二诊断模型包括的神经网络层的数量小于第一诊断模型包括的神经网络层的数量；为第二诊断模型包括的每个神经网络层设置相连接的分类器，其中，分类器用于将相连接神经网络层输出的多维向量转换为概率分布；通过包括句子对的句子对训练集，对第二诊断模型中的各分类器进行训练，获得用于根据至少一个分类器输出的概率分布，确定所输入句子对相似性的故障诊断模型。本方案能够提高对工业故障进行诊断的效率。案能够提高对工业故障进行诊断的效率。案能够提高对工业故障进行诊断的效率。

【技术实现步骤摘要】
模型训练方法、诊断方法、装置、电子设备和可读介质


[0001]本申请涉及计算机
，尤其涉及模型训练方法、诊断方法、装置、电子设备和可读介质。

技术介绍

[0002]在工业生产过程中，会出现各种类型的工业故障，比如生产设备故障、生产线故障、生产系统故障灯。当工业故障发生后，需要高效地对工业故障进行诊断，以确定故障原因和解决方案，从而快速解决工业故障。通过训练故障诊断模型，将用于描述工业故障的句子输入故障诊断模型后，故障诊断模型基于句子对的相关性匹配相似历史故障案例，进而用户可以参考匹配到的相似历史故障案例，确定当前工业故障的故障原因和解决方案。
[0003]目前，通过工业领域的历史故障案例训练故障诊断模型，训练出的故障诊断模型为包括大量参数的复杂网络结构。比如，所训练出的故障诊断模型为12层结构的BERT(Bidirectional Encoder Representations from Transformers)模型，则该故障诊断模型包括数百万个参数。
[0004]对于目前训练故障诊断模型的方法，所训练出的故障诊断模型为包括大量参数的复杂网络结构，由于故障诊断模型包括大量参数，故障诊断模型在对输入数据进行处理时将耗费较长时间，因此通过故障诊断模型进行工业故障诊断耗时较长，进而导致工业故障诊断的效率较低。

技术实现思路

[0005]有鉴于此，本申请提供的模型训练方法、诊断方法、装置、电子设备和可读介质，能够提高对工业故障进行诊断的效率。
[0006]第一方面，本申请实施例提供了一种模型训练方法，包括：
[0007]获取第一诊断模型，其中，所述第一诊断模型用于通过判断句子对的相似性对工业故障进行诊断，所述第一诊断模型包括至少两个神经网络层；
[0008]对所述第一诊断模型进行模型压缩，获得第二诊断模型，其中，所述第二诊断模型包括至少一个神经网络层，且所述第二诊断模型包括的神经网络层的数量小于所述第一诊断模型包括的神经网络层的数量；
[0009]为所述第二诊断模型包括的每个神经网络层设置相连接的分类器，其中，与所述第二诊断模型中一个神经网络层相连接的所述分类器，用于将该神经网络层输出的多维向量转换为概率分布；
[0010]通过包括句子对的句子对训练集，对所述第二诊断模型中的各所述分类器进行训练，获得用于根据至少一个所述分类器输出的概率分布，确定所输入句子对相似性的故障诊断模型。
[0011]第二方面，本申请实施例还提供了一种模型训练装置，包括：
[0012]获取用于对待诊断工业故障进行描述的至少一个第一句子；
[0013]确定与所述待诊断工业故障相关的至少一个历史工业故障案例；
[0014]针对每个所述历史工业故障案例，将用于描述该历史工业故障案例的至少一个第二句子，与所述至少一个第一句子进行组合，获得该历史工业故障案例对应的至少一个句子对，其中，每个所述句子对包括一个所述第一句子和一个所述第二句子；
[0015]分别将每个所述句子对输入故障诊断模型，获得所述故障诊断模型针对该句子对输出的相似性数值，其中，所述故障诊断模型通过权利要求1至5中任一所述模型训练方法获得，所述相似性数值用于指示相应所述句子对包括的所述第一句子和所述第二句子的相似性；
[0016]针对每个所述历史工业故障案例，根据该历史工业故障案例对应的各所述句子对的所述相似性数值，确定所述待诊断工业故障与该历史工业故障案例的匹配度；
[0017]根据所述待诊断工业故障与各所述历史工业故障案例的所述匹配度，从各所述历史工业故障案例中确定目标历史工业故障案例；
[0018]基于所述目标历史工业故障案例，确定所述待诊断工业故障的故障原因和解决方案。
[0019]第三方面，本申请实施例还提供了一种电子设备，包括：处理器和存储器，所述处理器和所述存储器连接，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序实现上述第一方面提供的方法。
[0020]第四方面，本申请实施例还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行上述第一方面所提供的方法。
[0021]第五方面，本申请实施例还提供了一种诊断方法，包括：获取用于对待诊断工业故障进行描述的至少一个第一句子；
[0022]确定与所述待诊断工业故障相关的至少一个历史工业故障案例；
[0023]针对每个所述历史工业故障案例，将用于描述该历史工业故障案例的至少一个第二句子，与所述至少一个第一句子进行组合，获得该历史工业故障案例对应的至少一个句子对，其中，每个所述句子对包括一个所述第一句子和一个所述第二句子；
[0024]分别将每个所述句子对输入故障诊断模型，获得所述故障诊断模型针对该句子对输出的相似性数值，其中，所述故障诊断模型通过上述第一方面提供的模型训练方法获得，所述相似性数值用于指示相应所述句子对包括的所述第一句子和所述第二句子的相似性；
[0025]针对每个所述历史工业故障案例，根据该历史工业故障案例对应的各所述句子对的所述相似性数值，确定所述待诊断工业故障与该历史工业故障案例的匹配度；
[0026]根据所述待诊断工业故障与各所述历史工业故障案例的所述匹配度，从各所述历史工业故障案例中确定目标历史工业故障案例；
[0027]基于所述目标历史工业故障案例，确定所述待诊断工业故障的故障原因和解决方案。
[0028]第六方面，本申请实施例还提供了一种诊断装置，包括：
[0029]一个句子获取模块，用于获取用于对待诊断工业故障进行描述的至少一个第一句子；
[0030]一个案例获取模块，用于确定与所述待诊断工业故障相关的至少一个历史工业故
障案例；
[0031]一个句子对生成模块，用于针对所述案例获取模块获取到的每个所述历史工业故障案例，将用于描述该历史工业故障案例的至少一个第二句子，与所述句子获取模块获取到的所述至少一个第一句子进行组合，获得该历史工业故障案例对应的至少一个句子对，其中，每个所述句子对包括一个所述第一句子和一个所述第二句子；
[0032]一个相似性计算模块，用于分别将所述句子对生成模块生成的每个所述句子对输入故障诊断模型，获得所述故障诊断模型针对该句子对输出的相似性数值，其中，所述故障诊断模型通过权利要求1至5中任一所述模型训练方法获得，所述相似性数值用于指示相应所述句子对包括的所述第一句子和所述第二句子的相似性；
[0033]一个匹配度确定模块，用于针对每个所述历史工业故障案例，根据所述相似性计算模块计算出的该历史工业故障案例对应的各所述句子对的所述相似性数值，确定所述待诊断工业故障与该历史工业故障案例的匹配度；
[0034]一个案例筛选模块，用于根据所述匹配度确定模块确定出的所述待诊断工业故障与各所述历史工业故障案例的所述匹配度，从各所述历史工业故障案例中确定目标历史工业故障案例；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.模型训练方法，其特征在于，包括：获取第一诊断模型，其中，所述第一诊断模型用于通过判断句子对的相似性对工业故障进行诊断，所述第一诊断模型包括至少两个神经网络层；对所述第一诊断模型进行模型压缩，获得第二诊断模型，其中，所述第二诊断模型包括至少一个神经网络层，且所述第二诊断模型包括的神经网络层的数量小于所述第一诊断模型包括的神经网络层的数量；为所述第二诊断模型包括的每个神经网络层设置相连接的分类器，其中，与所述第二诊断模型中一个神经网络层相连接的所述分类器，用于将该神经网络层输出的多维向量转换为概率分布；通过包括句子对的句子对训练集，对所述第二诊断模型中的各所述分类器进行训练，获得用于根据至少一个所述分类器输出的概率分布，确定所输入句子对相似性的故障诊断模型。2.根据权利要求1所述的方法，其特征在于，所述通过包括句子对的句子对训练集，对所述第二诊断模型中的各所述分类器进行训练，获得用于根据至少一个所述分类器输出的概率分布，确定所输入句子对相似性的故障诊断模型，包括：按照相连接神经网络层由前至后的顺序，通过所述句子对训练集依次对各所述分类器进行训练，获得用于根据前N个所述分类器输出的概率分布，确定所输入句子对相似性的所述故障诊断模型，其中，所述N为正整数。3.根据权利要求2所述的方法，其特征在于，所述按照相连接神经网络层由前至后的顺序，通过所述句子对训练集依次对各所述分类器进行训练，包括：冻结所述的第二诊断模型中各神经网络层的参数；按照相连接神经网络层由前至后的顺序，依次针对每个所述分类器执行：将该分类器之前的各所述分类器冻结；针对所述句子对训练集中的每个句子对，依次执行：将该句子对输入所述第二诊断模型，获得所述第二诊断模型中最后一个所述分类器输出的第一概率分布，并获得该分类器及该分类器之前的各所述分类器输出的第二概率分布；从所述句子对训练集中获取用于表征该句子对相似性的第三概率分布；根据所述第一概率分布、各所述第二概率分布和所述第三概率分布，确定该分类器的综合损失；根据所述综合损失对该分类器的参数和该分类器对应的系数向量进行更新，其中，所述系数向量用于根据该分类器及该分类器之前的各所述分类器输出的概率分布，确定输入所述第二诊断模型的句子对的相似性。4.根据权利要求3所述的方法，其特征在于，所述据所述第一概率分布、各所述第二概率分布和所述第三概率分布，确定该分类器的综合损失，包括：根据各所述第二概率分布和该分类器对应的所述系数向量，计算综合概率分布；确定所述第一概率分布与所述综合概率分布之间的第一交叉熵损失；确定所述第三概率分布与所述综合概率分布之间的第二交叉熵损失；根据所述第一交叉熵损失和所述第二交叉熵损失，确定所述综合损失。
5.根据权利要求1至4中任一所述的方法，其特征在于，所述第一诊断模型和所述第二诊断模型中的神经网络层来自相同的预训练模型，或者，所述第一诊断模型和所述第二诊断模型中的神经网络层来自不同的预训练模型，其中，所述预训练模型用于在通用领域确定句子对的相似性。6.诊断方法，其特征在于，包括：获取用于对待诊断工业故障进行描述的至少一个第一句子；确定与所述待诊断工业故障相关的至少一个历史工业故障案例；针对每个所述历史工业故障案例，将用于描述该历史工业故障案例的至少一个第二句子，与所述至少一个第一句子进行组合，获得该历史工业故障案例对应的至少一个句子对，其中，每个所述句子对包括一个所述第一句子和一个所述第二句子；分别将每个所述句子对输入故障诊断模型，获得所述故障诊断模型针对该句子对输出的相似性数值，其中，所述故障诊断模型通过权利要求1至5中任一所述模型训练方法获得，所述相似性数值用于指示相应所述句子对包括的所述第一句子和所述第二句子的相似性；针对每个所述历史工业故障案例，根据该历史工业故障案例对应的各所述句子对的所述相似性数值，确定所述待诊断工业故障与该历史工业故障案例的匹配度；根据所述待诊断工业故障与各所述历史工业故障案例的所述匹配度，从各所述历史工业故障案例中确定目标历史工业故障案例；基于所述目标历史工业故障案例，确定所述待诊断工业故障的故障原因和解决方案。7.根据权利要求6所述的方法，其特征在于，所述分别将每个所述句子对输入故障诊断模型，获得所述故障诊断模型针对该句子对输出的相似性数值，包括：针对每个所述句子对，将该句子对输入所述故障诊断模型；获得所述故障诊断模型中第N个分类器输出的概率分布，其中所述N为正整数；根据所述第N个分类器输出的概率分布，确定所述故障诊断模型中第N个神经网络层的不确定性数值，其中，所述不确定数值用于表征所述第N个神经网络层对句子对相似性进行判断的准确性；如果所述第N个神经网络层的所述不确定性数值小于所述第N个神经网络层对应的不确定性阈值，则根据所述故障诊断模型中前N个分类器输出的概率分布，及所述前N个分类器对应的系数向量，确定所述相似性数值，其中，所述不确定性阈值根据所述第N个神经网络层对若干句子对样本的相似性判断结果确定。8.模型训练装置，其特征在于，包括：一个模型获取模块(601)，用于获取第一诊断模型，其中，所述第一诊断模型用于通过判断句子对的相似性对工业故障进行诊断，所述第一诊断模型包括至少两个神经网络层；一个模型压缩模块(602)，用于对所述模型获取模块(601)获取到的所述第一诊断模型进行模型压缩，获得第二诊断模型，其中，所述第二诊断模型包括至少一个神经网络层，且所述第二诊断模型包括的神经网络层的数量小于所述第一诊断模型包括的神经网络层的数量；一个分类器设置模块(603)，用于为所述模型压缩模块(602)获得的所述第二诊断模型包括的每个神经网络层设置相连接的分类器，其中，与所述第二诊断模型中一个神经网络层相连接的所述分类器，用于将该神经网络层输出...

【专利技术属性】
技术研发人员：惠浩添，车效音，罗章维，刘晓南，李聪超，汤琦，
申请(专利权)人：西门子股份公司，
类型：发明
国别省市：