基于强化学习和知识蒸馏的多类别不平衡故障分类方法技术

本发明专利技术公开了一种基于强化学习和知识蒸馏的多类别不平衡故障分类方法，该方法结合层次聚类、知识蒸馏和强化学习等算法，用来解决多类别不平衡故障分类问题。对于多类别故障分类问题，首先针对不平衡问题中同质类别样本之间存在相似性、异质类样本之间存在较大差异的特点使用层次聚类将多类别聚类为几个簇类，根据不同簇类分别建立学生网络进行细粒度化分类，再用知识蒸馏方法兼顾全局信息，最后结合强化学习迭代学习样本权重，从而提高不平衡故障分类效果。在此过程中，需要设计合理的奖励函数配合细粒度知识蒸馏分类器去优化样本权重。相比其他对比方法，本发明专利技术的方法有良好的效果和适用性。

【技术实现步骤摘要】
基于强化学习和知识蒸馏的多类别不平衡故障分类方法
本专利技术属于工业过程监测领域，尤其涉及一种基于强化学习和知识蒸馏的多类别不平衡故障分类方法。
技术介绍
在机器学习或深度学习分类中，类别样本数量不平衡是一个非常普遍的问题，广泛存在于各个领域，例如生物信息学，智能电网，医学成像，故障诊断。大多数现有的分类方法都基于以下假设：观测数据的基本分布是相对均衡的。但是，实际工业数据集通常会违反此假设，并呈现出偏斜的分布甚至是极度不平衡的类别样本数量分布。例如，数据驱动的故障分类是工业过程监测的重要组成部分，由于故障发生的频率不同，它们表现出不平衡的偏斜分布。在这种情况下，如果假定所有类别都具有同等的重要性，则分类器会倾向于分对频繁(多数)类别的样本而不是不频繁(少数)类别的样本。因此，迫切需要提出恰当的方法来消除不平衡的类别分布的负面影响，而又不过度牺牲任何多数类别或少数类别的准确性。
技术实现思路
本专利技术的目的在于提供一种基于强化学习和知识蒸馏的多类别不平衡故障分类方法，其能对多数类不平衡的分类问题，获得较好的故障分类结果。具本文档来自技高网...

【技术保护点】
1.一种基于强化学习和知识蒸馏的多类别不平衡故障分类方法，其特征在于，包括以下步骤：/nS1：离线建模/nS1.1：收集K个类别的历史离线工业过程数据样本，其中包含故障数据和正常数据；/nS1.2：计算每个类别特征中心点

【技术特征摘要】
1.一种基于强化学习和知识蒸馏的多类别不平衡故障分类方法，其特征在于，包括以下步骤：
S1：离线建模
S1.1：收集K个类别的历史离线工业过程数据样本，其中包含故障数据和正常数据；
S1.2：计算每个类别特征中心点
S1.3：通过基于Ward-Linkage的层次聚类，将同质类的类别特征中心分配在一个簇类中,最终将所有类别特征中心uk分配到C个簇类中；然后根据类别特征中心的聚类结果分配每个类别的所有样本到对应簇类中；
S1.4：使用高斯伯努利限制玻尔兹曼机，分别基于所有样本以及每个簇类中样本进行训练，其中，所有样本训练得到的高斯伯努利限制玻尔兹曼机参数为教师网络的预训练参数；基于每个簇类中样本训练得到的高斯伯努利限制玻尔兹曼机参数为对应的学生网络的预训练参数；所述预训练参数作为首次迭代的初始参数；
S1.5：基于所述的教师网络的上一次训练参数，采用所有样本，通过微调技术，训练多类别不平衡的教师网络，得到的logit作为所有学生网络的软目标；
S1.6：所有学生网络都通过综合交叉熵损失一起训练；根据包含所述软目标和硬目标的综合损失，采用每个簇类中样本，通过微调技术进行训练，将所有学生网络得到的logit拼接在一起，组成学生网络的综合logit；各个学生网络拼接的每个logit中值的位置对应于原先类别顺序；所述硬目标为样本的真实标签；
S1.7：使用强化学习结合知识蒸馏中的教师网络和各个学生网络的输出来学习样本权重,并结合学习后的样本权重、教师网络和各个学生网络的输出构建知识蒸馏的损失函数；
S1.8：重复S1.5～S1.7，进行强化学习模型和知识蒸馏模型迭代训练，直到模型收敛；
S2：在线应用测试
S2.1：获取在线样本；
S2.2：将在线样本分类到S1.3层次聚类得到的C个簇类的其中一个簇类中；
S2.3：基于S1.8训练得到的知识蒸馏模型中的教师网络和各个学生网络，计算在线样本经过所在的簇类对应的学生网络得到的logit，和通过强化学习模型得到样本权重wt，并用加权的softmax函数计算属于各个类别的概率，选取概率最大的类别作为在线样本的类别。


2.根据权利要求1所述基于强化学习和知识蒸馏的多类别不平衡故障分类方法，其特征在于，所述S1.2中的特征中心点计算具体为：



其中，uk为类别k的特征中心点，xi表示第i个样本，gk表示类别k的所有样本的集合，|gk|表示类别k的样本数量。


3.根据权利要求1所述基于强化学习和知识蒸馏的多类别不平衡故障分类方法，其特征在于，所述S1.3具体为：
基于Ward-Linkage进行层次聚类，直到最后所有样本都聚成一个簇类。主要有以下步骤：
①在初始化过程中，将每个样本独立的归为一个簇类中；计算每两个簇类中心之间的相似度；
②找到两个最近的簇类，并将它们归为一个簇类，因此簇类总数减少1个；
③重新计算新生成簇类的中心与每个旧簇类中心之间的相似度；所述簇类的中心为一个簇类的所有样本的平均值；
④重复②和③，直到所有样本归为一个簇类，聚类算法结束；
⑤选择所需的最终聚类后的簇类数，即C的值。


4.根据权利要求1所述基于强化学习和知识蒸馏的多类别不平衡故障分类方法，其特征在于，所述S1.4中的高斯伯努利限制玻尔兹曼机具有两层全连接的结构，分为可见单元和隐藏单元p和d分别为可见单元和隐藏单元的数量；联合配置v，h的能量函数表示为：



其中vi∈{0，1},hj∈{0，1}；θ＝{W，a，b}是高斯伯努利限制玻尔兹曼机的结构参数；wij是连接可见单元i和隐藏单元j的对称权重；ai和bj分...

【专利技术属性】
技术研发人员：张新民，范赛特，魏驰航，宋执环，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33