一种适用于长尾带噪分布数据的故障检测方法技术

本发明专利技术公开一种适用于长尾带噪分布数据的故障检测方法。现实应用中，故障检测数据通常包含噪声标记且服从长尾分布。为了减轻噪声标记对模型性能的影响，本发明专利技术方法采用样本选择技术将噪声标记数据分为干净标记数据集合和无标记数据集合后以半监督学习方式更新模型；为了减轻长尾分布对模型性能的影响，本发明专利技术方法使用基于模型偏好的新型平衡损失对模型进行矫正。相比于现有技术，本发明专利技术方法对长尾带噪分布数据的故障检测具有更强的鲁棒性。尾带噪分布数据的故障检测具有更强的鲁棒性。尾带噪分布数据的故障检测具有更强的鲁棒性。

【技术实现步骤摘要】
一种适用于长尾带噪分布数据的故障检测方法


[0001]一种适用于长尾带噪分布数据的故障检测方法，该方法能够利用带有噪声标记且呈现长尾分布的故障检测数据训练深度神经网络模型，且获得较好的故障检测性能，属于计算机人工智能数据分析


技术介绍

[0002]深度学习的训练通常需要大规模的规整数据集，在故障检测中，不同故障的数据出现的频率往往不同，收集得到的数据往往呈现长尾分布，使用长尾数据训练神经网络时，神经网络的性能易被头部类影响而在尾部类上的表现较差；另一方面，故障的标记数据往往含有噪声，不加处理地使用带有噪声标记的数据进行训练会严重影响深度神经网络模型的性能。因此如何基于长尾带噪分布的故障检测数据训练故障检测模型，是一个难点问题。

技术实现思路

[0003]专利技术目的：现实世界中的故障检测数据通常包含噪声标记且服从长尾分布，使用这类数据进行训练难以学得性能较好的深度神经网络模型。针对这一问题，本专利技术提出了一种适用于长尾带噪分布数据的故障检测方法。具体地，为了减轻噪声标记对模型性能的影响，本专利技术方法采用样本选择技术将噪声标记数据分为干净标记数据集合和无标记数据集合后以半监督学习方式更新神经网络；为了减轻长尾分布对模型性能的影响，本专利技术方法使用基于模型偏好的新型平衡损失对深度神经网络模型进行矫正。本专利技术可以基于长尾带噪分布的故障检测数据进行训练以得到性能较好的故障检测模型，具有较强的实用性。
[0004]本专利技术一种适用于长尾带噪分布数据的故障检测方法，包括下列步骤：r/>[0005](一)对于一个包含噪声标记且服从长尾分布的故障检测数据库指定深度神经网络模型f(
·
；Θ)和各个阶段的训练轮数等超参数并使用交叉熵损失函数和本专利技术提出的正则损失在全部训练数据上对深度神经网络模型进行预定轮数的预热；
[0006](二)使用逐类选择的方式从训练数据中选出交叉熵损失值较小的样本作为干净标记数据集合，将其余未被选中的数据看作无标记数据集合，并基于筛选得到的干净标记数据集合和无标记数据集合生成新的伪标记数据集合；
[0007](三)使用Cross
‑
Entropy损失函数(即交叉熵损失函数)、MSE损失函数和本专利技术提出的正则损失在步骤(二)生成的伪标记数据上计算模型的整体损失并更新深度神经网络模型，同时通过平均模型在每一类干净标记样本上的输出估计该轮的模型偏好矩阵；
[0008](四)将步骤(二)和步骤(三)循环执行一定的轮数来更新深度神经网络以及计算每一轮的模型偏好矩阵；使用指数移动平均方法加权平均模型在每一轮次的偏好矩阵得到最终的模型偏好矩阵；
[0009](五)使用步骤(二)进行样本选择并生成伪标记数据，使用均方误差损失函数以及本专利技术所提平衡损失函数和正则损失在生成的伪标记数据集合上计算模型的整体损失并更新深度神经网络模型；
[0010](六)将步骤(五)重复执行一定的轮数得到最终的深度神经网络模型；在测试阶段，用户将待测样本输入深度神经网络模型，然后选择预测置信度较高的类别作为模型的预测结果。
[0011]进一步地，首先对于一个包含噪声标记且服从长尾分布的故障检测数据库进一步地，首先对于一个包含噪声标记且服从长尾分布的故障检测数据库记数据的类别数为C，标记为c的数据子集为标记为c的样本数量为n
c
；选定深度神经网络模型，并记为f(
·
；Θ)。
[0012]进一步地，结合交叉熵损失函数和正则损失L
reg
对深度神经网络模型进行预热，所述正则损失L
reg
为下式，其中i、j、c均为类别编号
[0013][0014]进一步地，步骤(二)中基于样本的交叉熵损失值的逐类样本选择过程为：
[0015]步骤100)基于当前深度神经网络模型利用交叉熵损失函数l分别计算每一类样本集合的损失值集合，记为其中
[0016]步骤101)对于任一类别c的损失值集合L
c
，使用二元高斯混合模型(g1、g0)拟合其分布，得到该类别的任意样本属于均值更小的高斯分量g1的后验概率并根据后验概率的取值是否大于0.5，将该样本划分为干净标记样本或无标记样本；
[0017]步骤102)将步骤101)应用于每一类数据，得到最终的标记数据和无标记数据
[0018]进一步地，基于标记数据和无标记数据生成伪标记数据的过程如下：
[0019]步骤200)对每一个标记样本和无标记数据分别做K次数据增强得到
[0020]和基于深度神经网络模型和增强后的无标记数据为无标记样本生成伪标记其中T为超参数；
[0021]步骤201)令步骤201)令最终有伪标记数据集合最终有伪标记数据集合
[0022]进一步地，将交叉熵损失函数、MSE损失函数和正则损失L
reg
应用于伪标记数据集合和得到模型的整体损失并更新深度神经网络模型，其中
[0023][0024][0025][0026]λ
u
和λ
reg
为超参数，
[0027]进一步地，由深度神经网络模型在干净标记数据集合中的每一类干净标记样本上的平均输出估计模型偏好矩阵的过程如下：
[0028]令表示经样本选择得到的标记为i的数据集合，则深度神经网络模型在当前轮次t的模型偏好矩阵为其中i、j、c均为类别编号。
[0029]进一步地，使用指数移动平均方法加权平均模型在每一轮次的偏好矩阵得到最终的模型偏好矩阵的过程如下：
[0030]步骤301)初始化整体模型偏好矩阵为全零矩阵轮数t＝0；
[0031]步骤302)由模型在轮数t的偏好矩阵更新整体模型偏好矩阵：其中δ为超参数；令轮数t＝t+1；
[0032]步骤303)将步骤302重复一定的轮数得到最终的整体模型偏好矩阵
[0033]进一步地，使用MSE损失函数、平衡损失函数和正则损失L
reg
计算模型的整体损失并更新深度神经网络模型，
[0034][0035][0036][0037]其中λ
u
、λ
reg
、γ
sup
和γ
rel
为超参数，为指示函数，i、j、c均为类别编号。
[0038]有益效果：与现有技术相比，本专利技术提出的适用于长尾带噪分布数据的故障检测方法同时考虑到了故障检测中不同类型的故障呈现长尾分布和故障的标记噪声问题。为了减轻噪声标记对模型性能的影响，本专利技术方法采用样本选择技术将噪声标记数据分为干净标记数据集合和无标记数据集合后以半监督学习方式更新神经网络；为了减轻长尾分布对模型性能的影响，本专利技术方法使用基于模型偏好的新型平衡损失对深度神经网络模型进行矫正。因此，相比于现有技术，本专利技术对长尾分布和噪声标记均有较强的鲁棒性，可以从长尾带噪分布的故障检测数据中学得具有良好故障检测性能的深度神经网络模型。
附图说明<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于长尾带噪分布数据的故障检测方法，包括以下步骤：(一)在一个包含噪声标记且服从长尾分布的故障检测数据库选定深度神经网络模型，所述故障检测数据库包括若干个样本；(二)结合交叉熵损失函数和正则损失L
reg
在故障检测数据库内的全部训练数据上，对深度神经网络模型内的所有样本进行预定轮数的训练；(三)基于样本的交叉熵损失值从全部训练数据中逐类选择出损失较小的样本作为干净标记数据集合，将其余的未被选中的样本的数据看作无标记数据集合，并基于筛选得到的标记数据集合和无标记数据集合生成新的伪标记数据集合；(四)分别将交叉熵损失函数、MSE损失函数和正则损失L
reg
应用于步骤(三)生成的伪标记数据集合得到模型的最终损失，并更新深度神经网络模型，同时由更新后的深度神经网络模型在干净标记数据集合中的每一类干净标记样本上的平均输出估计模型偏好矩阵；(五)将步骤(三)和步骤(四)重复一定的轮数，并使用指数移动平均方法加权平均模型在每一轮次的偏好矩阵得到最终的模型偏好矩阵；(六)使用步骤(三)进行样本选择并生成伪标记数据，分别将MSE损失函数、平衡损失函数和正则损失L
reg
应用于生成后的伪标记数据得到最终损失并再次更新深度神经网络模型；(七)将步骤(六)重复一定的轮数得到最终的深度神经网络模型；在测试阶段，深度神经网络模型将待测样本作为输入，并输出置信度最高的类别作为预测结果。2.根据权利要求1所述的适用于长尾带噪分布数据的故障检测方法，其特征在于：首先对于一个包含噪声标记且服从长尾分布的故障检测数据库记数据的类别数为C，标记为c的数据子集为标记为c的样本数量为n
c
；选定深度神经网络模型，并记为f(
·
；Θ)。3.根据权利要求1所述的适用于长尾带噪分布数据的故障检测方法，其特征在于：结合交叉熵损失函数和正则损失L
reg
对深度神经网络模型进行预热，所述正则损失L
reg
为下式，其中i、j、c均为类别编号4.根据权利要求1所述的适用于长尾带噪分布数据的故障检测方法，其特征在于：步骤(三)中基于样本的交叉熵损失值的逐类样本选择过程为：步骤100)基于当前深度神经网络模型利用交叉熵损失函数l分别计算每一类样本集合的损失值集合，记为其中步骤101)对于任一类别c的损失值集合L

【专利技术属性】
技术研发人员：王魏，田章豪，张乐凡，
申请(专利权)人：南京智谷人工智能研究院有限公司，
类型：发明
国别省市：