一种基于分层神经网络分布式训练的故障预测方法技术

本发明专利技术公开了一种基于分层神经网络分布式训练的故障预测方法，具体为：将卷积神经网络划分为不同的网络层，得到每层均可输出模型参数和模型训练精度的模型训练网络；使用分层的卷积神经网络和设备能够训练的最大网络层数，对输入数据进行特征提取，输入数据在每一层网络中均训练至收敛，得到的模型参数传至下一层网络进行训练，在完成规定训练的最大网络层数后，得到相应的故障检测模型；将卷积神经网络分为三个子层卷积神经网络，分别部署在设备端、边缘端和云端，每层均输出对输入数据是否含有故障的预测值，得到一个故障预测网络，对未含有故障标签和非故障标签的数据进行故障预测。本发明专利技术能够合理利用设备的计算资源以及存储空间。及存储空间。及存储空间。

A fault prediction method based on distributed training of hierarchical neural network

【技术实现步骤摘要】
一种基于分层神经网络分布式训练的故障预测方法


[0001]本专利技术涉及机器学习领域，具体涉及一种基于分层神经网络分布式训练的故障预测方法。

技术介绍

[0002]随着科学技术的发展和人民日益增长的生活需求，现代化机械设备的生产效率和工作强度也在逐渐增大，随之设备的复杂度和自动化程度也在随着技术的发展而不断增强。设备的各个模块之间的关联性愈加紧密，某个模块微小的故障就可能会导致整个设备的瘫痪，进而影响工厂的正常运行和经济效益。近年来，对设备的预知故障检测已成为研究的热点和难点。传统的故障检测系统只能对已知故障进行诊断，并且没有自组织自学习的能力，当出现新型故障时，就失去了检测诊断的能力。近年来，人工神经网络被广泛应用到故障检测中，并展示出了更加广阔的应用前景。
[0003]人工神经网络或称作连接模型是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，不需要诊断和推理的规则，通过神经元之间的拓扑结构和权值分布逼近非线性系统，从而具有一定的泛化能力。但在解决复杂系统的故障诊断中，基于神经网络的诊断系统十分的庞大，无论是在根据已知故障和正常数据训练出包含所有数据特征的模型还是使用已知模型对现有数据进行故障预测诊断，都对设备的计算能力和存储能力有较大的挑战。同时如果需要在设备工作时，实时监督设备的某个零件是否发生了故障，则对设备自身性能的要求会更高。但目前已有的使用人工神经网络对设备故障检测的方法都无法解决输入数据较大，模型较为复杂而设备的计算能力以及存储能力不足的问题，导致对数据特征提取过程以及故障检测时效率低下，无法适应目前的设备工作强度较大问题。

技术实现思路

[0004]本专利技术的目的在于提供一种基于分层神经网络分布式训练的故障预测方法，使得设备可动态选择训练和推理网络的层数，从而合理利用设备的计算资源或适应存储空间。
[0005]实现本专利技术目的的技术解决方案为：一种基于分层神经网络分布式训练的故障预测方法，包括以下步骤：步骤1、将卷积神经网络划分为不同的网络层，每个子层网络输出的向量维度与下一层网络的输入向量维度大小相同，得到一个包含多个子层且每层均可输出模型参数和模型训练精度的模型训练网络；步骤2、根据设备参数和输入的具有故障标签及非故障标签的数据的大小，计算设备能够训练的最大网络层数；步骤3、在设备算力资源和存储能力受限的情况下，使用步骤1中经过分层处理的卷积神经网络和在步骤2中得到的训练的最大网络层数，对步骤2中输入数据进行特征提取，输入数据在每一层网络中均训练至收敛，训练过程中得到的模型参数传至下一层网络
进行训练，在完成规定训练的最大网络层数后，得到相应的故障检测模型；步骤4、将与步骤1中相同的卷积神经网络分为三个子层卷积神经网络，将三个子层神经网络分别部署在设备端、边缘端和云端，每层均输出对输入数据是否含有故障的预测值，部署在设备端、边缘端和云端的神经网络之间能够相互通信，得到一个故障预测网络；步骤5、使用步骤4得到的故障预测网络和步骤3中得到的故障检测模型，对未含有故障标签和非故障标签的数据进行故障预测，先在设备端进行预测，得到输入数据是否含有故障的预测值，根据该值的大小和实际需求，判断是否在边缘端和云端进行预测。
[0006]进一步地，步骤1中所述将卷积神经网络划分为不同的网络层，具体为：每一层网络包含卷积层、激活函数、池化层和全连接层，每个子层神经网络中首先使用一层卷积层得到输入故障数据的特征输出，激活函数使用线性整流函数，池化层选择最大池化，接入全连接层整合池化层中输出的参数，全连接层的输出传递至softmax层进行分类。
[0007]进一步地，步骤1中所述每个子层网络输出的向量维度与下一层网络的输入向量维度大小相同，是指后一层的输入卷积层的参数大小与前一层全连接层输出参数大小相同。
[0008]进一步地，步骤1中所述一个包含多个子层且每层均可输出模型参数和模型训练精度的模型训练网络，其中模型训练精度是指，根据带有故障和非故障标签的数据所训练出的故障检测模型，能够正确区分故障和非故障的数据量与总输入数据量的比值。
[0009]进一步地，步骤2中所述计算设备能够训练的最大网络层数，是指能够训练的最大网络层数受设备计算能力和内存以及输入数据量的限制，具体公式如下：其中，为常系数，f为设备中央处理器每秒钟的计算周期，R为设备的内存大小，为输入数据量的大小，k为处理一条数据所需要的中央处理器计算周期的大小。
[0010]进一步地，步骤3所述输入数据在每一层网络中均需要训练至收敛，是指在每一层中进行多次迭代过程直至损失函数的下降率为0。
[0011]进一步地，步骤4中所述部署在设备端、边缘端和云端的神经网络之间能够相互通信，是指设备端可将输出的模型参数经过无线信道传输至边缘端进行预测，边缘端输出的模型参数经过无线信道传输至云端进行预测，在边缘端和云端得到的对数据是否含有故障的预测值能够通过无线信道传至设备端；其中模型参数是指在故障预测过程中，从卷积神经网络内部得到的参数值。
[0012]本专利技术与现有技术相比，其显著优点为：（1）通过对卷积神经网络划分出多个子层神经网络，在设备实际工作中均可较快得到全局故障检测模型和对故障预测诊断精度，既节省计算资源又提高了设备工作效率；（2）设备可根据计算资源以及存储空间自适应的选择模型训练和推理的卷积神经网络层数，从而合理利用设备的计算资源或适应存储空间。
附图说明
[0013]图1是本专利技术基于分层神经网络分布式训练的故障预测方法的流程示意图。
[0014]图2是本专利技术在深度学习中模型训练过程系统示意图。
[0015]图3是本专利技术在深度学习中对数据进行推理过程系统示意图。
具体实施方式
[0016]对于传统的深度学习，如果其含有较大的训练和推理网络，对算力不足的设备而言，无法完成提取特征模型训练和精度预测推理过程，或者完成的时间较长、效率较低。针对目前由于设备终端的计算资源受限或存储空间不足，造成的使用卷积神经网络提取故障数据特征不充分或无法根据已知故障检测模型对故障数据完成故障预测诊断，本专利技术提出一种基于分层神经网络分布式训练的故障预测方法，结合图1~图3，具体包括以下步骤：步骤1、将卷积神经网络划分为不同的网络层，每个子层网络输出的向量维度与下一层网络的输入向量维度大小相同，得到一个包含多个子层且每层均可输出模型参数和模型训练精度的模型训练网络；步骤2、根据设备参数和输入的具有故障标签及非故障标签的数据的大小，计算设备能够训练的最大网络层数；步骤3、在设备算力资源和存储能力受限的情况下，使用步骤1中经过分层处理的卷积神经网络和在步骤2中得到的训练的最大网络层数，对步骤2中输入数据进行特征提取，输入数据在每一层网络中均需要训练至收敛，训练过程中得到的模型参数才传至下一层网络进行训练，在完成规定训练的最大网络层数后，得到相应的故障检测模型；步骤4、将与步骤1中相同的卷积神经网络分为三个子层卷积神经网络，将三个子层神经网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分层神经网络分布式训练的故障预测方法，其特征在于，包括以下步骤：步骤1、将卷积神经网络划分为不同的网络层，每个子层网络输出的向量维度与下一层网络的输入向量维度大小相同，得到一个包含多个子层且每层均可输出模型参数和模型训练精度的模型训练网络；步骤2、根据设备参数和输入的具有故障标签及非故障标签的数据的大小，计算设备能够训练的最大网络层数；步骤3、在设备算力资源和存储能力受限的情况下，使用步骤1中经过分层处理的卷积神经网络和在步骤2中得到的训练的最大网络层数，对步骤2中输入数据进行特征提取，输入数据在每一层网络中均训练至收敛，训练过程中得到的模型参数传至下一层网络进行训练，在完成规定训练的最大网络层数后，得到相应的故障检测模型；步骤4、将与步骤1中相同的卷积神经网络分为三个子层卷积神经网络，将三个子层神经网络分别部署在设备端、边缘端和云端，每层均输出对输入数据是否含有故障的预测值，部署在设备端、边缘端和云端的神经网络之间能够相互通信，得到一个故障预测网络；步骤5、使用步骤4得到的故障预测网络和步骤3中得到的故障检测模型，对未含有故障标签和非故障标签的数据进行故障预测，先在设备端进行预测，得到输入数据是否含有故障的预测值，根据该值的大小和实际需求，判断是否在边缘端和云端进行预测。2.根据权利要求1所述的基于分层神经网络分布式训练的故障预测方法，其特征在于，步骤1中所述将卷积神经网络划分为不同的网络层，具体为：每一层网络包含卷积层、激活函数、池化层和全连接层，每个子层神经网络中首先使用一层卷积层得到输入故障数据的特征输出，激活函数使用线性整流函数，池化层选择最大池化，接入全连接层整合池化层中输出的参数，全连接层的输出传递至softmax层进...

【专利技术属性】
技术研发人员：李骏，沈寒池，田巳睿，马川，韦康，邵雨蒙，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：