一种深度智能故障诊断模型动态两极化剪枝方法技术

本发明专利技术提供了一种深度智能故障诊断模型动态两极化剪枝方法。该方法包括：根据诊断任务的实际情况设计机械设备智能故障诊断模型，确定机械设备智能故障诊断模型中需要剪枝的网络层；将两极化剪枝模块嵌入机械设备智能故障诊断模型，并与需要剪枝的网络层连接，将需要剪枝的网络层的输出特征图作为两极化剪枝模块的输入；利用机械设备故障诊断数据集对机械设备智能故障诊断模型和两极化剪枝模块进行同步训练，两极化剪枝模块输出经过剪枝和通道增强的所述需要剪枝的网络层的特征图。本发明专利技术方法可以在诊断模型训练过程中同步地完成大网络粒度单位的动态结构化剪枝，剪枝方式为结构化剪枝而无须特定硬件设备支持；剪枝不影响诊断精度等诸多优点。响诊断精度等诸多优点。响诊断精度等诸多优点。

【技术实现步骤摘要】
一种深度智能故障诊断模型动态两极化剪枝方法


[0001]本专利技术涉及设备故障诊断
，尤其涉及一种深度智能故障诊断模 型动态两极化剪枝方法。

技术介绍

[0002]由于复杂多变的工况、人为操作的影响、部件自然退化等原因，机械设 备在运行过程中不可避免地会发生各类故障，轻则导致停机停产，重则造成 人员伤亡。因此，对机械设备故障进行及时诊断并采取相应的维护措施，对 保障其安全、可靠、高效运行具有重要的现实意义。传统的机械设备维护通 常以经验性的时间周期对设备各部件进行维修或更换，容易导致“过维修
”ꢀ
或“欠维修”问题，不仅造成资源无端浪费、企业运维成本攀升，而且无法 有效避免重大安全事故。随着物联网、大数据、5G通讯和人工智能等新一代 信息技术的飞速发展，基于深度置信网络、卷积神经网络和堆叠自编码网络 等深度学习技术的智能故障诊断备受青睐，成为了机械设备安全运行保障的 一把“利刃”。
[0003]目前，工业现场所使用的智能故障诊断系统框架通常为星形辐射状结 构，即服务器作为数据处理和计算中心，通过网关、数采板卡等硬件与各传 感节点交互连接。显然，该方式存在数据传输耗时高、诊断结果实时性差等 问题。因此，为了降低通讯成本并得到更好的实时诊断结果，研究人员正在 尝试开发各类面向传感节点、边缘板卡等弱算力终端的轻量化深度智能诊断 模型，以期在端
‑
边设备上便能完成故障诊断，而后只将诊断结果和少量辅助 信息上传至服务器。然而，受现有深度学习理论学习范式的制约，迭代训练 并不能优化模型的结构，因而即便是轻量化的模型也不可避免地存在模型过 参数化的问题。结构化的网络剪枝可以解决上述问题，但是传统的结构化网 络剪枝在模型迭代训练完成后方才进行，且其需要依靠专家经验或领域知识 提前制定剪枝策略，同时也需要根据评估指标进行反复尝试。这个过程不仅 耗时费力，而且如果剪枝策略、评估指标等设计和选择不当，则会出现网络 崩溃等问题。
[0004]综上所述，目前缺乏一种与模型迭代训练同步的自适应网络剪枝方法， 以便高效、快捷、准确地去降低模型复杂度，使深度智能故障诊断模型适配 更广泛的弱算力终端设备。

技术实现思路

[0005]本专利技术的实施例提供了一种深度智能故障诊断模型动态两极化剪枝方 法，以实现在机械设备智能故障诊断模型训练过程中实现与训练同步的动态 网络剪枝，从而有效去除机械设备智能故障诊断模型中的冗余参数。
[0006]为了实现上述目的，本专利技术采取了如下技术方案。
[0007]一种深度智能故障诊断模型动态两极化剪枝方法，包括：
[0008]根据诊断任务的实际情况设计机械设备智能故障诊断模型，确定所述机械 设备智能故障诊断模型中需要剪枝的网络层；
[0009]将两极化剪枝模块嵌入所述机械设备智能故障诊断模型，将所述两极化剪 枝模块与所述需要剪枝的网络层连接，将所述需要剪枝的网络层的输出特征 图作为所述两极化剪枝模块的输入；
[0010]获取机械设备故障诊断数据集，利用所述机械设备故障诊断数据集对所述 机械设备智能故障诊断模型和所述两极化剪枝模块进行同步训练，所述两极 化剪枝模块输出经过剪枝和通道增强的所述需要剪枝的网络层的特征图。
[0011]优选地，所述两极化剪枝模块借助网络粒度单位与通道的对应关系，通过 可学习的评估向量间接评估网络粒度单位对任务的贡献度，并配合动态自适 应阈值算子生成通道级两极化向量，利用两极化向量切断被剪枝网络粒度单 位对网络前向计算和反向传播的影响，实现与训练同步的所述需要剪枝的网 络层的动态冗余参数剪枝。
[0012]优选地，所述两极化剪枝模块的执行步骤如下：
[0013]3.1)设需要剪枝的网络层的输出特征图记作为W、H、C分别表示特征图的 宽、高和通道数；X首先按通道分别求取各通道特征图X n
的均值μ
n
和方差 σ
2n
，其中n＝1,2,3...C，基于每个通道的μ
n
和σ
2n
进行高斯分布随机采样，得到 每个通道的采样值β
n
，并将β
n
按通道顺序拼接成采样向量β，具体计算表达 式如下：
[0014][0015][0016]β
n
＝Sampling(N～(μ
n
,σ
n2
)),n＝1,2...C
[0017]β＝concat(β1,β2...β
C
)
[0018]式中，sampling(
·
)表示采样操作，N～(μ
n
，σ
2n
)表示均值为μ
n
，方差为σ
2n
的 高斯分布，concat(
·
)表示按通道拼接操作；
[0019]3.2)两极化剪枝模块内的两极化向量γ是一个二值向量，0对应剪枝，1 对应保留，γ由α与一个动态自适应阈值算子s(e
t
‑
T
‑
1)进行比较得到，其数学表 达式如下：
[0020][0021]式中，s(e
t
‑
T
‑
1)是动态自适应阈值算子，生成动态的阈值，t表示当前训练 所处训练代数，T表示训练的总代数，s是一个敏感适应性系数，动态自适应 阈值算子的函数性质，从t＝1到t＝T，算子由
‑
s动态升高到0，且二阶导数为 正，随着训练代数的增加，动态自适应阈值增加；
[0022]3.3)两极化向量γ与特征图在通道维度上相乘，强制被剪枝的通道置零， 基于通道和网络粒度单位的对应关系，借助通道置零操作间接实现对网络粒 度单位的剪枝，在通道置零后，被剪枝的网络粒度单位也间接地从网络中断 开，不再影响后续的训练过程，以上数学表达式如下：
[0023][0024]式中，表示剪枝后的特征图，表示按通道相乘；
[0025]3.4)α与β按通道对位相乘再经过tanh激活，得到赋权向量ξ，利用所 述赋权向量ξ对未剪枝的通道进行不同程度的增强，表达式如下：
[0026][0027]式中，tanh表示双曲正切激活函数；
[0028]3.5)为剪枝后的各通道特征图进行增强，表示两极化剪枝模块的输 出，其计算表达式如下：
[0029][0030]α通过迭代进行学习，并配合动态自适应阈值算子生成γ实现自适应动态 剪枝，最小化多分类交叉熵损失函数，其中数学表达式如下：
[0031][0032][0033]式中，表示训练的目标函数，I为深度智能故障诊断模型的 输入，y为其对应的标签，模型训练过程通过优化未剪枝的网络参数使得深 度模型所构建的映射F的输出与样本标签y的交叉熵损失函数最小，对 于CE的表达式，p
k
表示模型预测当前样本属于第k类的概率，y
k
表示样本标签y的独热编码对应的第k类的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度智能故障诊断模型动态两极化剪枝方法，其特征在于，包括：根据诊断任务的实际情况设计机械设备智能故障诊断模型，确定所述机械设备智能故障诊断模型中需要剪枝的网络层；将两极化剪枝模块嵌入所述机械设备智能故障诊断模型，将所述两极化剪枝模块与所述需要剪枝的网络层连接，将所述需要剪枝的网络层的输出特征图作为所述两极化剪枝模块的输入；获取机械设备故障诊断数据集，利用所述机械设备故障诊断数据集对所述机械设备智能故障诊断模型和所述两极化剪枝模块进行同步训练，所述两极化剪枝模块输出经过剪枝和通道增强的所述需要剪枝的网络层的特征图。2.根据权利要求1所述的方法，其特征在于，所述两极化剪枝模块借助网络粒度单位与通道的对应关系，通过可学习的评估向量间接评估网络粒度单位对任务的贡献度，并配合动态自适应阈值算子生成通道级两极化向量，利用两极化向量切断被剪枝网络粒度单位对网络前向计算和反向传播的影响，实现与训练同步的所述需要剪枝的网络层的动态冗余参数剪枝。3.根据权利要求2所述的方法，其特征在于，所述两极化剪枝模块的执行步骤如下：3.1)设需要剪枝的网络层的输出特征图记作为X＝{X1，X2，X3...X
C
}，W、H、C分别表示特征图的宽、高和通道数；X首先按通道分别求取各通道特征图X
n
的均值μ
n
和方差σ
2n
，其中n＝1,2,3...C，基于每个通道的μ
n
和σ
2n
进行高斯分布随机采样，得到每个通道的采样值β
n
，并将β
n
按通道顺序拼接成采样向量β，具体计算表达式如下：按通道顺序拼接成采样向量β，具体计算表达式如下：β
n
＝Sampling(N～(μ
n
,σ
n2
)),n＝1,2...Cβ＝concat(β1,β2...β
C
)式中，sampling(
·
)表示采样操作，N～(μ
n
，σ
2n
)表示均值为μ
n
，方差为σ
2n
的高斯分布，concat(
·
)表示按通...

【专利技术属性】
技术研发人员：王彪，丁奥，秦勇，贾利民，汪洋，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：