基于注意力泊松自编码器网络的计数数据软测量建模方法技术

本发明专利技术公开了一种基于注意力泊松自编码器网络的计数数据软测量建模方法，其中提出了一种注意力堆叠泊松自编码器网络结构。该方法首先建立监督泊松自编码器，在此基础上，通过引入注意力机制来衡量各个隐层特征对于计数型质量变量输出值的贡献，并用泊松网络层来集成隐层特征，运用蕴含在不同隐层特征中的信息共同预测计数型质量变量，建立了输入到输出的多条连接通道。本发明专利技术方法提升了计数数据软测量模型对数据特征的挖掘能力，提高了模型对各隐层特征的有效利用率，提升了对计数型质量数据的预测效果。据的预测效果。据的预测效果。

【技术实现步骤摘要】
基于注意力泊松自编码器网络的计数数据软测量建模方法


[0001]本专利技术属于工业过程预测及软测量领域，涉及一种基于注意力泊松自编码器网络的计数数据软测量建模方法。

技术介绍

[0002]计数数据作为一种重要数据类型，其具有离散、非负整数、高偏斜分布等特点，有必要建立离散计数数据模型，即建立某一事件发生次数(称为因变量、输出变量或响应变量)与引起其发生的因素(称为自变量、输入变量或过程变量)之间的联系，以预报事件的发生次数。
[0003]在过程工业中，软测量作为一种工具，可以用来预测产品质量或其他重要变量，可以考虑用来对计数数据建模处理。基于数据驱动的软测量建模方法常见的是多元线性回归(MLR)和偏最小二乘(PLS)回归。它们假设响应变量服从正态和同方差分布，这与观测到的计数数据高度过分散分布相违背。此外计数数据是非负整数，但MLR和PLS可能会使因变量产生负值。而非线性建模方法如支持向量回归(SVR)和人工神经网络(ANN)方法存在较差的可解释性的缺点，同时不能保证预测的非负性。
[0004]工业流程数据存在很强的相关性和高冗本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力泊松自编码器网络的计数数据软测量建模方法，其特征在于，该方法包括如下步骤：S1：收集建模用的输入输出训练数据集：其中，x代表输入变量，y代表离散计数数据类型的输出变量，N表示数据样本个数；S2：构建注意力泊松自编码器网络，所述注意力泊松自编码器网络由多个监督泊松自编码器分层堆叠而成，前一个监督泊松自编码器的隐藏层的输出作为下一个监督泊松自编码器的输入层的输入；所述监督泊松自编码器包括一个输入层、一个隐藏层和一个输出层，从隐藏层到输出层包含输入重构网络层和泊松网络层，所述输入重构网络层用于对输入向量进行重构，所述泊松网络层用于对计数型质量数据进行预测；随机初始化注意力泊松自编码器网络的神经网络和泊松网络的参数；S3：将训练数据输入给注意力泊松自编码器网络，根据最小化损失函数训练第一个监督泊松自编码器，获得第一个监督泊松自编码器的权重和偏置参数和隐藏层的输出将h1作为第二个监督泊松自编码器的输入层的输入，根据最小化损失函数训练第二个监督泊松自编码器，获得对应的权重和偏置参数，以此层层递进，使用h
k
‑1，根据训练第k个监督泊松自编码器SPAE
k
获得参数和h
k
，直到最后一个监督泊松自编码器训练完成；k≤L，其中，L为监督泊松自编码器的数量；S4：结束S3的逐层训练后，引入注意力机制衡量各个隐藏层特征对于输出变量y的贡献，赋予不同的权重；在所有的监督泊松自编码器的隐藏层的输出h和输出变量y之间建立泊松网络进行回归，计算根据每个隐藏层的输出预测得到的输出变量，并将其与对应的权重加权求和，根据预测误差对回归网络参数进行调整更新；回归网络训练结束并保存注意力泊松自编码器网络；S5：将待预测输入数据输入到保存的注意力泊松自编码器网络，经过注意力泊松自编码器网络的前向传播即可得到计数型质量变量预测值。2.根据权利要求1所述的基于堆叠泊松自编码器网络的计数数据软测量建模方法，其特征在于，所述S3中，监督泊松自编码器中的编码器表示为：h＝σ(W
e
·
x+b
e
)其中，σ代表sigmoid激活函数，x是输入层的输入向量，h是隐藏层的输出向量，W
e
和b
e
分别表示编码器的权重和偏置；监督泊松自编码器中的解码器表示为：监督泊松自编码器中的解码...

【专利技术属性】
技术研发人员：张新民，刘颖，宋执环，何柏村，
申请(专利权)人：浙江大学，
类型：发明
国别省市：