一种基于模态共有特征分离的软测量建模方法技术

本发明专利技术涉及一种基于模态共有特征分离的软测量建模方法。该方法充分考虑工业过程的数据特性，通过β变分自编码器和梯度反转方法，对多模态工业过程进行模态共有特征的提取，同时利用输入生成模态独有的系数，将模态独有系统与模态共有特征相乘，用于多模态过程的软测量建模。将模态基础特征与模态独有参数相结合，用于软测量的回归建模，对关键质量变量进行估计和预报。与现有的其他方法相比，本发明专利技术可以有效地提取工业数据中多模态和非线性特征，对待测多模态输入数据进行自动的模态划分，从而利用模态共有特性和独有特性进行建模，大幅度提升软测量模型对多模态工业过程的预测精度。预测精度。预测精度。

【技术实现步骤摘要】
一种基于模态共有特征分离的软测量建模方法


[0001]本专利技术属于工业过程控制
，涉及一种基于模态共有特征分离的软测量建模方法。

技术介绍

[0002]在工业过程中，用于帮助过程监测、故障诊断以及质量预报的关键变量被称为质量变量，而在过程中易于采集的传感器数据被称为过程变量。但质量变量由于一些客观条件的限制，直接获取的难度往往较大，例如测量的设施异常昂贵、测量的环境非常困难、实验室分析延迟较大等。针对此类难于直接观测的关键质量变量，一般的，可采用软测量建模的方法，即构建易于测量的过程变量与难于观测的质量变量之间的数学关系，进而进行推断和估计。
[0003]此外，在生产过程中，随着原料组分、生产需求、生产环境、生产工艺等因素的变化，同一生产线的状态也会随之发生物理或化学性质的变化，这也被称为多模态过程。为了解决多模态问题，现有的方法一般可分为线性算法、非线性算法、自适应学习算法。线性算法是建立多个子空间，从而提出变量、单元的分层预测。此类模型需要结合具体的多模态过程专家知识，以建立精确的多模态模型，不具备普适性；而非线性的方法往往是将多模态也视为一种高维的非线性因素，从而进行拟合。这需要引入更深层网络结构或增加网络节点进行非线性拟合，计算规模大，时间成本高，很难适用于实时性要求高的在线监测过程；自适应的学习方法能够不断实时动态更新模型，从而忽略过程的多模态特性，该方法对于一些简单的多模态过程建模效果较好，而处理复杂的非线性多模态过程，则会出现严重的信息丢失问题。
[0004]综上，现有的一些多模态问题解决方案，都没有充分考虑到工业过程的数据特性。对于工业过程而言，由于数据是源自于同一个反应过程，所以不同的模态数据之间有一定的共性，这些共性往往是过程的基础特性，因此，多模态建模可以从模态共有特征出发，设计一个轻量的深度学习模型提取模态之间的基础特征，抽离不同模态的独有特征，建立起多模态过程变量和质量变量之间的关系，能够有效构建高预测精度的软测量模型。

技术实现思路

[0005]本专利技术的目的就是提供一种基于模态共有特征分离的软测量建模方法。
[0006]本专利技术具体包括以下步骤：
[0007]步骤一、收集多模态工业过程建模所需的有标签数据集，随机采样，将数据分为训练集输入样本X
train
∈R1×
n
和测试集输入样本X
test
∈R1×
n
,训练集输入样本对应输出样本集Y
train
∈R1×1，测试集输入样本对应输出样本集Y
test
∈R1×1，其中n代表变量维度；
[0008]步骤二、对步骤一中所述训练集X
train
进行模态划分，为每个样本标注一个对应的模态类别m；
[0009]步骤三、基于开源深度学习平台Tensorflow搭建基于模态共有特征分离与自加权
变分自编码器网络MSCS
‑
SW
‑
VAE模型；
[0010]步骤1、搭建模态共有特征提取网络：使用β变分自编码器将训练集输入样本X
train
通过编码器映射到隐层空间，得到隐变量特征均值z
mean
和方差z
sigma
，均值和方差经过重参数化得到隐变量z＝z
mean
+e
×
z
sigma
，其中e～N(0,I)。隐变量z经由解码器得到输入数据X
train
的重构值定义编码器部分网络参数为θ
e
，解码器部分网络参数为θ
d
；
[0011]定义模态共有特征提取网络的损失函数为L
x
+βD
KL
，其中L
x
为重构损失，βD
KL
为隐变量损失，βD
KL
＝βD
KL
(N(z
mean
,z
sigma2
I),N(0,I))，D
KL
表示KL散度，β一般设置为大于1的超参数；
[0012]步骤2、搭建模态共有特征增益网络及模态分类网络：将步骤1中隐变量特征均值z
mean
使用softmax分类器确定输入样本属于模态i的概率p
i
；定义模态分类网络参数为θ
m
，模态分类损失函数为其中k是模态个数，m是模态类别；
[0013]定义特征增益网络损失函数时，引入了梯度反转方法；当反向梯度传播到隐层空间时，在损失函数L
m
前乘以一个负数
‑
λ，以到梯度反转的效果；随训练过程动态改变，p为迭代进程，表示当前迭代次数与总迭代次数的比率，γ取常数10；
[0014]步骤3、搭建模态独有系数生成网络：输入数据X
train
经过一个一层的全连接层，再经过一个dropout层，最后通过一个激活函数relu，得到模态独有系数r，定义模态独有系数生成网络参数为θ
r
；
[0015]步骤4、基于步骤1和步骤3所述隐变量特征均值z
mean
和模态独有系数r，构建质量变量回归网络：将模态共有特征提取网络中的隐变量特征均值z
mean
与模态独有系数r相乘，经过多层感知机MLP拟合得到预测值定义质量变量回归网络参数为θ
y
，回归损失函数
[0016]步骤四、将步骤一和步骤二所述训练样本X
train
∈R1×
n
以及样本对应的模态类别m，输入到步骤三搭建的下MSCS
‑
SW
‑
VAE模型进行训练；得到MSCS
‑
SW
‑
VAE模型的损失函数为L
x
+L
y
+βD
KL
+L
m
；根据各部分损失函数和训练样本输入、输出、模态标签，利用梯度反转方法和随机梯度迭代算法，对各网络参数进行梯度迭代更新。
[0017]步骤五、将测试集样本X
test
输入到经步骤一～步骤五训练的网络中，获得输出预测值将预测值与输出样本Y
test
进行比对，对模型进行验证，完成软测量模型的建立。
[0018]进一步的，步骤二具体为：对训练集输入样本X
train
进行数据特性分析，使用数据可视化、K
‑
means聚类或者人工标注的方式，确定输入样本对应的模态类别。
[0019]进一步的，步骤四具体为：步骤1模态共有特征提取网络接收输入样本，其获得的隐变量特征均值z
mean
作为步骤2模态共有特征增益网络及模态分类网络的输入；步骤3模态独有系数生成网络亦接收输入样本，其获得的模态独有系数r，与步骤1中获得的隐层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模态共有特征分离的软测量建模方法，其特征在于：具体包括如下步骤：步骤一、收集多模态工业过程建模所需的有标签数据集，随机采样，将数据分为训练集输入样本X
train
∈R1×
n
和测试集输入样本X
test
∈R1×
n
,训练集输入样本对应输出样本集Y
train
∈R1×1，测试集输入样本对应输出样本集Y
test
∈R1×1，其中n代表变量维度；步骤二、对步骤一中所述训练集X
train
进行模态划分，为每个样本标注一个对应的模态类别m；步骤三、基于开源深度学习平台Tensorflow搭建基于模态共有特征分离与自加权变分自编码器网络MSCS
‑
SW
‑
VAE模型；步骤1、搭建模态共有特征提取网络：使用β变分自编码器将训练集输入样本X
train
通过编码器映射到隐层空间，得到隐变量特征均值z
mean
和方差z
sigma
，均值和方差经过重参数化得到隐变量z＝z
mean
+e
×
z
sigma
，其中e～N(0,I)；隐变量z经由解码器得到输入数据X
train
的重构值定义编码器部分网络参数为θ
e
，解码器部分网络参数为θ
d
；定义模态共有特征提取网络的损失函数为L
x
+βD
KL
，其中L
x
为重构损失，βD
KL
为隐变量损失，βD
KL
＝βD
KL
(N(z
mean
,z
sigma2
I),N(0,I))，D
KL
表示KL散度，β一般设置为大于1的超参数；步骤2、搭建模态共有特征增益网络及模态分类网络：将步骤1中隐变量特征均值z
mean
使用softmax分类器确定输入样本属于模态i的概率p
i
；定义模态分类网络参数为θ
m
，模态分类损失函数为其中k是模态个数，m是模态类别；定义特征增益网络损失函数时，引入了梯度反转方法；当反向梯度传播到隐层空间时，在损失函数L
m
前乘以一个负数
‑
λ，以到梯度反转的效果；随训练过程动态改变，p为迭代进程，表示当前迭代次数与总迭代次数的比率，γ取常数10；步骤3、搭...

【专利技术属性】
技术研发人员：沈冰冰，姚乐，葛志强，
申请(专利权)人：杭州师范大学，
类型：发明
国别省市：