一种基于一维卷积-堆叠自编码器的软测量模型构建方法技术

本发明专利技术公开一种新的基于一维卷积

【技术实现步骤摘要】
一种基于一维卷积
‑
堆叠自编码器的软测量模型构建方法


[0001]本专利技术涉及一种数据驱动的软测量方法，尤其涉及一种基于一维卷积
‑
堆叠自编码器(1D
‑
SAE)的软测量模型构建方法。

技术介绍

[0002]在工业生产中，先进的、优化的控制被广泛用于生产过程中以换取最大的经济效益，而这些方法广泛依赖于关键产品质量的实时识别。然而，这些质量数据往往难以实时检测，即使可以通过实验分析得到，其获取也具有相当大的时间延迟。为了解决这些问题，构建软测量模型的方法被开发出来，其通过用易于测量的过程数据建立数学模型来间接估计那些难以测量的质量数据。随着越来越丰富的过程数据被采集和存储下来，数据驱动的软测量模型构建方法已经成为主流，其中最流行的方法有主成分回归(PCR)、偏最小二乘回归(PLSR)、人工神经网络(ANNs)和支持向量回归(SVR)。
[0003]近年来，深度学习已用于复杂、大规模系统中的大数据特征提取来解决高维、无关信息和高冗余等问题。其中，堆叠自动编码器(SAE)是一个具有多个自动编码器(AE)单元的深度网络，其使用无监督的层级预训练和有监督的微调技术进行训练模型。预训练模拟了人脑的多层抽象功能，允许逐层提取抽象数据特征。微调过程将预训练过程训练完成的网络参数用于初始化并和后续网络融合进行训练，以构建更强大和更准确的软测量模型。
[0004]深度神经网络的一个局限在于训练的速度较慢，对于高维度数据而言，这样的局限更为明显。一维卷积可以在计算代价更小的情况下提取有效的特征，相比于二维卷积，其卷积核只沿着单方向移动，对一维数据进行点积运算，通过池化层对数据维度进行缩小。然而，虽然池化层能有效地提取显著特征，但是在构建软测量模型过程中，池化层会遗漏部分重要信息导致最终的效果不够理想。

技术实现思路

[0005]本专利技术所要解决的主要技术问题是：针对高维、带噪数据，如何更有效稳定地提取特征并构建精度更高的软测量模型。具体来讲，本专利技术首先将不同传感器所采集的带噪数据标准化，然后引入一维卷积的自动编码器(AE)模块。为了保证重要信息不会在池化过程中被遗漏，去除池化层并使用双步长的卷积层对特征维度进行缩小，将多个模块堆叠组成带有一维卷积的堆叠自编码器进行训练，通过最小化各个模块输入和输出的重构误差以完成预训练过程，并将每个模块的卷积核参数进行提取保存。最后进行微调，将预训练的一维卷积堆叠自编码器网络结构连接全连接层，并将保存的预训练过程的卷积核参数作为微调过程的卷积核初始化参数进行训练，最小化网络输出和工业过程实际质量数据误差，从而完成工业过程质量数据的软测量模型的构建。
[0006]本专利技术解决上述技术问题所采用的技术方案为：一种新的基于一维卷积
‑
堆叠自编码器的软测量模型构建方法，包括以下所示步骤：
[0007]步骤(1)：采集正常运行工况下的n个采样时刻m个传感变量带噪数据以组成数据
集矩阵X＝[x1,x2,
…
,x
m
]∈R
n
×
m
，其中n为数据集样本数，m为传感器测量变量数，R为实数集；
[0008]步骤(2)：将传感器带噪数据进行z
‑
score标准化方法进行数据标准化处理，具体计算公式如下：
[0009][0010]其中，μ
i
表示数据集矩阵中单个传感器的所有样本x
i
的均值，σ
i
表示标准差，将所有传感器的均值U＝[μ1,μ2,
…
,μ
m
]和标准差Φ＝[σ1,σ2,
…
,σ
m
]进行储存。对每一列的数据进行标准化后最后得到标准化数据集Z
train
＝[z
train1
,z
train2
,
…
,z
trainm
]∈R
n
×
m
；
[0011]步骤(3)：选取需要通过软测量模型拟合、预测的质量变量数据T
train
＝[z
trainj
]∈R
n
×1及特征变量X
train
＝[z
train1
,z
train2
,
…
,z
trainj
‑1,z
trainj+1
…
,z
trainm
]∈R
n
×
(m
‑
1)
；
[0012]步骤(4)：构建一维卷积自动编码器模块，设计训练器并设置网络超参数，具体的实施过程如下所示：
[0013]步骤(4.1)：对于一维卷积自动编码器的编码器模块，使用一维卷积层进行构建，一维卷积层的设置如下：卷积核大小kernel_size设置为3，填充大小padding设置为1，卷积步长stride设置为2，根据卷积层数大小计算公式：
[0014][0015]其中W和N分别为卷积层输入的层数大小和输出的层数大小。可以看到，当进行如上一维卷积设置时，输出层数W始终是输入层数N的一半，根据此卷积设置，可以在不经过池化层的前提下完成对数据维度的缩小，虽然一定程度上降低了特征提取能力，但是使得整个编码器能够保留更多有用信息；
[0016]步骤(4.2)：对于一维卷积自动编码器的解码器模块，使用一维反卷积层进行构建，一维反卷积层的设置如下：卷积核大小kernel_size设置为2，卷积步长stride设置为2，根据反卷积层数大小计算公式：
[0017]N＝(W
‑
1)*stride
‑
2*padding+kernel_size
ꢀꢀꢀ
(3)其中W和N分别为反卷积层输入的层数大小和输出的层数大小，可以看到，当进行如上一维卷积设置时，输出层数W始终是输入层数N的两倍，根据此卷积设置，可以在不经过池化层的前提下完成对数据维度的增加以完成解码器功能；
[0018]步骤(4.3)：对于一维卷积自动编码器模块，根据MSE损失函数以最小化输入与输出的重构误差，其公式如下：
[0019][0020]其中X表示输入数据，h＝f(X)表示编码器编码过程，h表示输入经过编码器后得到的隐层数据，y＝g(h)表示解码器解码过程，y表示隐层数据经过解码器后得到的重构数据；
[0021]步骤(4.4)：运用Adam训练器对整个一维卷积自动编码器模块进行训练优化，并使得在训练完成后，可以得到隐藏层数据h和卷积层卷积核参数权重weight和偏差bias；
[0022]步骤(4.5)：通过多次测试设置训练周期epoch，学习率lr，一维卷积自动编码器模块层数k等网络超参数；
[0023]步骤(5)：将特征变量X
trai本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于一维卷积
‑
堆叠自编码器(1D
‑
SAE)的软测量模型构建方法，其特征在于，包括以下步骤：离线建模阶段的实施过程如下所示：步骤(1)：采集正常运行工况下的n个采样时刻m个传感变量带噪数据以组成数据集矩阵X＝[x1，x2，...，x
m
]∈R
n
×
m
，其中n为数据集样本数，m为传感器测量变量数，R为实数集；步骤(2)：对数据按z
‑
score方法标准化，得到数据Z
train
＝[z
train1
，z
train2
，...，z
trainm
]∈R
n
×
m
，并得到均值u＝[μ1，μ2，...，μ
m
]∈R1×
m
和标准差Φ＝[σ1，σ2，...，σ
m
]∈R1×
m
；步骤(3)：选取需要通过软测量模型拟合、预测的质量变量数据Y
train
＝[z
trainj
]∈R
n
×1及特征变量X
train
＝[z
train1
，z
train2
，...，z
trainj
‑1，z
trainj+1
…
，z
trainm
]∈R
n
×
(m
‑
1)
；步骤(4)：构建一维卷积自动编码器模块，设计训练器并设置训练周期、学习率、一维卷积自动编码器模块层数等网络超参数；步骤(5)：将特征变量X
train
＝[z
train1
，z
train2
，...，z
trainj
‑1，z
trainj+1
…
，z
trainm
]∈R
n
×
(m
‑
1)
输入到第一层一维卷积自动编码器模块中，经过训练获得输入和输出重构误差最小情况下的第一层隐层数据h1和卷积层卷积核参数权重weight1和偏差bias1。将第一层隐层数据h1作为第二层一维卷积自动编码器模块的输入进行训练得到第二层隐层数据h2和卷积层卷积核参数权重weight2和偏置bias2。以此类推，直到经过k个一维卷积自动编码器模块后，高维度的训练集输入数据被降维至合适维度。此时预训练过程完成，并得到以下参数：隐藏层数据：h1，h2，...，h
k
，其中，对于第i时刻隐层数据，h
i
的维度是h
i+1
维度的两倍；卷积核权重：Weight＝[weight1，weight2，...，weight
k
]∈R3×
k
；卷积核偏置：Bias＝[bias1，bias2，...，bias
k
]∈R1×
k
；步骤(6)：构建微调网络结构，设计训练器并设置训练周期、学习率等网络超参数。将预训练过程中所得到的卷积核权重：Weight＝[weight1，weight2，...，weight
k
]∈R3×
k
和卷积核偏置：Bias＝[bias1，bias2，...，bias
k
]∈R1×
k
作为k层网络的初始化参数进行设置。构建的两层全连接层，以作为软测量模型的输出；步骤(7)：将数据X
train
＝[z
train1
，z
train2
，...，z
trainj
‑1，z
trainj+1
…...

【专利技术属性】
技术研发人员：宋冰，周奕辰，侍洪波，时运，郑城风，宋易盟，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：