基于迁移学习的ELM-AE的聚酯纤维原丝生产性能预测方法技术

本发明专利技术涉及一种基于迁移学习的ELM‑AE的聚酯纤维原丝生产性能预测方法。由于ELM网络结构仅有一个隐含层，且输入数据的权重及隐含层的偏置是随机生成的，浅层网络对数据特征提取具有一定的偏差，因此加深ELM网络结构用于提取数据的特征，多层隐含层采用自编码(Autoencoder:AE)进行训练提高模型的训练精度。在工业过程中，同一生产规格产品的生产数据具有难采集，采集成本造价高，采集样本数量少等特点，数据难以用来进行工业过程建模。迁移学习(Transfer Learning:TL)是在一种环境中学到的知识被用在另一个领域中来提高它的泛化性能。不同规格的产品的生产数据有相似之处，且具有一定的相关性，建立迁移学习ELM‑AE(TL‑ELM‑AE)模型，提高模型的泛化能力。

【技术实现步骤摘要】
基于迁移学习的ELM-AE的聚酯纤维原丝生产性能预测方法
本专利技术属于机器学习领域，特别是涉及基于迁移学习的ELM-AE的聚酯纤维原丝生产性能的预测。
技术介绍
极限学习机(ExtremeLearningMachine:ELM)是一个单隐含层的前向神经网络。ELM神经网络的结构有三层，第一层是输入层，中间层是隐含层，最后一层是输出层。三层神经网络是任何一个函数的逼近器，ELM神将网络是一个较优逼近器，模型具有易于实现，训练速度快，泛化能力强的优点。ELM的训练速度快的优势在于模型的输入权重(输入层到隐含层的连接权重)及隐含层的偏置是随机生成的，ELM模型只需计算输出权重(隐含层到输出层的链接权重)即可。由于ELM的网络结构是一个浅层的神经网络，即使增加隐含层节点的数量，数据特征的提取没有显著效果，因此加深ELM网络结构具有重要意义。自编码器(Autoencoder:AE)是只有一层隐含层且输入和输出神经元具有相同节点数的神经网络。自编码器由两部分组成，一部分是编码部分，即输入层到隐含层，用于提取输入数据的特征；另一部分是解码部分，即隐本文档来自技高网...

【技术保护点】
1.基于迁移学习的ELM-AE的聚酯纤维原丝生产性能预测方法，其特征是包括：(1)建立数据驱动模型；(2)训练迁移学习的ELM-AE模型的权重；(3)输入聚酯纤维原丝生产工艺特征，获知聚酯纤维性能指标；/n所述建立数据驱动模型，是建立基于迁移学习的ELM-AE数据驱动模型，通过自编码加深ELM模型结构用于进一步提取数据特征，同时将源域输入数据集和目标域输入数据集进行迁移学习，且在自编码模型的编码过程中将迁移学习通过最大均值差异方法计算的损失值添加到自编码的损失函数上，此数据驱动模型即为所述迁移学习的ELM-AE模型，简称TL-ELM-AE模型，其迁移学习的ELM-AE模型目标函数的表达式如下：...

【技术特征摘要】
1.基于迁移学习的ELM-AE的聚酯纤维原丝生产性能预测方法，其特征是包括：(1)建立数据驱动模型；(2)训练迁移学习的ELM-AE模型的权重；(3)输入聚酯纤维原丝生产工艺特征，获知聚酯纤维性能指标；
所述建立数据驱动模型，是建立基于迁移学习的ELM-AE数据驱动模型，通过自编码加深ELM模型结构用于进一步提取数据特征，同时将源域输入数据集和目标域输入数据集进行迁移学习，且在自编码模型的编码过程中将迁移学习通过最大均值差异方法计算的损失值添加到自编码的损失函数上，此数据驱动模型即为所述迁移学习的ELM-AE模型，简称TL-ELM-AE模型，其迁移学习的ELM-AE模型目标函数的表达式如下：



其中，等式右边的前两项表示的是基于迁移学习的ELM-AE模型的输出权重最小，等式右边的第三项表示深度提取数据特征信息，等式右边的第四项表示迁移学习的过程；
ETL-ELM-AE表示迁移学习的ELM-AE模型的损失函数，X表示迁移学习的ELM-AE模型的输入数据，X＝{xS,xT}，xS表示源域输入数据集，xT表示目标域输入数据集，ω表示ELM模型的输入权重，b表示ELM模型的隐含层偏置，表示ELM隐含层的激活函数，表示ELM隐含层的输出，β表示ELM模型的输出权重，Y表示迁移学习的ELM-AE模型的输出；hX表示AE模型的输入数据，f(·)表示AE模型隐含层的激活函数，f(hX)表示AE模型隐含层的输出，g(·)表示AE模型输出层的激活函数，g(f(hX))表示AE模型输出层的输出；MMD2(·)表示最大均值差异，用来计算源域输入数据与目标域输入数据的差异；
通过求解迁移学习的ELM-AE模型的损失函数最小化，更新迁移学习的ELM-AE模型的权重，建立迁移学习的ELM-AE模型；
并且，
a)源域输入数据集和目标域输入数据集分别采集自两种聚酯纤维原丝生产的纺丝工艺特征；所述目标域输入数据集的纺丝工艺特征包含于所述源域输入数据集的纺丝工艺特征，且所述源域输入数据集的每个纺丝工艺特征的样本数量远大于所述目标域输入数据集的每个纺丝工艺特征的样本数量；
b)源域输出数据集和目标域输出数据集分别采集自两种聚酯纤维原丝生产的纺丝性能指标；所述目标域输出数据集的纺丝性能指标包含于所述源域输出数据集的纺丝性能指标，且所述源域输出数据集的每个纺丝性能指标的样本数量远大于所述目标域输出数据集的每个纺丝性能指标的样本数量；
所述在自编码模型的编码过程中将迁移学习通过最大均值差异方法计算的损失值添加到自编码模型的损失函数上，此过程是建立迁移学习的ELM-AE模型的核心内容，目标是计算迁移自编码的损失函数最小值：



其中，ETL-AE表示迁移自编码的损失函数，hX表示AE模型的输入数据，f(·)表示AE模型隐含层的激活函数，f(hX)表示AE模型隐含层的输出，g(·)表示AE模型输出层的激活函数，g(f(hX))表示AE模型输出层的输出；xS表示源域的输入数据，xT表示目标域的输入数据，MMD2(·)是最大均值差异，用来计算源域输入数据和目标域输入数据的差异，其计算公式如下：



其中，表示源域输入数据样本的特征映射，r表示源域输入数据的第r个样本点，p表示源域输入数据的样本数量；表示目标域输入样本的特征映射，o表示目标域输入数据的第o个样本点，q表示目标域输入数据的样本数量；
所述训练的权重及偏置项的更新公式为：






其中，表示是迁移自编码更新的权重值，表示迁移自编码旧的权重值，表示迁移自编码更新的偏置值，表示迁移自编码旧的偏置值，αTL-AE为迁移自编码的学习率，ETL-AE表示迁移自编码的损失函数，及分别表示的是迁移自编码的损失函数对权重及偏置的偏导数。


2.根据权利要求1所述的基于迁移学习的ELM-AE的聚酯纤维原丝生产性能预测方法，其特征在于，所述迁移学习的ELM-AE模型为大于3层结构的神经网络，包括一层输入层、H层隐含层及一层输出层；H的取值大于等于2。


3.根据权利要求1所述的基于迁移学习的ELM-AE的聚酯纤维原丝生产性能预测方法，其特征在于，数据集的建立具体为：
Ⅰ、源域输入数据集和目标域输入数据集的建立：
不同生产规格批次采集的输入样本数据即聚酯纤维纺丝过程的工艺特征，将其构成总的输入样本数据集X＝{xS,xT}，xS表示的迁移学习的源域输入数据集，xT表示的是迁移学习的目标域输入数据集；一组源域输入数据样本为一组目标域输入数据样本为m为工艺特征的个数；因此N组输入构成的总的输入样本数据集X＝[x1，x2，…，xN]，N＝p+q，p为源域样本的数量，q为目标域样本的数量；迁移学习的源域样本的数量p远远大于目标域样本的数量q，数据集矩阵形式为：



矩阵的每一行为一种工艺特征，共有m种工艺特征；矩阵的每一列为一组输入数据，总共有N组输入数据；表示源域输入样本的第1组数据的第1种工艺特征的数值，表示源域输入样本的第1组数据的第m种工艺特种的数值，表示源域输入样本的第p组数据的第1种工艺特征的数值，表示源域输入样本的第p组数据的第m种工艺特征的数值；表示目标域输入样本的第1组数据的第1种工艺特征的数值，表示目标域输入样本的第1组数据的第m种工艺特征的数值，表示目标域输入样本的第q组数据的第1种工艺特征的数值，表示目标域输入样本的第q组数据的第m种工艺特征的数值；
将总的输入样本数据集矩阵X进行标准化，对输入数据集X中的xS和xT分别标准化，所述数据标准化处理的转换公式为：



其中，i＝1，2，…，m，r＝1，2，…，p，o＝1，2，…，q，m为工艺特征个数，r为源域输入样本数量，o为目标域输入样本数量；

为源域输入样本数据集的第r组数据第i种工艺特征的数值；

为源域输入样本数据集第i种工艺特征的均值；

为源域输入样本数据集第i种工艺特征的标准差；

为源域输入样本数据集标准化后的第r组数据第i种工艺特征的数值；

为目标域输入样本数据集的第o组数据第i种工艺特征的数值；

为目标域输入样本数据集第i种工艺特征的均值；

为目标域输入样本数据集第i种工艺特征的标准差；

为目标域输入样本数据集标准化后的第o组数据第i种工艺特征的数值；
标准化后的总的输入样本数据集矩阵即特征...

【专利技术属性】
技术研发人员：郝矿荣，张金喜，陈磊，蔡欣，唐雪嵩，王彤，任立红，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海;31