【技术实现步骤摘要】
本专利技术涉及发酵过程产物浓度预测领域及深度学习预训练，尤其是涉及一种基于预训练的发酵产物浓度预测方法。
技术介绍
1、生物制造是利用生物机体进行物质加工与合成的绿色生产方式。生物制造产业链如图1所示，图1中上游产业使用基因编辑和高通量筛选技术产出高性能工业菌株；中游产业进行发酵过程优化与发酵过程放大得出可用于大规模发酵的高性能工业菌株的最佳发酵条件；下游产业进行发酵产物分离提纯，进行商业化产品交付。近年，合成生物学与高通量筛选技术大大提高了上游高性能工业菌株的可获性，而中游发酵过程优化技术仍在利用经验知识和统计学方法进行反复试错，由于较难量化和形成标准，已经成为上游创新成果产业化的瓶颈。因此如何借助智能化技术提升发酵优化的效率，已经受到学术界与工业界的关注。
2、发酵过程优化是指发酵师依据表征质量的特定变量值，并结合经验调整控制参数，其中表征质量的特定变量值称为指标变量，主要包括菌体浓度、产物浓度以及底物浓度等。由于指标变量需要离线测得，无法获得实时数据，导致发酵师只能凭经验进行粗粒度调控。软测量指以软件代替硬件功能，使用易测过程变量预测待测过程变量，近年，已有学者将软测量应用于发酵现场在线监测，可以更直观地观测发酵全过程以进行细粒度实时精准调控，有助于提升发酵过程优化的效率。
3、发酵领域建立软测量模型的方法包括：生物机理、传统机器学习、深度学习。其中基于生物机理的方法高度依赖充分可靠的先验知识，其基于复杂的动力学方程开发，此类方法优势在于建立了可解释的白盒模型，但随着基因工程菌的可获性增强、迭代速度
4、要解决标签数据不足的问题，重点在于如何有效利用无标签数据的信息。文章[yao l,ge z.deep learning of semisupervised process data with hierarchicalextreme learning machine and soft sensor application[j].ieee transactions onindustrial electronics,2017,65(2):1490-1498.]使用自动编码器构造数据重构任务并最小化数据重构误差，提取了无标签数据的特征用于后续训练；文章[shen b,yao l,gez.nonlinear probabilistic latent variable regression models for soft sensorapplication:from shallow to deep structure[j].control engineering practice,2020,94:104198.]堆叠变分自编码器，进一步考虑了重构数据的与原始数据的分布差异，对无标签数据的特征进行了更深层次的提取；文章[qiu k,wang j,zhou x,et al.softsensorbased on localized semi-supervised relevance vector machineforpenicillin fermentation process with asymmetric data[j].measurement,2022,202:111823.]融合三种相似度度量，使用标签数据估计无标签数据的标签；文章[gopakumar v,tiwari s,rahman i.a deep learning based data driven soft sensorforbioprocesses[j].biochemical engineeringjournal,2018,136:28-39.]使用自组织映射提取无标签数据信息用于人工神经网络权值初始化，再使用标签数据微调网络，在指标变量的预测上表现出不错的性能。上述方法都有效地利用了无标签数据的信息并在各自的下游模型中表现出优越的性能，但此类方法无法应用于其他类型的深度学习模型中，目前发酵软测量领域仍缺乏一种适用于大部分深度学习网络的无标签数据信息提取方法。
5、自监督学习从未标记的数据中学习有用的表示，通过设置不同的前置任务，自监督预训练模型可以用有限的标签数据达到与监督学习相当的性能，有望提取发酵过程数据中无标签数据的信息并应用于大部分深度学习网络中。文章[devlin,jacob,et al."bert:pre-training of deep bidirectional transformers for language understanding."arxiv preprint arxiv:1810.04805(2018).]提出的bert在预训练阶段提出了两个前置任务，第一个任务是掩码语言建模，它随机掩盖掉文本中的一部分单词，然后预测这些掩盖单词的原始内容；第二个任务是下一句预测，即判断两个句子在原始文本中是否连续。通过两个前置任务的训练，模型很好地捕获了语义信息，经过下游任务的微调可以获得更好的性能。最近，此类前置任务的训练在自然语言生成式大模型中发挥了重要作用，在自然语言处理领域取得了强大的效果，然而在时间序列数据领域，预训练任务仍然处于探索阶段。文章[eldele e,ragab m,chen z,et al.time-series representation learning viatemporal and contextual contrasting[j].arxiv preprint arxiv:2106.14112,2021.]针对时间序列设计了对比学习框架，该方法首先提出了两种数据增强方式：加入随机噪声和随机洗牌，然后拉进两个增强样本的表示并拉远与其它样本间的表示，最后设计了艰巨的跨视图预测任务，通过上述方法进行预训练后，模型学习到了时序数据的一致性表示，并在下游分类任务上表现优越；文章[zhang x,zhao z,tsiligkaridis t,et al.self-supervised contrastive pre-training for time series via time-frequencyconsistency[j].arxiv preprint arxiv:2206.08496,2022.]提出时频一致性原理，提出时域与频域的数据是同本文档来自技高网...
【技术保护点】
1.一种基于预训练的发酵产物浓度预测方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的一种基于预训练的发酵产物浓度预测方法，其特征在于，所述步骤S2：数据轮换模块整理历史发酵过程数据为训练数据中，为方便说明，定义一个有n批发酵数据的数据集D，对都有其中代表易测得的发酵过程数据，每一个子数据集会有li个时间步数据，下角标i表示第i个数据集，其中Yi代表待预测变量，则可以定义mini_batch(l)即为长度l的一组训练数据，为方便说明简称为mini_batch，使用数据轮换机制整理数据包括以下步骤：
3.根据权利要求1所述的一种基于预训练的发酵产物浓度预测方法，其特征在于，所述步骤S3：设置正负样本对比学习模块中，定义数据增强族τ，该数据增强族可以包括数据随机翻转、随即洗牌、随机增幅等数据增强操作，定义第i个批次数据Xi∈Di∈mini_batch，其中选定弱相关变量进行数据增强并构造正样本选定强相关变量进行数据增强并构造负样本正样本指导模型学习弱相关变量的一些变化不会对结果产生巨大影响，负样本指导模型学习强相关变量的变化会使结果产生巨大差异，使用一
4.根据权利要求1所述的一种基于预训练的发酵产物浓度预测方法，其特征在于，所述步骤S4：设置上下文对比学习模块中，由于不同的发酵批次的结果往往不同，因此不同批次数据经过模型计算出的结果应当不同，基于此定义第j个样本Xj∈Dj∈mini_batch，选定弱相关变量进行数据增强并构造正样本选定强相关变量进行数据增强并构造负样本可以得到hj＝Menc(Xj),其中hj为原始数据经过自回归模型计算后的映射，为正样本经过自回归模型计算后的映射，为负样本经过自回归模型计算后的映射，指定(hi,hj),为负对，构造上下文对比学习任务。
5.根据权利要求1所述的一种基于预训练的发酵产物浓度预测方法，其特征在于，所述步骤S5：设置数据重构模块中，数据重构预训练任务主要包括以下步骤：
6.根据权利要求1所述的一种基于预训练的发酵产物浓度预测方法，其特征在于，所述步骤S6：计算预训练流程的总损失中，计算总损失主要包括以下步骤：
7.根据权利要求1所述的一种基于预训练的发酵产物浓度预测方法，其特征在于，所述步骤S6：使用历史发酵过程数据中有限的标签Y对模型做进一步微调中，对于有标签的时间步tlobel，对于样本Xi，有标签数据Yi，有截至tlabel的样本数据计算经过预训练模型后的输出之后使用一个线性投影头Pout，具体地，Pout包含一个全连接层，计算tlabel时刻的产物浓度预测值类似地可以得到全部有标签时间步的标签预测值使用平均绝对误差作为微调阶段的损失函数，对于样本Xi的微调损失Lreg可以表示为：
...【技术特征摘要】
1.一种基于预训练的发酵产物浓度预测方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的一种基于预训练的发酵产物浓度预测方法，其特征在于，所述步骤s2：数据轮换模块整理历史发酵过程数据为训练数据中，为方便说明，定义一个有n批发酵数据的数据集d，对都有其中代表易测得的发酵过程数据，每一个子数据集会有li个时间步数据，下角标i表示第i个数据集，其中yi代表待预测变量，则可以定义mini_batch(l)即为长度l的一组训练数据，为方便说明简称为mini_batch，使用数据轮换机制整理数据包括以下步骤：
3.根据权利要求1所述的一种基于预训练的发酵产物浓度预测方法，其特征在于，所述步骤s3：设置正负样本对比学习模块中，定义数据增强族τ，该数据增强族可以包括数据随机翻转、随即洗牌、随机增幅等数据增强操作，定义第i个批次数据xi∈di∈mini_batch，其中选定弱相关变量进行数据增强并构造正样本选定强相关变量进行数据增强并构造负样本正样本指导模型学习弱相关变量的一些变化不会对结果产生巨大影响，负样本指导模型学习强相关变量的变化会使结果产生巨大差异，使用一个自回归模型menc对过程数据进行编码，得到hi＝menc(xi),其中hi为原始数据经过自回归模型计算后的映射，为正样本经过自回归模型计算后的映射，为负样本经过自回归模型计算后的映射，指定为正对，为负对，构造正负样本对比学习任务。
4.根据权利要求1所述的一种基于预训练的发酵产物浓...
【专利技术属性】
技术研发人员：刘晶，王君贤，季海鹏，王旭，吕华，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。