一种卷烟异味气体喷淋水洗循环水pH值调节方法技术

本发明专利技术公开了一种卷烟异常气味喷淋水洗循环水pH值调节方法，属于卷烟生产技术领域，建立基于Q

【技术实现步骤摘要】
一种卷烟异味气体喷淋水洗循环水pH值调节方法


[0001]本专利技术属于卷烟生产
，更具体的说涉及一种卷烟异味气体喷淋水洗循环水pH值调节方法。

技术介绍

[0002]卷烟生产中的制丝过程不可避免会产生大量的异味气体，这些气体对会厂区周围大气环境产生较大的影响。目前，卷烟厂通常采用喷淋水洗的方法对异味气体进行吸收，烟厂异味气体中存在有机酸，喷淋水回收时总体呈酸性，pH值为4。喷淋水洗循环水流量较大，采用传统的储水式pH值调节方法需要建造大型水箱，占地面积大、改造成本高，难以在建成烟厂中实际实施改造，因此需要对循环水pH值实现动态调节。循环水中含有的烟气成分复杂，pH调节非线性，采用传统的PID控制器进行调节，调节效果并不理想。

技术实现思路

[0003]本专利技术针对现有技术中存在的上述缺陷，提出一种卷烟异味气体喷淋水洗循环水pH值调节方法，通过Q
‑
learning算法对非线性、高延时、非稳态的循环水输出pH值稳定调节，提高异味气体净化率，增加循环水循环次数。
[0004]为了实现上述目的，本专利技术采用以下技术方案实现：一种卷烟异常气味喷淋水洗循环水pH值调节方法，包括以下步骤：
[0005]步骤1：建立pH调节反应器离线仿真模型；
[0006]步骤2：建立基于Q
‑
learning算法pH值控制器；
[0007]步骤3：使用pH调节反应器离线仿真模型提供的动作状态数据对基于Q
‑
learning算法pH值控制器进行训练；
[0008]步骤4：pH值控制器训练完成，在线部署。
[0009]优选的，步步骤1所述的pH调节反应器离线仿真模型包括反应器、循环水输入管道、氢氧化钠溶液输入管道、循环水输出管道，所述的循环水输入管道上设置有调节循环水输入流量的薄膜阀一，所述的氢氧化钠输入管道上设置有调节氢氧化钠溶液输入流量的薄膜阀二，循环水输入实时流量、循环水输入pH值、氢氧化钠溶液最大输入流量、氢氧化钠溶液浓度、薄膜阀一开度、薄膜阀二开度为设定值，循环水输出pH值为模拟值。
[0010]优选的，步骤2包括以下步骤：
[0011]步骤2.1：将薄膜阀一开度、薄膜阀二开度作为动作集合A，将循环水输出pH值作为状态集合S，创建Q值表对动作值函数Q(s，a)进行表示；
[0012]步骤2.2：设定奖励矩阵R，所述的奖励矩阵R为：
[0013][0014]式中Rt为奖励函数，Kr为常数，用于调整奖励函数范围，abs(pH
实际
‑
pH
设定
)表示循环水输出pH设定值与实际值的绝对值，abs(a
t
‑
a
t+1
)表示动作离散绝对值。
[0015]优选的，所述的步骤3包括以下步骤：
[0016]步骤3.1：根据循环水输入实时流量、循环水输入pH值、氢氧化钠溶液浓度选择Q值表，并初始化Q值表；
[0017]步骤3.2：任意给定状态s
t
，s
t
∈S；
[0018]步骤3.3：根据s
t
，采用贪婪算法计算动作a
t+1
，计算执行动作a
t+1
的状态变化s
t+1
以及奖励函数R
t
；
[0019]步骤3.4：根据Q(s
t
,a
t
)
←
Q(s
t
,a
t
)+α[R
t
+γQ(s
t+1
,a
t+1
)
‑
Q(s
t
,a
t
)]对状态s
t
和动作a
t
相应Q值进行更新；
[0020]步骤3.5：如果s
t
←
s
t+1
，s
t
不在改变循环结束，否则s
t
→
s
t+1
返回步骤3.2继续循环至设定迭代次数。
[0021]优选的，所述的步骤3.2根据蒙特卡洛取样法从历史数据中抽取数据作为循环水输出pH值s
t
。
[0022]本专利技术有益效果：
[0023]建立基于Q
‑
learning算法的pH值控制器，克服流量、pH值存在非线性、时变性、非稳态的特点，控制效果优于传统PID控制器。通过pH调节反应器离线仿真模型对pH值控制器进行训练，补充过程数据集，减少训练成本，部署安装便捷，减少改造成本。pH值调整更加精确，增加循环水循环次数，减少水资源浪费。
附图说明
[0024]图1为本专利技术流程图；
[0025]图2为步骤3训练流程图；
[0026]图3为pH调节反应器离线仿真模型；
[0027]图4为基于Q
‑
learning算法pH值控制器及传统PID控制器pH值实时调整结果。
具体实施方式
[0028]为了便于本领域一般技术人员理解和实现本专利技术，现结合附图及具体实施例进一步描述本专利技术的技术方案。
[0029]本专利技术公开了一种卷烟异味气体喷淋水洗循环水pH值调节方法，包括以下步骤：
[0030]步骤1：建立喷淋水洗循环水系统离线仿真模型；
[0031]作为优选的，步骤1所述的pH调节反应器离线仿真模型包括反应器、循环水输入管道、氢氧化钠溶液输入管道、循环水输出管道，所述的循环水输入管道上设置有调节循环水输入流量的薄膜阀一，所述的氢氧化钠输入管道上设置有调节氢氧化钠溶液输入流量的薄膜阀二，循环水输入实时流量、循环水输入pH值、氢氧化钠溶液最大输入流量、氢氧化钠溶液浓度、薄膜阀一开度、薄膜阀二开度为设定值，循环水输出pH值为模拟值。本实施例中，离线仿真模型如图3所示。通过历史数据集计算反应容器中流量贡献的H+离子速率，反应容器中流量贡献的H+离子速率计算公式如下：
[0032][0033]式中表示输入反应容器中流量贡献的H+离子速率，表示循环水输入反应容器的H+离子浓度，F1表示循环水输入反应容器中的流量，表示调配好的氢氧化钠溶液中OH
‑
浓度，F2表示调配好的氢氧化钠溶液流入流量，表示流出反应容器的H+离子浓度，F3表示流出反应容器的流量，V是反应容器体积。
[0034]在同一反应器中，可以通过历史数据计算不同状态输入反应容器中流量贡献的H+离子速率，设定循环水输入实时流量、循环水输入pH值、氢氧化钠溶液最大输入流量、氢氧化钠溶液浓度、薄膜阀一开度、薄膜阀二开度后便可计算出循环水输出pH的模拟值，在200分钟的总模拟时间内，时间步长dt＝0.1分钟。每次模拟总计2000次迭代，获得充分多的仿真数据。
[0035]步骤2：建立基于Q
‑
lear本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷烟异常气味喷淋水洗循环水pH值调节方法，其特征是，包括如下步骤：步骤1：建立pH调节反应器离线仿真模型；步骤2：建立基于Q
‑
learning算法pH值控制器；步骤3：使用pH调节反应器离线仿真模型提供的动作状态数据对基于Q
‑
learning算法pH值控制器进行训练；步骤4：pH值控制器训练完成，在线部署。2.根据权利要求1所述的一种卷烟异常气味喷淋水洗循环水pH值调节方法，其特征是，步骤1所述的pH调节反应器离线仿真模型包括反应器、循环水输入管道、氢氧化钠溶液输入管道、循环水输出管道，所述的循环水输入管道上设置有调节循环水输入流量的薄膜阀一，所述的氢氧化钠输入管道上设置有调节氢氧化钠溶液输入流量的薄膜阀二，循环水输入实时流量、循环水输入pH值、氢氧化钠溶液最大输入流量、氢氧化钠溶液浓度、薄膜阀一开度、薄膜阀二开度为设定值，循环水输出pH值为模拟值。3.根据权利要求1所述的一种卷烟异常气味喷淋水循环水pH值调节方法，其特征是，步骤2包括以下步骤：步骤2.1：将薄膜阀一开度、薄膜阀二开度作为动作集合A，将循环水输出pH值、循环水输入实时流量、循环水输入pH值、氢氧化钠溶液浓度作为状态集合S，创建Q值表对动作值函数Q(s，a)进行表示；步骤2.2：设定奖励矩阵R，所述的奖励矩阵R为：式中R
t
为奖励函数，k
r
为常数，用于调整奖励函数范围，abs(pH
实际
‑
pH
设定
)表示循环水输出pH的设定值与实际值间绝对值，abs(a
t
‑
a
t+1

【专利技术属性】
技术研发人员：李文亮，吴悦，徐文涛，徐潇媛，季亦帆，刘海龙，龚良昊，马建忠，
申请(专利权)人：红云红河烟草集团有限责任公司，
类型：发明
国别省市：