基于Q-learning的水厂泵房水泵组优化调度方法技术

针对水厂在城市供水过程中水泵组用电消耗量大的问题，本发明专利技术提出一种基于Q

【技术实现步骤摘要】
基于Q
‑
learning的水厂泵房水泵组优化调度方法


[0001]本专利技术是一种AI技术在水务行业中的应用方法，具体是一种基于Q
‑
learning的水厂泵房水泵组优化调度方法。

技术介绍

[0002]近年来随着“互联网+”的快速发展，将新一代AI技术与水务行业结合，推动水务智能化的深入应用、打造水务“绿色智能化”平台已成为水务企业增强核心竞争力优势的重要手段
[1
‑
3]。水厂作为水务系统的主要组成部分在其中发挥着重要作用。由水务业务链结合水务大数据的多个维度调查结果发现，当前我国绝大多数水厂都是采用依据历史经验的人工方式来调节工频水泵组
[4
‑
5]。但是，供水管网在一天内存在高低峰用水的动态性和差异性，若不及时进行水泵组的灵活调度，容易造成低峰用水时段水泵仍然处于高频工作状态的情况，从而导致水厂增加30％
‑
50％的能耗。因为水泵组能耗占水厂总能耗的90％以上，所以实现水泵组的智能调度对于水务系统具有重要的经济价值。
[0003]作为水泵组及其辅助设备的调控中心，泵房会根据实际用水量需求协调水泵启停来完成制水任务。泵房水泵组优化调度是一个非线性的多约束优化问题，目前国内学者对其已有相关研究。综合考虑泵站日运行分时电价、扬程及流量变化，文献[6]设计了一种泵站运行效率优化模型，通过动态规划确定不同时段的泵站效率最优运行方式，使得日运行费用比常规人工调度方式降低了18％。文献[7]提出了一种水泵组智能化控制系统，包括采用遗传算法求解的水泵组优选模型以及计算电耗与效率的实时评估模型。现场应用结果表明，该系统的优化调度使得单位电耗降低了17.4％，并且将水泵组运行效率提高至80％以上，对泵站的节能降耗有较好地指导作用。文献[8]提出了一种基于粒子群和支持向量机(PSO
‑
SVR)的取水泵组调度模型，通过SVR学习往年水泵组的调度经验；同时使用PSO优化SVR参数以获得精确的取水预测值，进而生成下一时段的水泵组调度推荐表。工程师根据推荐表进行调度决策可使单位能耗降低3.92％，达到节能制水的目标。上述文献采用不同的求解策略实施水泵组优化调度，然而新建水厂规模的扩大、调度数据的大量积累增加了目标调度模型的复杂度，使得传统的优化求解方法面临着维度灾难和易陷入局部最优解等问题。计算机技术的发展和调度平台的逐步完善使得AI技术赋能绿色智能水务具备了高度的可行性。
[0004]水泵组优化调度的表现形式是建立一个准确、可靠的调度策略，强化学习
[9
‑
12]通过智能体与环境的不断交互可以提供一个最优调度策略。近年来，强化学习中的Q
‑
leaning算法广泛应用于水厂优化调度模型的求解过程。针对现实复杂环境中供水优化调度问题，文献[13]提出了一种以哈希表为核心的数据结构，使用Q
‑
learning获得了水库最优调度方案。研究结果显示Q
‑
learning得到全局最优解的同时减少了在线优化求解时间，很大程度上提高了水库运行效率。文献[14]提出了一种基于改进Q
‑
learning的pFQI算法，该算法先优化坝体尺寸的单一运行策略参数，再采用pFQI算法寻求最优的水库大坝运行方案。试验结果表明：在兼顾用户用水需求和最小建设成本的情况下，pFQI算法具有比常规Q
‑
learning更好的计算效率。文献[15]采用一种结合Q
‑
learning和树回归的方法，解决随机动态规划中状态增加而引起的维度灾难问题，但是通过设置不同权重将不同的供水优化目标转化为单一目标的高效性还有待进一步改善。文献[16]提出了基于多智能体深度强化学习的水厂取水泵站节能调度方法。该方法将取水泵站总能耗最小化问题建模为马尔可夫博弈，并使用多智能体深度强化学习求解调度策略。然而，多智能体深度强化学习需要大量的训练样本且训练难度高。水厂的实际制水过程若无法采样到充足的样本将影响调度策略的可靠性，大大降低了该方法的可行性。

技术实现思路

[0005]针对水厂在城市供水过程中水泵组用电消耗量大的问题，本专利技术提出一种基于Q
‑
learning的水厂泵房水泵组优化调度方法。根据城市用水的日需求量，该方法：
[0006]首先，将水泵组优化调度问题建模为能耗最小的目标优化问题，并将之转化为马尔科夫决策过程。
[0007]接着，利用Q
‑
learning求解水泵组的最优调度策略，以实施实时的优化调度，降低全天各时段的水泵组能耗。
[0008]仿真结果表明，相比于传统的遗传算法，Q
‑
learning调度算法将水泵组能耗降低了19.1％，利于了绿色智能化的水务发展。
[0009]相对于其它模型，Q
‑
learning更适合于设计水厂取水泵的节能调度方案。
附图说明
[0010]图1是水厂制水流程图；
[0011]图2是实验仿真中，00:00
‑
24:00时段城市用水需求量；
[0012]图3(a)是折扣率γ＝0.9，学习率α分别为0.05,0.01,0.005时的Q值收敛曲线；
[0013]图3(b)是学习率α＝0.05，折扣率γ分别为0.9,0.8,0.7时的Q值收敛曲线；
[0014]图4是不同用水需求量下两种算法的水泵组能耗对比；
[0015]图5是不同水泵数量下两种算法的能耗对比；
[0016]图6是不同用水量下两种算法的能耗对比；
[0017]图7是不同水池水位离散粒度下两种算法能耗对比。
具体实施方式
[0018]1专利技术概述
[0019]本专利技术利用Q
‑
learning探寻水厂泵房水泵组的优化调度方案，首先通过获取水泵功耗特性曲线来建立最小化水泵组能耗的目标优化模型；接着，利用Q
‑
learning求解优化调度模型；最后，使用真实的水厂制水数据进行仿真实验，评估基于Q
‑
learning调度的水泵组节能性能。
[0020]2泵房水泵组的能耗模型
[0021]水源地浑水由水泵组抽取后，经过水厂净水工艺处理方可得到城市生产和生活用水。如图1所示，水厂制水流程包括三个步骤：(1)水源地浑水通过水泵组抽取送至加工池；(2)经过沉淀、过滤、消毒等一系列净水工艺处理后，符合卫生安全的清水被存入清水池；
(3)根据当前城市用水的需求量，清水经过供水管网输送至城市各处，用于工业生产和居民生活。制水流程中清水池不仅是制水工艺的反应容器，而且是水厂为城市供水的缓冲区，用以保障供水的稳定性。
[0022]根据上述水厂制水流程，易知水泵组抽水是关键步骤，其工作效率影响着后续的一系列净水工艺。通常，水厂取水泵主要由工频泵(power frequenc本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Q
‑
learning的水厂泵房水泵组优化调度方法，水泵组是用于把水源地浑水抽取送至水厂加工池的取水泵；水泵组抽水是水厂制水流程中的关键步骤；水厂取水泵包括工频泵和变频泵，其中工频泵按照额定转速进行作业，变频泵由实际用水需求分档位进行作业；两种水泵的扬程、流量、转速以及功率性能均与水泵能耗直接关联；其特征是优化调度方法的设计过程为：1)建立水厂泵房的水泵组的能耗模型；2)利用Q
‑
learning求解优化调度模型；3)使用真实的水厂制水数据进行仿真实验，评估步骤2)得到的能耗模型的性能；步骤1)中，泵房水泵组的能耗模型的建立过程为：1.1)分析两种水泵的流量
‑
扬程W
‑
H和流量
‑
功率W
‑
N特性曲线：H
(p)
＝a0+a1W2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)N
(p)
＝b0+b1W+b2W2ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，W,H
(p)
,N
(p)
分别表示工频泵运行时的流量(m3/h)、扬程(m)、功率(kW)；a0,a1和b0,b1,b2均为待定的多项式系数。(2)变频泵流量
‑
扬程(W
‑
H)和流量
‑
功率(W
‑
N)特性曲线的函数表达式分别为H
(v)
＝c1S2+c2WS+c3W2ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)N
(v)
＝d1S3+d2WS2+d3W2S
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，S,H
(v)
,N
(v)
分别表示变频泵运行的转速比、扬程(m)、功率(kW)；c1,c2,c3和d1,d2,d3均为待定的多项式系数。1.2)使用采集的水泵运行数据进行最小二乘拟合，以确定两种水泵的W
‑
H和W
‑
N特性曲线：设置时间序列Λ＝{1,
…
,T}；在时隙t∈Λ时，将采集的流量、扬程、功率、转速比数据代入式(1)～(4)，采用最小二乘拟合方法求解出拟合参数和进而获得两种水泵的W
‑
H和W
‑
N近似特性曲线；1.3)根据功率和能耗之间的物理关系，在时隙t内建立两种水泵的能耗模型：假设水泵组包括I台工频泵和J台变频泵，它们的功率分别为和则，两种水泵的能耗模型分别为的能耗模型分别为其中，表示工频泵的能耗，表示变频泵的能耗；表示时隙t时工频泵i的状态，和分别表示工频泵启动和不启动；表示时隙t时变频泵j的状态，表示不启动，分别对应变频泵的低、中、高三个档位；联合式(5)和式(6)，水泵组E
t
的总能耗表示为
水厂用管道输送清水至城市各处的过程中存在管道阻抗因素，所以水泵组的总能耗调整为其中，σ表示管道阻抗系数，和分别表示工频泵i和变频泵j对应管道输送清水引起的能量损失；设置水泵高效运行的阈值为η0，由式(1)～(4)分别得到工频泵和变频泵的效率η
(p)
,η
(v)
∈(η0,1)的表达式其中，预设使水泵高效运行的转速比S；在时隙t内预先给定水泵效率η
(p)
,η
(v)
均为η
t
以及转速比S
t
，本文将已经求解的变频泵和工频泵的拟合参数和代入式(9)分别计算出工频泵i和变频泵j的流量值和若水泵高效运行的流量最小和最大阈值分别为W
min
和W
max
，则两种水泵运行期间的流量均须满足控制调度周期内水泵组的运行总能耗E
t
需满足式(11)E
t
＜E
max
ꢀꢀꢀꢀꢀꢀꢀꢀ
(11)其中，E
max
为可容忍的最大总能耗；时隙t内清水池水位须在最低需求水位h
min
和最高警戒水位h
max
之间，即h
min
＜h
t
＜h
max
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)最终把泵房水泵组的能耗模型建立为最小化水泵组能耗的目标优化模型：其中...

【专利技术属性】
技术研发人员：刘为顺，王天荆，沈航，刘颖，白光伟，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：