一种基于强化学习算法的微灌单元管网布置优化设计方法技术

本发明专利技术公开一种基于强化学习算法的微灌单元管网布置优化设计方法，涉及农业灌溉领域，包括：构建近端策略优化算法模型；设置近端策略优化算法模型的状态

【技术实现步骤摘要】
一种基于强化学习算法的微灌单元管网布置优化设计方法


[0001]本专利技术涉及农业灌溉领域，特别是涉及一种基于强化学习算法的微灌单元管网布置优化设计方法
。

技术介绍

[0002]中国微灌技术已由早期的零星示范逐渐转入了规模化发展
。
为降低日益增加的运行管理成本，单个微灌系统控制面积呈明显增大趋势
。
但是，微灌系统管网水头损失及地形偏差随着系统控制面积的增大而增大，如何在满足灌水均匀性的约束下，优化系统设计和运行管理方式，进而实现系统投资和运行成本的降低，是规模化微灌系统推广中亟待解决的新问题
。

技术实现思路

[0003]本专利技术的目的是提供一种基于强化学习算法的微灌单元管网布置优化设计方法，能够提高微灌单元灌溉水利用效率
。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种基于强化学习算法的微灌单元管网布置优化设计方法，包括：
[0006]构建近端策略优化算法模型；
[0007]设置所述近端策略优化算法模型的状态
、
动作和奖励，得到基于近端策略优化算法的优化模型；
[0008]获取相关训练数据集，并根据所述相关训练数据集对所述优化模型进行训练，得到训练后的优化模型；
[0009]应用所述训练后的优化模型对微灌单元管网面积进行预测
。
[0010]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0011]本专利技术在微灌单元管网设计时，考虑微灌单元的边界特征
、
实际地形偏差，将微灌单元内所有毛管和支管全部纳入微灌单元水力计算过程中，基于计算得到的流量偏差率
、
灌水均匀系数和经济性指标对单元管网面积进行优化选择，进而实现微灌单元灌溉水利用效率和经济效益的整体提高
。
附图说明
[0012]图1为基于强化学习算法的微灌单元管网布置设计方法流程图；
[0013]图2为
EPANET
管网模型基本信息框图；
[0014]图3为强化学习神经网络层示意图；
[0015]图4为
PPO
强化学习框架示意图；
[0016]图5为基于
PPO
的微灌管网控制模型；
[0017]图6为基于
PPO
的
Matlab
‑
EPANET
协同仿真平台结构示意图；
[0018]图7为基于
PPO
的
Matlab
‑
EPANET
协同仿真平台的交互与数据交换示意图；
[0019]图8为微灌管网模型
。
具体实施方式
[0020]基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围
。
[0021]下面结合附图和具体实施方式对本专利技术作进一步详细的说明
。
[0022]实施例一
[0023]如图1所示，本专利技术提供了一种基于强化学习算法的微灌单元管网布置优化设计方法，包括：
[0024]步骤
S1
：构建近端策略优化算法
(Proximal Policy Optimization
，
PPO)
模型
。
如图3所示，近端策略优化算法模型包括一层输入层
、
两层隐含层和一层输出层
。
具体为：输入初始化策略参数
θ0，初始化超参数
ε
，设置迭代次数，在策略
π
k
＝
π
(
θ
k
)
上收集经验轨迹集
D
k
。
应用优势函数算法计算优势估计计算策略更新策略函数计算策略更新策略函数通过采取小批量的步骤计算损失函数并通过均方误差回归拟合值函数：
[0025]步骤
S2
：设置近端策略优化算法模型的状态
、
动作和奖励，得到基于近端策略优化算法的优化模型
。
优化模型为基于
PPO
的微灌系统布置优化模型
。
[0026]在实际应用中，如图4图
、5
和图8所示，优化目标是在满足单元管网水力设计标准的同时，选取经济效益最高时的单元面积作为设计参考
。
从优化目标出发，采用微灌单元地形偏差
、
支管公称外径
(D
s
/D
l
，
mm)、
毛管公称外径
(D
s
/D
l
，
mm)、
支管管径粗糙系数
(R
s
/R
l
，
‑
)、
毛管管径粗糙系数
(R
s
/R
l
，
‑
)、
灌水器设计流量
(q
d
，
0.1MPa
工作压力条件下流量，
L/h)、
灌水器间距
(S
e
，
cm)、
毛管间距
(S
l
，
m)
和毛管布置方向作为物理参数来描述系统状态，使用单元面积作为
RL
的控制动作
。
其中，
“‑”
表示没有单位
。
由于单元面积和经济效益是微灌系统的主要优化目标，因此采用管网流量偏差率和灌水均匀性作为奖励函数的一部分
。
为了进一步精确经济效益，进而将微灌单元年费用引入奖励函数
。
其中，微灌单元年费用分为四个方面进行计算：
(1)
系统管网投资；
(2)
系统维护费用；
(3)
系统能耗费用；
(4)
灌水费用
。
[0027]进一步地，搭建基于
RL
的
Matlab
‑
EPANET
联合仿真平台
。
具体包括：如图2所示，使用
Matlab
设置微灌管网参数，包括管网中每个灌水器的节点坐标
、
水源点坐标
、
出水桩坐标
、
管段长度
、
管段外径及管道粗糙系数等，创建程序目录与
EPANET
进行耦合建立仿真模型
。
应用
EPANET
软件追踪管道节点在不同时间段内的系统压力及管段水流的变化情况
。
[0028]步骤
S3
：获取相关训练数据集，并根据相关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于强化学习算法的微灌单元管网布置优化设计方法，其特征在于，包括：构建近端策略优化算法模型；设置所述近端策略优化算法模型的状态
、
动作和奖励，得到基于近端策略优化算法的优化模型；获取相关训练数据集，并根据所述相关训练数据集对所述优化模型进行训练，得到训练后的优化模型；应用所述训练后的优化模型对微灌单元管网面积进行预测
。2.
根据权利要求1所述的基于强化学习算法的微灌单元管网布置优化设计方法，其特征在于，所述近端策略优化算法模型包括依次连接的输入层
、
隐含层和输出层
。3.
根据权利要求1所述的基于强化学习算法的微灌单元管网布置优化设计方法，其特征在于，所述状态包括微灌单元地形偏差
、
支管公称外径
、
毛管公称...

【专利技术属性】
技术研发人员：孙世坤，张吉娜，赵春红，战国隆，董佳慧，苏宝峰，葛茂生，
申请(专利权)人：西北农林科技大学，
类型：发明
国别省市：