考虑计算资源经济可行的水库群调度并行动态规划方法技术

本发明专利技术涉及一种考虑计算资源经济可行的水库群调度并行动态规划方法，包括：启动；计算资源识别；问题规模识别；已知数据导入中转进程和试算；计算资源经济性与可行性分析；计算资源与问题规模匹配性判断；已知数据导入对等进程；并行动态规划操作执行；水库群调度结果导出；停止。本发明专利技术所述方法针对串行动态规划求解水库群调度的“维数灾”问题，以分布式计算应对“时间灾”，以分布式存储应对“内存灾”，提高了计算效率及可用性。从经济视角，利用分布式内存和硬盘碎片和动态存取技术，硬盘置换内存空间，大幅节省经济开支。从可行视角，给出计算时间及内存和硬盘空间需求，预判和调整计算资源与问题规模匹配性，避免超负荷运转造成无效计算。

【技术实现步骤摘要】
考虑计算资源经济可行的水库群调度并行动态规划方法
本专利技术涉及一种考虑计算资源经济可行的水库群调度并行动态规划方法，是一种水文水资源数据的计算机处理方法，是一种水库群计算机调度和并行计算的方法。
技术介绍
水库优化调度一般需要建立问题的数学模型，确定问题的具体目标，如防洪、发电、供水、生态调度等，采用适当的优化求解方法，在水量平衡、库容、流量以及水力和电力等约束下，做目标极值运算或多目标分析。动态规划(DP)由Bellman(1957)提出，用于优化多阶段决策过程问题。如果多阶段决策过程问题的每一阶段返回值独立，满足单调、可分解的条件，那么原问题就可以分解为一系列单阶段决策问题，并利用DP的递推方程一次两个阶段地递推求解。水库优化调度符合多阶段决策过程问题的特征，DP方法对水库调度的强非线性、可行区间动态变化等特征有较好的应对能力，求解复杂度随计算时段数增加线性增加，因而DP方法在水库优化调度中得到了广泛应用。使用离散形式的DP方法求解水库群优化调度问题时，每个水库的有效库容被离散为有限数量个库容状态，经枚举所有阶段、所有水库的库容状态组合，可以保证问题在离散形式下的全局最优性。然而，众所周知的“维数灾”(包括“时间灾”和“内存灾”两方面)问题限制了DP方法在多水库问题中的应用，这是因为当水库数增加时状态空间将指数增加。急剧增加的状态空间将导致计算内存需求超过现代计算机的硬件容量。为缓解DP方法的维数问题，DP方法的变化体如增量动态规划(IDP)、动态规划逐次优化(DPSA)、离散微分动态规划(DDDP)、增量动态规划逐次优化(IDPSA)、逐步优化(POA)等方法被相继提出。这些变化体大都通过减少状态空间大小、在给定初始解的前提下通过迭代来逼近最优解，在多水库问题中得到广泛应用。然而，这些变化体的求解质量很大程度上取决于初始解的选取，另外当水库数量进一步增加高维问题不可避免，尤其是计算内存需求过大的问题，可能导致DP类方法在单机上无法执行。水库群优化调度问题的时空域很大，优化模型可能包含有成千上万个决策变量和约束条件，直接求解可能会受到单机计算时间过长或计算内存过大的限制。以往研究工作不得不在计算可行性和模拟可靠性间做出取舍，例如为克服维数问题，已有成果大都借助一些简化、逼近或时空降维方法，然而这些方法或多或少降低了模型精度，这与精确模拟和最优利用的期望不相称。单机物理硬件的限制以及大规模计算的需求，已经推动并行计算在许多学科领域广泛研究和成功应用。并行计算在水库群优化调度问题中的应用仍处于起步阶段，研究现状表明：(1)并行计算结合适当的并行化策略优化计算，能够充分利用计算资源，提高求解效率。(2)多数研究基于共享式存储或小型并行计算环境，在分布式存储或高性能并行计算环境中的研究应用仍需挖潜。共享式存储和分布式存储两者的主要差别在于：共享式存储并行计算机中各处理单元通过对共享存储的访问交流信息，存储不可无限扩展。而分布式存储并行计算机中各处理单元通过消息传递交流信息，存储可无限扩展。简言之，分布式存储并行计算机可以实现分布计算和分布存储。(3)主从模式是并行化DP方法的一种常用策略，其中主进程控制整个DP方法的流程，调用从进程计算并返回目标函数值，将所有变量储存在主进程的内存中。主从模式的并行策略仅能够减少DP方法的计算时间，忽略了DP方法可能因计算内存过大在单机或共享式存储并行计算机上无法执行的问题。(4)已有研究从未尝试探讨并行DP方法优化水库群调度的经济性和可行性问题，而探讨这一问题能够节省并行DP方法使用的经济开支。预先判断计算资源与问题规模匹配性，通过提示调整计算资源或问题规模，提高并行DP方法执行的有效性，避免无效计算造成资源浪费。
技术实现思路
为了克服现有技术的问题，本专利技术提出了一种考虑计算资源经济可行的水库群调度并行动态规划方法。所述的方法通过判断计算资源和问题规模的匹配性，避免了计算过程超出硬件和人为的承受能力，采用分布式计算和存储技术，解决了计算过程中的“时间灾”和“内存灾”问题。本专利技术的目的是这样实现的：一种考虑计算资源经济可行的水库群调度并行动态规划方法，所述方法所使用的分布式存储并行计算系统包括：通过网络连接的多个计算单元，所述的计算单元中设有多个物理核、内存和硬盘，其特征在于，所述的方法的步骤如下：启动的步骤：启动并行动态规划操作，首先启动1个中转进程；计算资源识别的步骤：中转进程确定在并行动态规划操作中使用K个对等进程；识别计算内存空间：Θ个对等进程的共享内存的大小为RAM；识别计算硬盘空间：Θ个对等进程的共享硬盘的大小为HDD；识别计算资源的容许利用计算时间为τ；问题规模识别的步骤：中转进程识别水库数为n个；识别各水库离散状态数为m个，不区分水库，假定离散状态数一致；识别时段数为T个；已知数据导入中转进程和试算的步骤：将已知数据导入中转进程，中转进程进行串行动态规划操作试算，计算递推方程式a次，得到时钟时间τa，推求执行一次串行动态规划操作的递推方程式平均计算时间：Δτ＝τa/a；计算资源经济性与可行性分析的步骤：中转进程估算并行动态规划操作的时钟时间τK、单个对等进程所辖内存的大小RAMK、单个对等进程所辖硬盘的大小HDDK；计算资源与问题规模匹配性判断的步骤：中转进程判断：容许时间：τK≤τ，容许内存空间：RAMK×Θ≤RAM，容许硬盘空间：HDDK×Θ≤HDD，三式是否成立；如果“否”，则增加计算资源或减少问题规模并回到“计算资源识别的步骤”，如果“是”则执行下一步骤；已知数据导入对等进程的步骤：启动K个对等进程，将已知数据导入对等进程，所述的已知数据包括：水库特征关系、水文条件、边界条件、约束条件；所述的水库特征关系包括：坝前水位库容关系、坝后水位下泄流量关系、水头损失关系；所述的水文条件包括：入库流量、区间流量、降雨量、蒸发量；所述的边界条件包括：初始水位边界、终止水位边界；所述的约束条件包括：单水库水位约束、单水库流量约束、单水库出力约束、水库群流量约束、水库群出力约束；并行动态规划操作执行的步骤：以分布式计算和存储的方式执行并行动态规划操作；n维动态规划模型的递推方程为：式中：t为时段索引，t∈[1,T]；i为水库索引，i∈[1,n]；Ft*(·)为从调度期初到时段t初的水库群联合运行的最大累计目标函数值；为从调度期初到时段t末的水库群联合运行的最大累计目标函数值；ft(·)为时段t的目标函数值；C(pt,t)表示具有联系的水库群中所有水库在时段t初的库容状态组合，其中pt表示库容状态组合的序号，pt∈[1,mn]，水库群在所有时段的所有库容状态组合为：式中：C为mn×T矩阵，C＝[C(2),…,C(t)，…,C(T+1)]；C(p1,1)为调度期初的库容状态组合，为已知给定值；C*为mn×T最优候选路径矩阵，用于储存最优的前一阶段的库容状态组合到当前阶段的库容状态组合，以便从调度期末到调度期初逐阶段地追溯最优路径序列；C*的元素C*(pt+1,t+1)储存到时段t末库容状态组合pt+1的最优的时段t初库容状态组合；以Ft*表示从调度期初到时段t初的所有最大累计目标函数值，Ft*为mn×1矩阵；用k代表任一对等进程，对等进程k负责执行计算子任务本文档来自技高网...

【技术保护点】
1.一种考虑计算资源经济可行的水库群调度并行动态规划方法，所述方法所使用的分布式存储并行计算系统包括：通过网络连接的多个计算单元，所述的计算单元中设有多个物理核、内存和硬盘，其特征在于，所述的方法的步骤如下：启动的步骤：启动并行动态规划操作，首先启动1个中转进程；计算资源识别的步骤：中转进程确定在并行动态规划操作中使用K个对等进程；识别计算内存空间：Θ个对等进程的共享内存的大小为RAM；识别计算硬盘空间：Θ个对等进程的共享硬盘的大小为HDD；识别计算资源的容许利用计算时间为τ；问题规模识别的步骤：中转进程识别水库数为n个；识别各水库离散状态数为m个，不区分水库，假定离散状态数一致；识别时段数为T个；已知数据导入中转进程和试算的步骤：将已知数据导入中转进程，中转进程进行串行动态规划操作试算，计算递推方程式a次，得到时钟时间τa，推求执行一次串行动态规划操作的递推方程式平均计算时间：Δτ＝τa/a；计算资源经济性与可行性分析的步骤：中转进程估算并行动态规划操作的时钟时间τK、单个对等进程所辖内存的大小RAMK、单个对等进程所辖硬盘的大小HDDK；计算资源与问题规模匹配性判断的步骤：中转进程判断：容许时间：τK≤τ，容许内存空间：RAMK×Θ≤RAM，容许硬盘空间：HDDK×Θ≤HDD，三式是否成立；如果“否”，则增加计算资源或减少问题规模并回到“计算资源识别的步骤”，如果“是”则执行下一步骤；已知数据导入对等进程的步骤：启动K个对等进程，将已知数据导入对等进程，所述的已知数据包括：水库特征关系、水文条件、边界条件、约束条件；所述的水库特征关系包括：坝前水位库容关系、坝后水位下泄流量关系、水头损失关系；所述的水文条件包括：入库流量、区间流量、降雨量、蒸发量；所述的边界条件包括：初始水位边界、终止水位边界；所述的约束条件包括：单水库水位约束、单水库流量约束、单水库出力约束、水库群流量约束、水库群出力约束；并行动态规划操作执行的步骤：以分布式计算和存储的方式执行并行动态规划操作；n维动态规划模型的递推方程为：...

【技术特征摘要】
1.一种考虑计算资源经济可行的水库群调度并行动态规划方法，所述方法所使用的分布式存储并行计算系统包括：通过网络连接的多个计算单元，所述的计算单元中设有多个物理核、内存和硬盘，其特征在于，所述的方法的步骤如下：启动的步骤：启动并行动态规划操作，首先启动1个中转进程；计算资源识别的步骤：中转进程确定在并行动态规划操作中使用K个对等进程；识别计算内存空间：Θ个对等进程的共享内存的大小为RAM；识别计算硬盘空间：Θ个对等进程的共享硬盘的大小为HDD；识别计算资源的容许利用计算时间为τ；问题规模识别的步骤：中转进程识别水库数为n个；识别各水库离散状态数为m个，不区分水库，假定离散状态数一致；识别时段数为T个；已知数据导入中转进程和试算的步骤：将已知数据导入中转进程，中转进程进行串行动态规划操作试算，计算递推方程式a次，得到时钟时间τa，推求执行一次串行动态规划操作的递推方程式平均计算时间：Δτ＝τa/a；计算资源经济性与可行性分析的步骤：中转进程估算并行动态规划操作的时钟时间τK、单个对等进程所辖内存的大小RAMK、单个对等进程所辖硬盘的大小HDDK；计算资源与问题规模匹配性判断的步骤：中转进程判断：容许时间：τK≤τ，容许内存空间：RAMK×Θ≤RAM，容许硬盘空间：HDDK×Θ≤HDD，三式是否成立；如果“否”，则增加计算资源或减少问题规模并回到“计算资源识别的步骤”，如果“是”则执行下一步骤；已知数据导入对等进程的步骤：启动K个对等进程，将已知数据导入对等进程，所述的已知数据包括：水库特征关系、水文条件、边界条件、约束条件；所述的水库特征关系包括：坝前水位库容关系、坝后水位下泄流量关系、水头损失关系；所述的水文条件包括：入库流量、区间流量、降雨量、蒸发量；所述的边界条件包括：初始水位边界、终止水位边界；所述的约束条件包括：单水库水位约束、单水库流量约束、单水库出力约束、水库群流量约束、水库群出力约束；并行动态规划操作执行的步骤：以分布式计算和存储的方式执行并行动态规划操作；n维动态规划模型的递推方程为：式中：t为时段索引，t∈[1,T]；i为水库索引，i∈[1,n]；为从调度期初到时段t初的水库群联合运行的最大累计目标函数值；为从调度期初到时段t末的水库群联合运行的最大累计目标函数值；ft(·)为时段t的目标函数值；C(pt,t)表示具有联系的水库群中所有水库在时段t初的库容状态组合，其中pt表示库容状态组合的序号，pt∈[1,mn]，水库群在所有时段的所有库容状态组合为：式中：C为mn×T矩阵，C＝[C(2),…,C(t)，…,C(T+1)]；C(p1,1)为调度期初的库容状态组合，为已知给定值；C*为mn×T最优候选路径矩阵，用于储存最优的前一阶段的库容状态组合到当前阶段的库容状态组合，以便从调度期末到调度期初逐阶段地追溯最优路径序列；C*的元素C*(pt+1,t+1)储存到时段t末库容状态组合pt+1的最优的时段t初库容状态组合；以Ft*表示从调度期初到时段t初的所有最大累计目标函数值，Ft*为mn×1矩阵；用k代表任一对等进程，对等进程k负责执行计算子任务，即：根据K个对等进程完成的前一时段最大累计目标函数值，即求解并在自己所辖的内存中存储当前时段的最大累计目标函数值和最优候选路径在自己所辖的硬盘中存储最优候选路径矩阵C*；中转进程负责为所有对等进程...

【专利技术属性】
技术研发人员：李想，尹冬勤，司源，鲍军，刘荣华，范哲，刘家宏，白音包力皋，穆祥鹏，崔巍，
申请(专利权)人：中国水利水电科学研究院，
类型：发明
国别省市：北京,11