【技术实现步骤摘要】
本专利技术属于能源系统优化决策，具体涉及一种基于混合动作空间强化学习的远洋海岛群能量管理方法。
技术介绍
1、我国是背陆面海的海洋大国，共有海岛11000余个，仅有647个海岛已通过与大陆建设海底电缆引电，仍有众多远洋海岛受技术制约无法架设大陆-海岛供能网络。可靠的能量供给是远洋海岛发展建设的动脉，远洋海岛蕴含丰富的风能、太阳能、波浪能、海流能等可再生能源，考虑可再生能源的远洋海岛群综合能源系统能量管理是实现远洋海岛可持续开发利用的重要途径。传统的远洋海岛群综合能源系统的能量管理主要考虑电能供给，同时可再生能源具有强不确定性，导致现有远洋海岛群综合能源系统的能量管理存在诸多局限性：1)传统的陆域一体化能源系统模型不能满足岛屿的淡水等特殊能源需求。2)由于岛屿能源的逆分布以及能量传输线路的缺乏使岛屿之间的能量传输受限。同时，能量通过船舶传输使得能量无法及时供给。3)船舶的离散化能量传输导致模型包含离散和连续混合动作空间，进一步增大了求解难度。
技术实现思路
1、针对现有技术的不足，本专利技术提供一种基于混合动作空间强化学习的远洋海岛群能量管理方法，解决了传统方法使岛屿之间的能量传输受限以及通过船舶离散化能量传输使得能量无法及时供给的问题，该方法通过海岛能源枢纽模型实现能源梯级利用，保证海岛特殊能源需求，提高能源利用效率。利用海岛群能源管理模型实现以能量传输受限环境为基础的能量管理，并通过混合动作强化学习来解决能量管理岛群的问题，从而实现远洋海岛群综合能源系统的独立安全稳定运行，推动远
2、为解决上述技术问题，本专利技术提供了如下技术方案：一种基于混合动作空间强化学习的远洋海岛群能量管理方法，包括如下步骤：
3、步骤1： 构建海岛能量枢纽模型，所述模型用于描述满足海岛多元能源需求的能量转换；
4、步骤2：构建海岛间船舶能量传输模型，所述模型用于表征船舶动态运输过程；
5、步骤3：根据海岛能量枢纽模型和船舶能量传输模型，建立海岛群综合能源系统能源管理模型；
6、步骤4：建立包含混合动作空间的深度强化学习方法进行能量管理策略求解。
7、进一步地，所述步骤1中构建考虑能源梯度利用的海岛能量枢纽模型，具体包括如下步骤：
8、步骤1-1：根据海岛的特殊能源供给和需求能源类型，搭建海岛能量枢纽包括海水淡化装置、电转气装置耦合设备在内的设备运行框架。
9、步骤1-2：设计包括燃气轮机、余热锅炉、蒸汽轮机、吸收式制冷装置联合的能源梯度利用模型，其模型为：
10、；
11、；
12、式中，和为海岛能量枢纽输出的热能和冷能，为船舶 ev的天然气的输入，为储热水箱 h的输出，为针对热输入的分配系数，为输入天然气的分配系数，为余热锅炉 h1的产热效率，为燃气轮机 h2的产热效率，为蒸汽轮机 h3的产热效率，为吸收式制冷机 c的制冷效率。
13、进一步地，所述步骤2中构建海岛间船舶能量传输模型，具体包括如下步骤：
14、步骤2-1：分别计算船舶所受ｘ方向和ｙ方向的风力合力和水流合力的海洋环境干扰力矢量、，以及计算船舶所受波浪力的海洋环境干扰力矢量；
15、步骤2-2：根据船舶刚体质量，计算受海洋环境影响下船舶航速变化矢量；
16、步骤2-3：结合静水中船舶航速度矢量，计算在海洋环境和船舶动力系统共同作用下受多重环境影响下的船舶运输速度。
17、进一步地，所述步骤3中建立海岛群综合能源系统能源管理模型，具体包括如下步骤：
18、步骤3-1：设计海岛群综合能源系统能量管理目标函数，目的为在尽可能满足负荷需求的同时，尽量减少能量运输和运输过程中的成本，包含3个部分：船舶运输能量的成本、船舶的能量传输量、为维持供需平衡切除可控负荷量；其目标函数表达如下：；
19、海岛综合能源系统的最优调度目标为实现目标函数的最小化，式中，为调度周期时间，为对应海岛的索引，为岛屿的数量，，分别为船舶在t时刻向第i个岛屿电能的输出和船舶在t时刻向第i个岛屿的天然气的输出，为对应船舶的能量运输成本，为对应船舶的索引，为船舶数量，为第个船舶在t时刻传输能源 en的成本， en为电能和天然气的统称，为要切除不同能源 en类型的可控负荷；为切除负荷的惩罚因子，为目标函数的调节参数；
20、步骤3-2：考虑海岛群综合能源系统包含：常规船舶和应急船舶，其能量传输表达式为：
21、；
22、式中，为t时刻船舶向第i个岛屿电能的输出，为t时刻船舶向第i个岛屿天然气的输出，为t时刻第个常规船舶向第i个岛屿电能的输出，为t时刻第个应急船舶向第i个岛屿电能的输出，为t时刻第个常规船舶向第i个岛屿天然气的输出，为t时刻第个应急船舶向第i个岛屿天然气的输出；、分别为运输电能的常规船舶和应急船舶的数量，、分别为运输气能的常规船舶和应急船舶的数量；为t时刻第个常规船舶是否向第i个岛屿输出电功率的判别系数，为t时刻第个常规船舶是否向第i个岛屿输出气功率的判别系数；为t时刻第个应急船舶是否向第i个岛屿输出电功率的判别系数，为t时刻第个应急船舶是否向第i个岛屿输出气功率的判别系数，和取值为0或1，如下式所示：；
23、式中，为t时刻第个应急船舶向第i个岛屿输出电功率的设定时间，为t时刻第个应急船舶向第i个岛屿输出气功率的设定时间；
24、；
25、式中，为t时刻第个常规船舶运输电能的运行可用功率，为第个常规船舶运输电能的最小功率；为t时刻第个常规船舶运输气能的运行可用功率，为第个常规船舶运输气能的最小功率。
26、进一步地，所述步骤4中建立包含混合动作空间的深度强化学习方法进行能量管理策略求解，具体包括如下步骤：
27、步骤4-1：构造紧凑的混合动作空间，同时表征海岛群综合能源系统能量管理中的离散变量和连续变量；
28、具体的，步骤4-1所构建混合动作空间，具体包括如下步骤：
29、步骤4-1-1：利用带可学习参数的嵌入表征维离散动作空间以及维连续动作空间为，r为实数，为每一行，，每行是一个离散动作的维连续向量；
30、步骤4-1-2：再针对状态下的混合动作，，利用条件变分自动编码器设计连续变量的潜在表示空间，其表示为，为以为参数的编码器，以状态和嵌入表征为条件，映射到潜在表示空间；
31、步骤4-1-3：最后，在通过解码器对连续动作进行重构，其表示为，为以为参数的解码器，为从潜在表示空间重构后连续变量。
32、步骤4-2：基于状态动力学预本文档来自技高网...
【技术保护点】
1.一种基于混合动作空间强化学习的远洋海岛群能量管理方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法，其特征在于，所述步骤1中构建海岛能量枢纽模型，具体包括如下步骤：
3.根据权利要求1所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法，其特征在于，所述步骤2中构建海岛间船舶能量传输模型，具体包括如下步骤：
4.根据权利要求1所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法，其特征在于，所述步骤3中建立海岛群综合能源系统能源管理模型，具体包括如下步骤：
5.根据权利要求1所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法，其特征在于，所述步骤4中建立包含混合动作空间的深度强化学习方法进行能量管理策略求解，具体包括如下步骤：
6.根据权利要求5所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法，其特征在于，所述步骤4-1所构建紧凑的混合动作空间，具体包括如下步骤：
7.根据权利要求5所述的一种基于混合动作空间强化学习
8.根据权利要求5所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法，其特征在于，所述步骤4-3具体包括如下步骤：
...【技术特征摘要】
1.一种基于混合动作空间强化学习的远洋海岛群能量管理方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法，其特征在于，所述步骤1中构建海岛能量枢纽模型，具体包括如下步骤：
3.根据权利要求1所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法，其特征在于，所述步骤2中构建海岛间船舶能量传输模型，具体包括如下步骤：
4.根据权利要求1所述的一种基于混合动作空间强化学习的远洋海岛群能量管理方法，其特征在于，所述步骤3中建立海岛群综合能源系统能源管理模型，具体包括如下步骤：
5.根据权利要...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。