【技术实现步骤摘要】
本专利技术属于舰船能源管理，具体涉及一种auv集群能源在线监测以及管理系统及方法。
技术介绍
1、在深海无人作业环境下，auv集群需具备未知环境状态自主推理以及作业任务协同规划能力，需要结合auv集群周围的光学、声学、化学传感等各种载荷的数据信息，及时对各控制单元的工作状态进行智能决策，高效完成观测作业任务，并结合任务过程中的缺陷及时改进。
2、然而，auv集群可以呈现异构特性，面临的作业任务条件复杂多变、多干扰，为保证深海复杂环境下auv集群工作的自主性和适应性，应提高auv集群能源管理和运行控制的智能化水平，从而实现自主导航定位、动态组网、自主探测及决策、自主执行作业，以及自适应优化供能的目标，以节约能源，使其在海底能持续工作更长时间。auv集群能源系统是其开展深海观测、导航通信、精确操作、运输等一系列作业的重要保障。
3、由于auv较长时间在深海从事作业任务，需要很强的续航能力做支持，为此auv自身配备了动力系统。在有限的能源补给条件下，对能源系统的高效管理和优化的运行策略能够起到节能降耗的重要作用，同时，能量管理策略应具备自学习能力，在突发状况下能进行合理有效的能量调度，保证auv集群经济运行。
4、然而，auv集群在面对复杂作业时，其能源供需具有不确定性和时空多尺度性，整体行为复杂，这使得传统基于模型的控制难以应用。有必要从能源特征出发，针对auv集群能源系统的供储用行为复杂、数据多源异构、用能需求多样化等特点设计强化学习优化方法，对auv集群从全局进行能源优化管控。
>技术实现思路
1、针对现有技术中存在的上述问题，本专利技术提出了一种auv集群能源在线监测及管理系统以及方法，设计合理，解决了现有技术的不足，具有良好的效果。
2、一种auv集群能源在线监测及管理系统，包括供能单元、储能单元、用能单元和能源优化管控系统；
3、所述供能单元，用于供应能源，包括能源补给auv的发电系统和电池系统；
4、所述储能单元，用于储存能源，各auv自身携带储能设备，为耗能单元提供能源；
5、所述耗能单元，用于使用能源，主要指各auv的用能设备，包括传感器设备、作业设备、动力设备和通讯设备；
6、所述能源管理系统，用于根据各供储能用单元的能源需求和当前实时监控到的能源状态，进行能源配给，并且对各auv动力执行结构输出动作控制指令。
7、进一步地，所述能源补给auv选用具有双浮筒筏式波浪能捕获装置结构的auv。
8、一种auv集群能源在线监测及管理方法，采用如上所述的一种auv集群能源在线监测及管理系统，包括以下子步骤：
9、s1、将auv集群中的每个auv视为智能体，通过分层强化学习并行训练得到各智能体子策略；
10、s2、通过auv集群聚类避碰进行能源优化，生成集群协同运行策略；
11、s3、设计神经网络模型和智能体模型，得到每个auv的最优动作，最优动作为能源消耗最少的动作。
12、进一步地，所述s1包括以下子步骤：
13、s1.1、将auv集群优化控制问题分解为多个子任务，每个子任务专注于auv集群中的一部分决策过程，并确定每个子任务对应的智能体；
14、子任务的当前q值函数为：
15、；（1）
16、其中，是在时间步获得的回报，是状态，是采取动作，是当前状态，是当前采取动作，为期望值；
17、子任务的预测q值函数为：
18、；（2）
19、其中，是时间步的奖励，是折扣因子，和分别是下一个状态和动作；
20、s1.2、设计强化学习的层次结构，其中高层智能体用于制定长期的策略目标，即高层策略，低层智能体用于负责具体的动作执行；
21、高层策略的q值函数为：
22、；（3）
23、其中，为子任务或选项，为当前时刻t的子任务或选项；
24、s1.3、并行训练：针对每个子任务，独立训练一个智能体，以加快学习过程；
25、s1.4、子策略学习：每个智能体通过与海洋环境交互来学习子策略，并使用强化学习算法来优化子策略，策略优化迭代过程中，需要更新子任务或高层策略值函数以满足bellman方程；
26、其中，更新子任务q值函数的表达式为：
27、；（4）
28、其中，是学习率，是奖励，是新状态下可能的动作，是采取动作后到达的新状态。
29、s1.5、通过多智能体协同策略进一步调整优化后的子策略，在子策略调整中，用到选项模型：每个子策略用一个三元组来表示，其中是选项可以启动的状态集合，是在选项下的策略，是在状态下选项终止的概率；
30、当一个选项被执行时，智能体不仅要学习何时切换选项，还要学习每个选项内部的最优行为，选项o执行后子任务q值函数表达式为：
31、（5）。
32、进一步地，s2包括以下子步骤：
33、s2.1、根据能源消耗最低的目标，基于图论的聚类算法寻找auv集群中心的位置和速度；
34、s2.2、获取各个auv运动轨迹，每t时刻进行一次碰撞判断，若发生碰撞则执行步骤s2.3，否则执行步骤s2.4；
35、s2.3、引入惩罚函数并进行计算，重新寻找符合条件的auv集群中心的位置和速度；
36、s2.4、对生成的各个auv运动轨迹进行校验，若路径全程均没有发生碰撞，执行步骤s2.5，否则返回步骤s2.3重新计算；
37、s2.5、实时更新运动轨迹，直到各个auv抵达终点，并生成各个auv在不发生碰撞下的多条运动轨迹；
38、s2.6、对每个auv不发生碰撞下的所有运动轨迹进行能源消耗计算，选出能源消耗最低的一条运动轨迹，计算auv集群整体的最低能源消耗，将每个auv的运动轨迹作为集群协同运行策略。
39、进一步地，惩罚函数的引入通过在目标函数中添加一个惩罚项来实现，目标函数有如下形式：
40、；（6）
41、其中，是目标函数，是能量消耗函数，是惩罚函数，是权重参数，用来调节惩罚项的影响力度。
42、进一步地，s3包括以下子步骤：
43、s3.1、设计神经网络模型，神经网络被用作近似q值函数，包括n个局部q值网络和全局q值网络，n为auv集群中auv的数量，每个局部q值网络采用循环神经网络；将步骤1中得到的各个auv的子策略、高层策略和各个智能体接收到对环境观测的历史数据分别作为每个局部q值网络的输入，输出对于局部q值函数的评估；
44、全局值网络，采用混合网络结构，将各个局部q值网络建模为一个图结构，使用图注意力网络作为近似器来建模agent之间的关系，将各个局部q值网络的输出值以及步骤2得到的协同运行策略作为输入，输出为使全局q值最大的各局部q值网络选取的q值函数的权重值；...
【技术保护点】
1.一种AUV集群能源在线监测及管理系统，其特征在于，包括供能单元、储能单元、用能单元和能源优化管控系统；
2.根据权利要求1所述的一种AUV集群能源在线监测及管理系统，其特征在于，所述能源补给AUV选用具有双浮筒筏式波浪能捕获装置结构的AUV。
3.一种AUV集群能源在线监测及管理方法，其特征在于，采用如权利要求1或2所述的一种AUV集群能源在线监测及管理系统，包括以下子步骤：
4.根据权利要求3所述的一种AUV集群能源在线监测及管理方法，其特征在于，所述S1包括以下子步骤：
5.根据权利要求4所述的一种AUV集群能源在线监测及管理方法，其特征在于，S2包括以下子步骤：
6.根据权利要求5所述的一种AUV集群能源在线监测及管理方法，其特征在于，惩罚函数的引入通过在目标函数中添加一个惩罚项来实现，目标函数有如下形式：
7.根据权利要求6所述的一种AUV集群能源在线监测及管理方法，其特征在于，S3包括以下子步骤：
8.根据权利要求7所述的一种AUV集群能源在线监测及管理方法，其特征在于，所述循环神经
9.根据权利要求8所述的一种AUV集群能源在线监测及管理方法，其特征在于，全局Q值函数对应的混合网络采用图注意力网络进行训练，由全局奖励，全局Q值函数计算的TD损失函数进行反向传播，对全局混合网络以及局部Q值函数网络同时进行训练；
10.根据权利要求9所述的一种AUV集群能源在线监测及管理方法，其特征在于，所述图注意力网络的注意力机制包括：
...【技术特征摘要】
1.一种auv集群能源在线监测及管理系统，其特征在于，包括供能单元、储能单元、用能单元和能源优化管控系统；
2.根据权利要求1所述的一种auv集群能源在线监测及管理系统，其特征在于，所述能源补给auv选用具有双浮筒筏式波浪能捕获装置结构的auv。
3.一种auv集群能源在线监测及管理方法，其特征在于，采用如权利要求1或2所述的一种auv集群能源在线监测及管理系统，包括以下子步骤：
4.根据权利要求3所述的一种auv集群能源在线监测及管理方法，其特征在于，所述s1包括以下子步骤：
5.根据权利要求4所述的一种auv集群能源在线监测及管理方法，其特征在于，s2包括以下子步骤：
6.根据权利要求5所述的一种auv集群能源在线监测及管理方法，其特征...
【专利技术属性】
技术研发人员：陈云赛，刘祺，刘增凯，孙尧，刘子然，张栋，姜清华，李志彤，邢会明，陈泓洲，张辰玮，
申请(专利权)人：青岛哈尔滨工程大学创新发展中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。