一种基于深度强化学习的多无人机海上移动基站部署方法技术

本发明专利技术公开了一种基于深度强化学习的多无人机海上移动基站部署方法，属于海空无线通信技术领域，包括如下步骤：步骤1、在目标区域中部署携带水听器的无人机、水下自主航行器并进行初始化；步骤2、无人机动态部署系统采用基于多智能体深度确定性策略梯度的强化学习算法进行动作决策；步骤3、无人机继续执行强化学习算法，调整下一步移动方向；步骤4、无人机同步更新状态信息；若无人机覆盖区域内水下自主航行器数量和流量不均衡、无人机能量消耗大，则重新执行步骤2；否则，重复执行步骤3‑步骤4，直到无人机的平均覆盖范围得分和公平性得分最大且能量消耗小。本发明专利技术适用于海上无人机移动基站与水下自主航行器海空跨介质通信覆盖需求。

【技术实现步骤摘要】

本专利技术属于海空跨介质无线通信，具体涉及一种基于深度强化学习的多无人机海上移动基站部署方法。

技术介绍

1、由于复杂的海洋环境，导致海洋通信不及时，在海洋意外事件处理上造成损失。一般情况下，解决海上通信问题可通过建立海面基站来实现。例如，使用浮标基站预测水下节点位置，使用无人船（unmanned surface vessel，usv）作为海面基站检测水下污染源等。然而，传统的海面浮标基站一般锚定在指定位置，船舶、无人船等海面基站灵活性低，而水下自主航行器（autonomous underwater vehicle，auv）具有自主性、高度灵活性，因此会出现超出海面基站通信范围进而导致信息传输延时或传输中断的情况。而且海洋环境具有不确定性，波浪、风等的扰动都会对海面追踪水下自主航行器造成影响。因此，在面对海洋意外事件时，难以使用传统的海上基站部署方法解决短时间内快速部署的问题。

2、无人机凭借其灵活性，通常作为空中基站执行海洋信息收集、海上搜救等任务。目前，无人机已应用于海上信息收集、海上覆盖范围增强、与无人船协同任务分配等场景。相比于海面浮标本文档来自技高网...

【技术保护点】

1.一种基于深度强化学习的多无人机海上移动基站部署方法，其特征在于，在无人机动态部署系统中采用基于多智能体深度确定性策略梯度的强化学习算法进行动作决策，作为移动基站的无人机根据当前环境自主完成动作决策，具体包括如下步骤：

2.根据权利要求1所述基于深度强化学习的多无人机海上移动基站部署方法，其特征在于，所述步骤1中，在目标区域的海平面上空部署个无人机，无人机距离海平面的高度为，相邻两个无人机之间的最大通信距离为，无人机的覆盖范围为，水听器由长为的尼龙绳吊起，充当传感器悬挂在每一个无人机下方，并置于水下，水下部署个水下自主航行器；水听器监测水下自主航行器的通信流量和位置信息。<...

【技术特征摘要】

1.一种基于深度强化学习的多无人机海上移动基站部署方法，其特征在于，在无人机动态部署系统中采用基于多智能体深度确定性策略梯度的强化学习算法进行动作决策，作为移动基站的无人机根据当前环境自主完成动作决策，具体包括如下步骤：

2.根据权利要求1所述基于深度强化学习的多无人机海上移动基站部署方法，其特征在于，所述步骤1中，在目标区域的海平面上空部署个无人机，无人机距离海平面的高度为，相邻两个无人机之间的最大通信距离为，无人机的覆盖范围为，水听器由长为的尼龙绳吊起，充当传感器悬挂在每一个无人机下方，并置于水下，水下部署个水下自主航行器；水听器监测水下自主航行器的通信流量和位置信息。

3.根据权利要求1所述基于深度强化学习的多无人机海上移动基站部署方法，其特征在于，所述步骤2中，初始观测状态包括所有无人机的观测信息，包括无人机的能耗、无人机的速度、无人机覆盖的水下自主航行器的数量、无人机的通信范围内所接收到的水下自主航行器的通信流量、无人机的位置，、无人机的相邻无人机覆盖区域内的水下自主航行器数量、...

【专利技术属性】
技术研发人员：罗汉江，邵明月，陶航，刘建港，董鹏燕，王胤言，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：