【技术实现步骤摘要】
一种基于深度强化学习的无线传感器网络部署方法
[0001]本专利技术属于传感器
,具体涉及一种无线传感器网络部署方法。
技术介绍
[0002]无线传感器网络是一种分布式通信网络,网络中的每一个传感器节点都可以对周遭环境进行观测,各节点之间以及节点和基站之间则采用多跳方式通过无线链路进行通信来传输信息,这种去中心化的网络模式在军事、应急救援等领域得到了广泛应用。
[0003]然而无线传感器网络(WSN)的部署时至今日仍是一项具有挑战性的问题,现有的无线传感器网络部署算法大多为启发式算法,但大多启发式算法都是比较直观的方法,在3D地形部署时难以达到令人满意的性能。因此引入深度强化学习来对传感器网络的部署进行优化。
[0004]深度强化学习算法中,软演员
‑
评论家(Soft Actor
‑
Critic,SAC)算法有着较好的稳定性及探索性能。
技术实现思路
[0005]为了克服现有技术的不足,本专利技术提供了一种基于深度强化学习的无线传感器网络部署方法,首先搭建传感器网络部署仿真环境,然后设计深度强化学习环境中的状态空间、传感器动作空间、状态转移函数以及奖励;使用搭建的环境,基于软演员
‑
评论家算法构建控制器,在搭建的环境中训练;将最终得到的部署结果作为传感器网络的部署参数。本专利技术方法可以保证获得尽可能大的覆盖面积、网络连通性以及减小网络能耗。
[0006]本专利技术解决其技术问题所采用的技术方案包括如下步骤:
...
【技术保护点】
【技术特征摘要】
1.一种基于深度强化学习的无线传感器网络部署方法,其特征在于,包括如下步骤:步骤1:搭建传感器网络部署仿真环境;还原目标区域的地形,设置仿真区域;计算传感器之间的路径损耗,根据传感器发射功率和路径损耗判断传感器之间能否相互通信;步骤2,设计深度强化学习环境中的状态空间S、传感器动作空间A、折扣因子γ、状态转移函数以及奖励函数R;步骤2
‑
1:状态空间S具体如下:状态空间S由五部分构成,每部分均由二维矩阵表示,分别为目标区域的网络覆盖情况C、每个传感器的水平部署位置L、每个传感器的功率PW、每个传感器的离地高度H以及当前操作的传感器所在位置G,每个传感器和其对应参数在矩阵中有着相同的位置;步骤2
‑
2:每一次行动时传感器可选择的动作如下:传感器可以选择调整自身的位置或发射功率;传感器的位置改变由两部分组成,分别为移动方向和移动距离,移动方向为自水平面上相隔45
°
的八个方向和垂直的上下两个方向中任选一个,最大移动距离限制为相应方向动作范围的1/4;传感器的移动限制在目标区域内,超出目标区域边界的移动无效;传感器的离地高度限制在设定范围内,超出该范围的动作无效;步骤2
‑
3:设计奖励函数;R=α1△
f
CV
‑
α2△
P
c
‑
α3△
power(2)式中,
△
f
CV
为目标区域覆盖率的变化量,
△
P
c
为网络连通性的变化量,
△
power为网络总信号发射功率的变化量,α1、α2和α3均为常数,用来调整各项的比例;步骤2
‑
4:设置折扣因子γ;步骤3:使用步骤2搭建的环境,基于软演员
‑
评论家算法构建控制器,在搭建的环境中训练;将最终得到的部署结果作为传感器网络的部署参数,具体如下:步骤3
‑
1:控制器包含记忆池D和神经网络,记忆池用来存储过往的经历,神经网络的输入为状态s,s∈S,输出为传感器动作a,a∈A;神经网络包含五个结构相同参数不同的网络,分别是:一个输出传感器动作的参数为φ的动作网络和四个输出动作评价值的评估网络,四个评...
【专利技术属性】
技术研发人员:羊彦,洪国旗,张世龙,薛威,侯静,
申请(专利权)人:西北工业大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。