一种长生命周期的水声传感器网络自适应多路径路由机制制造技术

本发明专利技术提供了一种长生命周期的水声传感器网络自适应多路径路由机制，针对水下传感器网络节点移动性导致的链路质量下降以及各节点网络负载不均衡等问题，将网络建模为一个多智能体系统，每个节点作为一个智能体，通过直接与环境进行交互，并与其他智能体进行信息共享，高效地学习环境信息以适应网络拓扑的动态变化，智能体依据信道优劣，在邻居节点集中选择使未来奖励最大化的最佳中继节点集以确定数据包的最优传输路径，使网络在单一路径和多路径路由间进行动态切换以提高数据包的投递率，从而最大化地减少网络开销以提高能量利用率，提高包投递率以提升网络鲁棒性，平衡网络负载以延长网络生命周期。

【技术实现步骤摘要】
一种长生命周期的水声传感器网络自适应多路径路由机制
本专利技术属于水声传感器网络
，是一种可感知网络信道状态、延长网络寿命的多路径自适应路由协议，涉及多智能体协作的强化学习等算法。
技术介绍
近年来，水声传感器网络随海洋信息应用领域的不断扩大而取得了很大的进步，在海洋军事、海洋环境与气象研究、海洋资源开发等方面具有重要的应用。一方面，水声传感器网络以水声信号为传输信息媒介，具有带宽低、传输延迟大等特点，导致以电磁波等为媒介的陆地传感器网络协议无法直接应用于水声传感器网络中。另一方面，水下环境复杂恶劣，节点频繁移动导致网络拓扑产生动态变化，且水下部署网络成本高昂，使得水声传感器网络的研究比在陆地的研究更加困难。水声传感器网络路由协议按照路由决策方式分为分簇式和多跳式。分簇式路由中，将整个网络按照不同的分簇方法分成相应的簇，每个簇中选举一个簇头节点，簇间和簇内路由构成了整个网络的互联互通，但是簇的重构及维护开销大，且簇头节点作为网络的关键节点，其失效将导致路由失败。而多跳式路由中，没有固定的关键节点，网络中的所有节点都作为一个独立的个体，分别计算到达下一跳节点的路由，节点间相互交换路由信息，进行数据信息传输。其单个节点的失效并不会带来整个网络的瘫痪，可增强网络的鲁棒性，延长网络的生命周期。然而，由于水下环境复杂恶劣，节点频繁移动使得网络拓扑动态变化，导致节点间链路质量下降甚至无法通信。基于强化学习的路由算法可很好的适应水下环境带来的网络拓扑变化，通过智能体与环境的不断交互，找到使长期累积奖赏最大化的路由策略，以实现网络路由性能的优化。在现有的基于强化学习的水声传感器网络路由协议中，往往采用单智能体建模，借助Q学习算法建立目标函数以缓解网络资源的消耗速度，在不同网络需求下提高相应的网络性能，如节点能耗、传输延时以及包投递率等。但是，单智能体系统只是依据节点自身周围的环境信息做出判断，节点之间缺少信息交互，导致信息利用率低且易陷入局部最优化，进而忽略网络整体的路由性能，如为进一步节省能耗，导致某些关键节点过度使用而使整个网络瘫痪等。基于多智能体强化学习的网络结构，每个智能体不仅关注节点自身与环境的交互，也与其他智能体进行合作学习，通过不同节点之间的信息交互实现动态路由选择。在XingeLi等人提出的基于多智能体强化学习的水下光传感器网络路由协议中，考虑了链路质量和节点剩余能量，一定程度上增强了网络动态拓扑的适应性并延长了网络寿命，但该方法对通信链路的不对称性以及信道的不稳定性考虑不足。
技术实现思路
为了克服现有技术的不足，本专利技术提供一种长生命周期的水声传感器网络自适应多路径路由机制，是一种基于多智能体强化学习框架，感知链路质量的自适应多路径多跳式水声传感器网络路由协议，能够提高网络包投递率以及动态拓扑鲁棒性，平衡网络负载以延长网络生命周期。本专利技术解决其技术问题所采用的技术方案包括以下步骤：第一步，对网络进行建模，在N个节点组成的水声传感器网络中，对于每一个节点i，其邻居节点集合Ni＝{j1,j2,…}能够与节点i直接进行数据传输；第二步，确定节点的状态空间Si＝{busy,idle}，如果节点i有数据包需要处理，则Si处于busy状态，反之，节点i处于idle状态；确定节点的动作空间Ai＝{{j1},{j2},…,{j1,j2},…,{j1,j2,…}}i，其中j1、j2…表示节点i的邻居节点，Ai中的元素表示节点i的中继节点集合；第三步，构造奖励函数表示智能体在状态s时，执行动作a后，从环境中获取的直接奖励，其中，g是常数，表示传输数据包的代价；Eresm(sj)是节点i在当前状态s时采取的动作a包含的所有中继节点j剩余能量的均值，每个节点都存储有其相邻节点的初始能量，节点依据其邻居节点所发送数据包的次数计算邻居节点的剩余能量；Einit(si)是节点i的初始能量；Lnon是对节点i丢失数据包的惩罚；k表示数据包当前的传输次数；K表示数据包的最大传输次数；第四步，构造链路状态概率矩阵其中，Srec,j表示节点j接收到的数据包的信号强度，Stra,i表示节点i发送该数据包的信号强度；第五步，更新在状态si时，采取动作ai得到的期望总回报其中，γ表示折扣因子，决定了未来奖励对系统的重要程度；jm是节点i选择的构成下一跳中继节点集合Ai中包含的任一节点；jn属于邻居节点集合Ni，但不属于当前节点状态的中继节点集合ai；ω1和ω2分别表示节点i采取的动作ai所对应的中继节点集合与未选中的邻居节点集合关于当前总回报的权值；表示在当前状态si下执行动作ai时中继节点集合带来的累积奖励；表示当前状态si下执行动作ai时未选中的邻居节点集和带来的累积奖励；第六步，设计数据包结构，数据包中除有效负载外，还包括数据包ID、源节点ID、Sink节点ID、当前节点V值、下一跳节点ID、所有邻居节点ID及链路状态概率，其中，数据包ID和源节点ID表示对数据包进行唯一标识；Sink节点ID表示数据包的目的节点ID；当前节点V值表示本节点的状态值，即下一跳节点ID表示当前节点从其邻居节点中选择的所有中继节点的ID；除此之外，每个节点都存储有其邻居节点的V值以及到达各邻居节点的链路状态概率，并依据数据包的包头信息以及HELLO包信息进行相关更新；第七步，当节点i需要对数据包进行处理时，将执行数据包转发操作；第八步，节点i在时间段τ内对数据包p的传输进行监听。所述的常数g取值为-1，Lnon设定为绝对值大于100的负数。所述的第四步中，将发送数据包的功率设为定值，仅依据所接受的数据包的信号强度确认节点i到节点j的链路状态概率，节点i的数据包包头中广播的是P(j,i)，即由节点j传输数据包至节点i的链路状态，节点i依据其邻居节点j广播的P(i,j)来更新本地链路状态表。所述的数据包转发操作包括以下步骤：给数据包增加头部信息；如果节点i缺少其邻居节点Ni信息，发送广播包以确定其邻居节点；如果节点i已知邻居节点Ni，初始化k＝0，当k＜K时，si＝busy，对于该状态的每一个可选动作a∈Ai(s)更新当前Q(si,ai)；并依据ε-greedy策略，选取maxQ(si,ai)所对应的动作ai或随机选取动作ai；计算节点i的V值节点i将数据包发给ai所包含的节点；如果在时间段τ内数据包p的传输被节点i监听到，则节点i成功传输数据包p至下一跳节点；若没有监听到，节点i对数据包p进行重传，k值加1；若k≥K，则节点i传输数据包p失败，节点i将丢弃该数据包p。所述的监听首先提取数据包p的包头信息，并更新所存储的邻居节点V值；如果数据包p的下一跳节点的列表中包含节点j，节点j接收整个数据包p，并更新数据包p的头部信息以进行其后传输；否则，节点j丢弃数据包p。本专利技术的有益效果是：能够在复杂多变的水下环境中，使节点间进行信息可靠、高效地传输。在水声传感器网络中，各节点通过直接与环境进行交互，并与其他智能体进行信息共享，可高效地学习环境本文档来自技高网...

【技术保护点】
1.一种长生命周期的水声传感器网络自适应多路径路由机制，其特征在于，包括以下步骤：/n第一步，对网络进行建模，在N个节点组成的水声传感器网络中，对于每一个节点i，其邻居节点集合N

【技术特征摘要】
1.一种长生命周期的水声传感器网络自适应多路径路由机制，其特征在于，包括以下步骤：
第一步，对网络进行建模，在N个节点组成的水声传感器网络中，对于每一个节点i，其邻居节点集合Ni＝{j1,j2,…}能够与节点i直接进行数据传输；
第二步，确定节点的状态空间Si＝{busy,idle}，如果节点i有数据包需要处理，则Si处于busy状态，反之，节点i处于idle状态；
确定节点的动作空间Ai＝{{j1},{j2},…,{j1,j2},…,{j1,j2,…}}i，其中j1、j2…表示节点i的邻居节点，Ai中的元素表示节点i的中继节点集合；
第三步，构造奖励函数表示智能体在状态s时，执行动作a后，从环境中获取的直接奖励，其中，g是常数，表示传输数据包的代价；Eresm(sj)是节点i在当前状态s时采取的动作a包含的所有中继节点j剩余能量的均值，每个节点都存储有其相邻节点的初始能量，节点依据其邻居节点所发送数据包的次数计算邻居节点的剩余能量；Einit(si)是节点i的初始能量；Lnon是对节点i丢失数据包的惩罚；k表示数据包当前的传输次数；K表示数据包的最大传输次数；
第四步，构造链路状态概率矩阵其中，Srec,j表示节点j接收到的数据包的信号强度，Stra,i表示节点i发送该数据包的信号强度；
第五步，更新在状态si时，采取动作ai得到的期望总回报其中，γ表示折扣因子，决定了未来奖励对系统的重要程度；jm是节点i选择的构成下一跳中继节点集合Ai中包含的任一节点；jn属于邻居节点集合Ni，但不属于当前节点状态的中继节点集合ai；ω1和ω2分别表示节点i采取的动作ai所对应的中继节点集合与未选中的邻居节点集合关于当前总回报的权值；表示在当前状态si下执行动作ai时中继节点集合带来的累积奖励；表示当前状态si下执行动作ai时未选中的邻居节点集和带来的累积奖励；
第六步，设计数据包结构，数据包中除有效负载外，还包括数据包ID、源节点ID、Sink节点ID、当前节点V值、下一跳节点ID、所有邻居节点ID及链路状态概率，其中，数据包ID和源节点ID表示对数据包进行唯一标识；Sink节点ID表示数据包的目的节点ID；当前节点V值...

【专利技术属性】
技术研发人员：申晓红，王超，何欢，王海燕，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61