一种基于强化学习的水下无线传感器网络路由算法制造技术

本发明专利技术公开了一种基于强化学习的水下无线传感器网络路由算法，当前节点准备发送数据包；在发送数据包前，计算将数据包转发给各数据接收节点的Q值，并将所有数据接收节点按照Q值降序排列，得到新的优先级序列，并将该优先级序列嵌入到将要发送的数据包中；设Nexthop(s)表示节点s的数据接收节点集合，则对于每个数据接收节点s′∈Nexthop(s)，根据其在优先级序列中的位置，计算数据发送等待时间HT(s′)；等待时间到，则发送数据包。与现有技术相比，本发明专利技术能够有效减少网络数据传输时延，延长网络生命周期的水下无线传感器网络路由算法。

An underwater wireless sensor network routing algorithm based on Reinforcement Learning

【技术实现步骤摘要】
一种基于强化学习的水下无线传感器网络路由算法
本专利技术涉及水下无线传感器网络领域，更具体地，涉及到一种应用强化学习设计的水下无线传感器网络路由算法。
技术介绍
由于水下开采技术的发展，海洋成为了人类获得能源的新领域。水下无线传感器网络也因为在海洋资源的探测与开发以及信息获取中起到了重要的作用，而成为热门的研究方向。但是由于水下环境的复杂性，以及水声信道独有的特点，成熟的陆地无线网络路由技术不能直接应用于水下无线传感器网络，因此水下无线传感器网络也应该开发适应其自身特点的路由算法。由于水声信道的时延性较大，并且水下传感器节点由电池供电，不易更换，导致节点能量受限；所以减少网络数据传输时延、降低网络能耗，延长网络生命周期是路由算法设计的主要目标。目前大多数追求传输路径最短的路由算法为了减少网络数据传输时延，往往最短路径上的节点随着不断参与数据包转发，从而过早地衰亡。而大部分追求更长网络生命周期的路由算法则往往着重考虑能量的均衡，因此路由算法时延性能不佳。
技术实现思路
为了克服现有技术存在的上述缺陷与不足，本专利技术提出了一种基于强化学习的水下无线传感器网络路由算法，结合水声信道的时延性大本文档来自技高网...

【技术保护点】
1.一种基于强化学习的水下无线传感器网络路由算法，其特征在于，该算法包括以下步骤：步骤1、当前节点准备发送数据包；步骤2、在发送数据包前，计算将数据包转发给各数据接收节点的Q值，并将所有数据接收节点按照Q值降序排列，得到新的优先级序列，并将该优先级序列嵌入到将要发送的数据包中，Q值的计算公式如下：

【技术特征摘要】
1.一种基于强化学习的水下无线传感器网络路由算法，其特征在于，该算法包括以下步骤：步骤1、当前节点准备发送数据包；步骤2、在发送数据包前，计算将数据包转发给各数据接收节点的Q值，并将所有数据接收节点按照Q值降序排列，得到新的优先级序列，并将该优先级序列嵌入到将要发送的数据包中，Q值的计算公式如下：其中，Q*(s，a)表示节点s将数据包传输到s′的Q值，而Q*(s，a)表示数据接收节点s′将数据包传输到其下一跳节点的Q值，γ为折扣因子；步骤3、根据数据接收节点在优先级序列中的位置，设Nexthop(s)表示节点s的数据接收集合，则对于数据接收节点s′，数据发送等待时间HT(s′)的计算公式如下：其中，HTmax表示节点保存数据的最大时间长度，p(s′)表示与优先级序列中节点s′的优先级，Eres(s′)和Eres(s)分别为当前节点s和数据接收节点s′的剩余能量，Eini(s)为当前节点s和数据接收节点的初始能量；优先级序列中节点的优先级设定规则为：位于优先级序列中首个节点接受到节点s发送的数据后直接进行数据传输，无需等待；优先级序列中第二个节点的优先级参量值设定为p0；节点优先级序列中的第i个节点si，其优先级参量值设定为p(si)＝p0·2i-2；步骤4、判断在等待时是否接收到同一数据包？...

【专利技术属性】
技术研发人员：鞠鸿彬，曹涛，冯炜，张鹏翼，周圆，
申请(专利权)人：中国船舶工业系统工程研究院，
类型：发明
国别省市：北京,11