一种基于Q学习的水声双跳网络介质访问控制方法技术

一种基于Q学习的水声双跳网络介质访问控制方法，涉及水声网络。在直接通信节点中选择多个节点作为连接间接通信节点和信宿的中继为父节点，父节点协助的间接节点为该父节点的子节点。将信宿搜集水声传感器节点所感知数据的传输过程分为若干个时隙，直接通信节点运用Q学习算法，结合信宿反馈信号，通过合理设置奖励机制，选择合适的时隙发送数据，避免信宿数据搜集冲突。子节点利用Q学习算法在数据搜集过程中的空闲时间将数据传给父节点，不影响信宿的数据搜集，克服子节点

【技术实现步骤摘要】
一种基于Q学习的水声双跳网络介质访问控制方法


[0001]本专利技术涉及水声网络，尤其是涉及一种基于Q学习的水声双跳网络介质访问控制方法。

技术介绍

[0002]水声传感器网络是海底观测网必不可少的一个重要组成部分；水声传感器网络需要选择一个中心节点进行数据收集汇总，这个中心节点称为信宿。若网络内的其他节点与信宿之间可以直接通信，则称之为水声单跳网络。水声介质访问控制(MAC)协议是决定节点如何共享水声信道的协议，合适的MAC协议能够实现信宿无冲突的数据收集。在水声单跳网络中，由于节点均可与信宿进行直接通信，大大简化收发双方的协调问题，目前的水声MAC协议研究大都聚焦在水声单跳网络中。另一方面，那些无法直接与信宿进行通信的节点，则需要将数据转发才能到达信宿。若一个水声传感器网络允许节点数据转发次数不多于一次，则称之为水声双跳网络。研究表明：双跳传输的传输范围是单跳传输的1.5倍以上(Morozs N,等.Dual
‑
Hop TDA
‑
MAC and Routing for Underwater Acousti本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Q学习的水声双跳网络介质访问控制方法，其特征在于包括以下步骤：1)参数初始化：考虑一个水声双跳网络，包含M个节点和1个信宿，节点从海洋环境中感知信息，信宿负责搜集节点感知的声学数据；其中，有A+B个节点在信宿通信范围内，可与信宿进行直接通信，即直接通信节点；而另外C个节点在信宿通信范围外，并且通信范围内存在至少一个直接通信节点，这些节点无法与信宿进行直接通信，但可通过直接通信节点转发，与信宿进行间接通信，即间接通信节点；水声双跳网络共由A+B个直接通信节点和C个间接通信节点组成，M＝A+B+C；首先在A+B个直接通信节点内，选择A个节点负责转发间接通信节点和信宿的信息，协助间接通信节点与信宿进行间接通信，称为“父节点”F
i
(i＝1,2,
…
,A)；这A个父节点的通信范围囊括所有间接通信节点，并且协助对象没有重叠；即，任一间接通信节点只会被一个父节点F
i
协助通信，这一间接通信节点称为父节点F
i
的子节点S
(i,j)
(j＝1,2,
…
)；直接通信节点中，非父节点的其它B个节点简称为“单跳节点”E
i
(i＝1,2,
…
,B)；令时隙的时间长度等于数据长度加保护间隔，设每个节点的数据格式相同、长度相同，因此时隙的时间长度也相同；设信宿将数据搜集过程分为N个时隙，每个时隙接收一个数据；因此在一次数据搜集过程中，信宿最多可接收N个数据包；为确保能完全接收网络内所有节点的数据，令时隙数N等于水声双跳网络节点总数M；在Q学习中，应用于介质访问控制的Q矩阵为M
×
N的矩阵，Q矩阵的行m(m＝1,2,
…
,M)代表节点序号，Q矩阵的列n(n＝1,2,
…
,N)代表时隙序号；因此，Q(m,n)表示节点m选择第n个时隙发送数据这一动作所对应的Q值；Q值越大表示节点m选择第n个时隙发送数据的优先度越大；即，节点m会选择Q矩阵第m行中Q值最高的时隙发送数据；若第m行中出现多个相同的最高Q值，则会在第m行最高Q值的多个时隙中随机选择一个时隙发送数据；为降低节点运算复杂度，每个节点内部只需存储表示自己选择发送时隙的那一行子矩阵，即节点m只需存储大小为1
×
N的子矩阵Q
m
，Q矩阵表示为Q＝[Q1；Q2；
…
；Q
m
；
…
；Q
M
‑1；Q
M
]；子节点无法直接与信宿进行通信，子节点需要将数据发送到父节点，父节点再转发至信宿；设一父节点需要协助D
i
个子节点转发数据至信宿，在一轮数据搜集过程中，父节点需要发送(1+D
i
)次数据，包括1次父节点自己的数据和D
i
次子节点发送给他的数据，即父节点的发送次数为(1+D
i
)；父节点会选择子矩阵Q
m
中Q值最大的前(1+D
i
)个时隙发送数据；而单跳节点和子节点在一次数据搜集过程中，只需发送1个自己的数据即可；初始化迭代次数k＝0，最大迭代次数为K，初始Q值表为M
×
N的零矩阵；2)控制信号是用于协调水声网络内各节点行为的信号，包括开始信号和反馈信号；设控制信号的格式相同、长度相同，所以控制时隙的时间长度也相同；控制时隙的时间长度等于2倍最大传输时延加控制信号时长；当开始数据搜集时，信宿在第一个控制时隙广播开始信号给所有直接通信节点，之后父节点在第二个控制时隙将开始信号转发给子节点；当节点m接收到开始信号后，根据自身的发送次数，检查子矩阵Q
m
，选择子矩阵Q
m
所决定的发送时隙，待至该时隙时即可发送数据；3)反馈信号设计：当数据搜集开始，信宿会记录各个时隙的接收情况；若在某个时隙内信宿成功接收到完整数据，则标记为成功时隙，并记下时隙序号；若信宿在某个时隙内未成功接收到完整数
据，则不对该时隙做标记；在传输结束后，信宿会广播一个反馈信号给所有直接通信节点；该反馈信号包含传输时隙总数N和成功的时隙信息；若节点m选择的时隙不是成功时隙，则代表节点m发送失败；同样，当数据搜集开始时，父节点也会记录各个时隙的接收情况；若在某...

【专利技术属性】
技术研发人员：陈友淦，黄伟迪，张文翔，万磊，陈柯宇，黄身钦，许肖梅，
申请(专利权)人：厦门大学，
类型：发明
国别省市：